llm

Overview ¶

examples/llm 三级 LLM 流水线示例:检索(retrieve)→ 生成(generate)→ 打分(score)。

展示的能力:

• DependsOn 串联流水线,下游 handler 用 Get 读上游的 Result;
• 两条队列不同限流配置(cpu 队列大并发,llm 队列限并发+限速),Routes 按类型路由;
• Wait 等结果、Overview 看全局水位、Shutdown 优雅收尾。

直接跑:go run ./examples/llm(几秒内退出)。