Hacker News (Show HN 免费与开源)·· 2 小时前AI 评分20
Sturnus：基于延迟的轻量级 LLM 负载均衡器开源
Show HN: Sturnus, a latency-based LLM load balancer
摘要
开发者开源了轻量级 LLM 负载均衡工具 Sturnus，能够根据供应商的延迟与可用性自动调度模型流量。该工具采用 MIT 协议，表现为无需 Redis 或控制平面的单一静态二进制 sidecar，并对外暴露兼容 OpenAI 的 API 接口。其路由机制基于首块响应延迟与错误率的 EWMA 算法，可动态探测并在服务恢复时自动切回流量。
福利说明
来源信息整理于：2026年10月26日 23:32（北京时间）；未进行独立实测或事实核验。
福利是什么
提供轻量级 LLM 动态负载均衡代理，能自动将请求调度给当前响应最快的可用模型服务商。
社区反馈支持社区来源 · github.com
费用与支付
项目完全采用 MIT 开源许可，无需购买商业网关的企业订阅方案。
社区反馈支持社区来源 · github.com
使用限制
设计上不提供请求级自动重试与故障转移，上游错误会原样透传回客户端处理。
社区反馈支持社区来源 · github.com
尚未核实：实际价值、活动入口、领取条件、适用地区、领取/使用步骤、截止时间、有效期、风险与注意事项。页面未展示没有来源支持的空白章节。
本站未展示原文全文；以上福利说明列出相应来源链接，但不代表独立实测。完整内容请阅读原文。
来源：Hacker News (Show HN 免费与开源) · github.com