开发者开源轻量级LLM延迟负载均衡器Sturnus
热点事件持续更新
开发者开源轻量级LLM延迟负载均衡器Sturnus
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
开发者开源了轻量级大语言模型负载均衡工具 Sturnus。该工具采用 MIT 协议，以无需额外数据库或控制平面的单一静态二进制文件运行，对外提供兼容 OpenAI 的接口。 Sturnus 主要根据首块响应延迟和错误率自动分配请求流量，并在服务恢复时自动切回。该工具作为透明代理运行，不提供请求级的故障转移或重试，直接将上游错误返回给客户端，且要求同一别名下路由的模型基本可互相替换。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 23:20
Sturnus：基于延迟的轻量级 LLM 负载均衡器开源报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- Hacker News (Show HN 免费与开源)Sturnus：基于延迟的轻量级 LLM 负载均衡器开源
开发者开源了轻量级 LLM 负载均衡工具 Sturnus，能够根据供应商的延迟与可用性自动调度模型流量。该工具采用 MIT 协议，表现为无需 Redis 或控制平面的单一静态二进制 sidecar，并对外暴露兼容 OpenAI 的 API 接口。其路由机制基于首块响应延迟与错误率的 EWMA 算法，可动态探测并在服务恢复时自动切回流量。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。