Modal 算力与 GPU 动态· Charles Frye·2024-08-05 20:00· 2024-08-05AI 评分28

用 100 个小 LLaMA 搜索在 Python 基准上超越 GPT-4o

Beat GPT-4o at Python by searching with 100 dumb LLaMAs

AI 导读

开发者通过在 Modal 的 Serverless GPU 与 vLLM 上多次采样 LLaMA 3.1 8B Instruct，在 HumanEval 测试中借助搜索与 pass@k 策略对标并超越了 GPT-4o 90.2% 的基准表现。