Modal 算力与 GPU 动态· Jason Liu·· 2024-01-23AI 评分42
Modal 演示如何在 15 分钟内完成全量英文 Wikipedia 文本嵌入
Embedding English Wikipedia in under 15 minutes
AI 导读
Modal 演示利用其 serverless 平台与 Hugging Face 的 Text Embedding Inference 服务,在 15 分钟内完成全量英文 Wikipedia 的文本嵌入向量生成,成本仅略高于 $15。该方案借助 Modal 的 Functions 弹性调度多 GPU 容器并行处理,并利用 Volumes 功能挂载和持久化存储大规模数据集。
来源:Modal 算力与 GPU 动态 · modal.com