Modal 如何实现真正的 Serverless GPU

Modal 详解了其通过云端缓冲、定制文件系统、CPU 检查点/恢复以及 CUDA 检查点/恢复四大核心技术，实现真正 Serverless GPU 的工程方案。该架构将 AI 推理服务副本的扩缩容时间从数千秒缩短至数十秒。此举旨在解决推理负载峰值波动导致的启动延迟问题，大幅提升 GPU 分配利用率并降低闲置成本。