蚂蚁集团：自研GMLake已被PyTorch集成，可提升33% GPU可用显存

fudashuai

　　新浪科技讯 1月16日晚间消息，近日，蚂蚁集团向自研的GPU显存+传输优化开源项目GLake上集成了一种高效的动态显存组合技术框架——GMLake，同时宣布GMLake已被深度学习主流框架PyTorch集成，对上层模型代码和框架代码完全透明，模型不需要修改任何代码即可使用。

　　据介绍，GMLake能够在大模型训练、推理框架底层以及系统层对显存和传输进行一体优化，将碎片化的显存灵活地拼接起来，最高提高33%的GPU可用显存，使显存使用更为高效。

　　当前，以ChatGPT为代表的生成式大模型正在引领AI发展。为了训练得到如此高效的大模型，需要强大和昂贵的基础算力支撑。而当前制约高效训练的因素中，除了算力，显存容量也非常关键。

　　运用GMLake对典型大模型如GPT、GLM、Vicuna等进行了详细评测，最高扩大了约33%的可用显存，即在80GB的A100 GPU上节省约25GB的显存，训练吞吐提高最多4倍。

　　目前，刊载GMLake技术框架的论文已被计算机体系结构四大顶级会议之一的ASPLOS 24接收。（文猛）