金融行业建设大模型推理集群和训练集群时,搭配存储进行整体规划,需要考虑那些因素,如何选择合适的存储提升大模型的整体性能?
1、推理集群、训练集群:二个集群之间,需要交换大模型容器镜像,因为大模型容器镜像是有几十GB,在容器仓库系统后端需要挂载对象存储。2、训练集群:训练任务中,共享模型参数、CHECKPOINT中间结果和全量训练数据,宜使用分布式并行文件系统提升性能。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30