金融行业建设大模型推理集群和训练集群时,如何选择合适的存储提升大模型的整体性能?

金融行业建设大模型推理集群和训练集群时,搭配存储进行整体规划,需要考虑那些因素,如何选择合适的存储提升大模型的整体性能?显示全部

金融行业建设大模型推理集群和训练集群时,搭配存储进行整体规划,需要考虑那些因素,如何选择合适的存储提升大模型的整体性能?

收起
参与14

查看其它 5 个回答罗文江的回答

罗文江罗文江课题专家组云计算架构师某银行

1、推理集群、训练集群:二个集群之间,需要交换大模型容器镜像,因为大模型容器镜像是有几十GB,在容器仓库系统后端需要挂载对象存储。
2、训练集群:训练任务中,共享模型参数、CHECKPOINT中间结果和全量训练数据,宜使用分布式并行文件系统提升性能。

银行 · 2024-01-27
浏览451

回答者

罗文江
云计算架构师某银行
擅长领域: 云计算容器容器云

罗文江 最近回答过的问题

回答状态

  • 发布时间:2024-01-27
  • 关注会员:7 人
  • 回答浏览:451
  • X社区推广