容器与大数据结合的实践经验?

使用何种方式将大数据与容器结合起来,是否有一些比较专业的厂商或是业界比较成熟的方案可以提供有效的落地方案显示全部

使用何种方式将大数据与容器结合起来,是否有一些比较专业的厂商或是业界比较成熟的方案可以提供有效的落地方案

收起
参与5

查看其它 1 个回答dean25的回答

dean25dean25课题专家组软件架构设计师民生银行

关于大数据容器化会有比较专业的厂商或是业界比较成熟的方案 ,我也谈谈我在大数据和容器结合的一些实践经验给你参考:可以根据自己的实际情况和需要选择。 但是前提是在线单集群的规模要足够大,单个节点的规格要足够高(最好是物理机)并且配置本地shaffle文件系统,这样才能承载算力需求大的大数据作业。此外,还需要具备对大数据作业进行资源压制的能力,比如低优先级的CPU队列,cgroup层面的节点总量资源压制,这样才能保证其不干扰在线应用。

银行 · 2024-04-28
浏览126

回答者

dean25
软件架构设计师民生银行
擅长领域: 云计算容器容器云

dean25 最近回答过的问题

回答状态

  • 发布时间:2024-04-28
  • 关注会员:3 人
  • 回答浏览:126
  • X社区推广