容器与大数据能力如何完美集合?

大数据平台容器化的底层容器使用何种技术,集群与平台,厂商或是开源的容器云平台是否可以完全兼容并提供大数据场景下的相关能力显示全部

大数据平台容器化的底层容器使用何种技术,集群与平台,厂商或是开源的容器云平台是否可以完全兼容并提供大数据场景下的相关能力

收起
参与3

返回dean25的回答

dean25dean25课题专家组软件架构设计师民生银行

大数据平台容器化后底层容器使用的还是k8s这一套,这个并没有改变。 技术方案方案一般有2大类: 一个大类是用k8s模拟yarn调度模式、一个大类是k8s原生调度方式。spark/flink社区主要支持k8s原生调度方式,我们因为历史原因选择用k8s模拟yarn调度模式。大数据容器化只有和混合部署结合才有价值,可以大幅度提升资源使用效率,降低算力成本。单独搞大数据容器化没有啥意义,所以建议在进行大数据容器化改造,可以优先尝试混合部署结合方式。

银行 · 2024-04-28
浏览109

回答者

dean25
软件架构设计师民生银行
擅长领域: 云计算容器容器云

dean25 最近回答过的问题

回答状态

  • 发布时间:2024-04-28
  • 关注会员:2 人
  • 回答浏览:109
  • X社区推广