大数据平台容器化的底层容器使用何种技术,集群与平台,厂商或是开源的容器云平台是否可以完全兼容并提供大数据场景下的相关能力
大数据平台容器化后底层容器使用的还是k8s这一套,这个并没有改变。 技术方案方案一般有2大类: 一个大类是用k8s模拟yarn调度模式、一个大类是k8s原生调度方式。spark/flink社区主要支持k8s原生调度方式,我们因为历史原因选择用k8s模拟yarn调度模式。大数据容器化只有和混合部署结合才有价值,可以大幅度提升资源使用效率,降低算力成本。单独搞大数据容器化没有啥意义,所以建议在进行大数据容器化改造,可以优先尝试混合部署结合方式。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30