使用何种方式将大数据与容器结合起来,是否有一些比较专业的厂商或是业界比较成熟的方案可以提供有效的落地方案
收起关于大数据容器化会有比较专业的厂商或是业界比较成熟的方案 ,我也谈谈我在大数据和容器结合的一些实践经验给你参考:可以根据自己的实际情况和需要选择。 但是前提是在线单集群的规模要足够大,单个节点的规格要足够高(最好是物理机)并且配置本地shaffle文件系统,这样才能承载算力需求大的大数据作业。此外,还需要具备对大数据作业进行资源压制的能力,比如低优先级的CPU队列,cgroup层面的节点总量资源压制,这样才能保证其不干扰在线应用。