大数据平台容器化的技术路线有哪些，相比较各自优缺点是什么？

参与5

2同行回答
全部行业
全部行业 银行 互联网服务
|
按赞同排序
按时间排序

强哥之神架构师&技术经理上汽集团云计算中心

大数据平台容器化的技术路线可以基于不同的容器编排和管理工具，常见的包括K8S、Docker Swarm和Mesos等。现在一般是用K8S了。因为我们主要使用的K8S，我就谈谈K8S的优点吧：

1、K8S是目前最流行的容器编排平台，拥有庞大的社区支持和丰富的生态系统，提供了丰富的功能和工具。
2、K8S具有高度的灵活性，可以轻松地扩展和定制，适用于各种规模和复杂度的大数据平台。
3、K8S提供了自动化的运维功能，如自动扩缩容、自动故障恢复等，降低了管理和运维成本。

互联网服务 · 3天前

软件架构设计师民生银行

主要是两类，一类是serverless yarn，就是通过yarn方式提交作业到k8s集群，作业管理和日志查看还是用yarn UI；另一种就是k8s原生方式，spark/flink社区都有支持，需要采用不同的作业提交方式，作业管理和日志查看也不再是yarn UI了

大数据平台容器化的技术路线主要有以下几种：

Kubernetes + Docker：Kubernetes是一个开源的容器编排工具，可以管理Docker容器。使用Kubernetes可以快速部署、扩展和管理大规模的容器化应用程序。Kubernetes具有自动负载均衡、自动扩展、自动故障恢复等功能，可以提高大数据平台的可靠性和可扩展性。但是，Kubernetes的学习曲线比较陡峭，需要一定的技术基础。
Mesos + Marathon：Mesos是一个开源的集群管理器，可以管理各种类型的应用程序，包括容器化应用程序。Marathon是一个基于Mesos的容器编排工具，可以管理Docker容器。使用Mesos + Marathon可以实现高可用性、高可靠性的大数据平台。但是，Mesos的配置比较复杂，需要一定的技术基础。
Docker Swarm：Docker Swarm是Docker官方提供的容器编排工具，可以管理Docker容器。使用Docker Swarm可以快速部署、扩展和管理大规模的容器化应用程序。Docker Swarm具有自动负载均衡、自动扩展、自动故障恢复等功能，可以提高大数据平台的可靠性和可扩展性。但是，Docker Swarm的功能相对较少，不如Kubernetes和Mesos + Marathon丰富。

相比较而言，Kubernetes和Mesos + Marathon具有更强的可靠性和可扩展性，但是学习曲线比较陡峭，配置比较复杂。Docker Swarm则更加简单易用，但是功能相对较少。因此，在选择大数据平台容器化的技术路线时，需要根据实际情况进行权衡和选择。