请问大数据平台容器化后HDFS运行在哪里？
请问大数据平台容器化之后，flink、spark等计算任务运行到容器上了，那相应原有部署模式下计算任务读写数据存储的HDFS运行在哪里？读写性能相对原有物理机部署模式有多大差异？
2同行回答
大数据平台容器化之后，flink、spark等计算任务运行到容器上了，那相应原有部署模式下计算任务读写数据存储的HDFS运行在哪里？
根据你的问题，我谈谈我的一些经验和看法，大数据容器化混合部署后，容器化只是计算部分容器化，作业容器也是运行在物理的容器宿主机上，计算部分性能和原有物理机部署方式没有差异。hdfs可以还是用原有的hdfs，实现存算分离。 通过测试，存储密集型作业性能在存算分离场景下有一定影响(<15%)，但是在可接受的范围内。希望这个可以对你有帮助。
浏览14
ChatGPT 回答
在大数据平台容器化后，HDFS可以运行在容器化的环境中，也可以运行在物理机上，这取决于具体的部署方案。如果HDFS也容器化了，那么可以将HDFS作为一个容器运行在Kubernetes等容器编排工具中，与flink、spark等计算任务共同运行。如果HDFS没有容器化，那么可以将HDFS作为一个独立的服务运行在物理机上，flink、spark等计算任务通过网络连接到HDFS进行数据读写。
相对于原有物理机部署模式，容器化部署模式下计算任务读写数据存储的HDFS性能差异不大，因为容器化的技术已经趋于成熟，容器化的HDFS可以通过网络连接到计算任务，读写性能与物理机部署模式相当。但是，在容器化部署模式下，需要注意容器之间的网络通信，以及容器与物理机之间的网络通信，这可能会对读写性能产生一定的影响。因此，在容器化部署模式下，需要对网络进行优化，以提高读写性能。