1. 部署环境

1. 部署环境

环境采用本地Winodws+VMware虚拟化部署基于Ambari的Hadoop集群。

集群配置如下

	namenode * 1	datanode * 3
i5-12450H	2 core * 1 thread	2 core * 1 thread
Memory	12GB	12GB
Disk	150GB	100GB
额外软件包	openJDK8、Mysql5.7	openJDK8

集群安装的hadoop生态组件如下

HDFS	3.1.1.3.1
YARN	3.1.1
MapReduce2	3.1.1
Tez	0.9.1
Hive	3.1.0
HBase	2.0.2
ZooKeeper	3.4.6
Ambari Metrics	0.1.0

服务器调优

关于YARN和总内存、总vcore和单个容器的内存、vocre分配需要自行选择合适的参数，尽量不浪费资源。