1. 部署环境
1. 部署环境
环境采用本地Winodws+VMware虚拟化部署基于Ambari的Hadoop集群。
集群配置如下
| namenode * 1 | datanode * 3 | |
|---|---|---|
i5-12450H | 2 core * 1 thread | 2 core * 1 thread |
Memory | 12GB | 12GB |
Disk | 150GB | 100GB |
额外软件包 | openJDK8、Mysql5.7 | openJDK8 |
集群安装的hadoop生态组件如下
HDFS | 3.1.1.3.1 |
YARN | 3.1.1 |
MapReduce2 | 3.1.1 |
Tez | 0.9.1 |
Hive | 3.1.0 |
HBase | 2.0.2 |
ZooKeeper | 3.4.6 |
Ambari Metrics | 0.1.0 |
服务器调优
关于YARN和总内存、总vcore和单个容器的内存、vocre分配需要自行选择合适的参数，尽量不浪费资源。
Last updated