雅恩资源调优---double_happy

一台机器能运行多少个container 到底是由谁决定的 ？

生产上一台机器：
	48G物理内存  8core--》16vcore
	Linux系统本身要占内存+空留:  20% =9.6G
	剩余: 80% =38.4G=38G    这些留给大数据组件
	
DN进程: 生产4G  
	1000m
	hadoop-env.sh
	HADOOP_NAMENODE_OPTS=-Xmx1024m
	HADOOP_DATANODE_OPTS=-Xmx1024m
	
NM进程: 生产4G
	yarn-env.sh
	export YARN_RESOURCEMANAGER_HEAPSIZE=1024
	export YARN_NODEMANAGER_HEAPSIZE=1024
NM 与DN 部署在同一台机器上： 数据本地化

NN RM 经常性部署同一台  说白了 集群节点少

*****
资源内存: 38G-4-4=30G   这就是运行container容器 的 
yarn.nodemanager.resource.memory-mb   30*1024   总的  
默认配置
yarn.scheduler.minimum-allocation-mb  1024     给容器最小的 内存     生产上 2g
yarn.scheduler.maximum-allocation-mb  8192   给容器最大的 内存       生产上 30g

按照官网默认的算：
30G 30G/1G=30个container 
30G 30/8G=3个container ...6G    这里面 30这个值不好  30/8   还剩6g  32g 比较好 
30个~3个

生产一: 
yarn.nodemanager.resource.memory-mb   30G
yarn.scheduler.minimum-allocation-mb  2G
yarn.scheduler.maximum-allocation-mb  30G

2g--》  yarn给你分配的时候先给你最小的  当计算过程中发现内存不够了 yarn会给你长一个g

15个~1个

30G 是不是太大了 根据你作业来分的  你作业就是需要30g 你只能给30g

生产二：
yarn.nodemanager.resource.memory-mb   32G
yarn.scheduler.minimum-allocation-mb  2G
yarn.scheduler.maximum-allocation-mb  8G

16c~4c

如果container  memory oom      那么调大yarn.scheduler.maximum-allocation-mb 这个 先把oom这个进程kill掉

生产三:
256G:

yarn.nodemanager.resource.memory-mb   168G
yarn.scheduler.minimum-allocation-mb  4G
yarn.scheduler.maximum-allocation-mb  24G



container p memory oom kill

生产默认 
yarn.nodemanager.pmem-check-enabled	true       //物理内存
yarn.nodemanager.vmem-check-enabled	true      
yarn.nodemanager.vmem-pmem-ratio	2.1     //物理内存 和虚拟内存的比例 

物理内存 1m  虚拟内存 2.1m

这两个内存超了 都会抱 oom

CPU:
yarn.nodemanager.resource.cpu-vcores	 12
yarn.scheduler.minimum-allocation-vcores  1
yarn.scheduler.maximum-allocation-vcores  4




container: 
	memory 16c~4c
	vcores 12c~3c 

所以这个两个变量
cpu 和 mem  你应该怎么调 才能 资源最大化呢?  
	到底是根据mem 来算 还是 core来算呢？ 已加密