JVM02

运行时数据区的各个异常

运行时数据区 ：是一个规范 
 	那么规范的东西和落地的东西 会有差距的 
 	对于同一个规范来讲 不同的实现也是有差别的
 
 内存结构就是一个实现  不同版本的jdk是不一样的  

JVM内存结构：
	堆区：包括   Young(S0 S1 Eden)新生代  和 Old（）老年代      通常讲的 GC 是针对 堆区的
	非堆区 :Metaspace    ccs   CodeCache

	Metaspace   是不占用jvm的堆的空间的 它是占本地操作系统的内存的    所以GC是针对 堆区的

谈谈你遇到过的常见的[JVM相关]的异常信息？

	首先 Hadoop、Spark、Flink都是跑在JVM之上的 所以你要结合他们进行回答

ok下面进行举例：

Java Virtual Machine Stacks
The following exceptional conditions are associated with Java Virtual Machine stacks:

If the computation in a thread requires a larger Java Virtual Machine stack than is permitted, the Java Virtual Machine throws a StackOverflowError.

If Java Virtual Machine stacks can be dynamically expanded, and expansion is attempted but insufficient memory can be made available to effect the expansion, or if insufficient memory can be made available to create the initial Java Virtual Machine stack for a new thread, the Java Virtual Machine throws an OutOfMemoryError.

StackOverflowError：
	主要是针对 栈来说的  那么栈主要用来干嘛的呢？ 上一篇介绍了  记住一句话  “堆管存储  栈管执行”
	什么情况下回产生 StackOverflowError？没有出口的一个递归

eg：

public class StackOverflowErrorApp {

    public static void main(String[] args) {
        
        test();
    }
    
    public  static  void  test(){
        test();
    }
}

结果：
	Exception in thread "main" java.lang.StackOverflowError
	at com.app.java.jvm.StackOverflowError.test(StackOverflowError.java:11)
	at com.app.java.jvm.StackOverflowError.test(StackOverflowError.java:11)
	at com.app.java.jvm.StackOverflowError.test(StackOverflowError.java:11)

那么问你什么场景会出现 栈溢出  肯定是不小心 写了个递归没有出口的方法 

那么什么极限下 会报这个异常 ？ 也就是 默认这个栈大小是多少呢？
	Stack 大小 ：？
	使用jvm底层的命令 可以查看这个东西  一会演示 

那么StackOverflowError 是一个error  它和exeception有什么区别呀 ？
	java里的try catch 捕获的是exeception
	那么要捕获error  需要类extends Throwable  可以捕获error

Heap

 “堆管存储  栈管执行”   
堆的oom：说明堆里面放了好多存储 干不掉的

public class JavaHeapSpaceApp {

    public static void main(String[] args) {
        String word = "double happy";

        while (true) {
            word +=word +new Random().nextInt(10000);  //这个 +  会产生新的对象
        }
    }
}

结果：
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
	at java.util.Arrays.copyOf(Arrays.java:3332)
	at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:124)
	at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:674)
	at java.lang.StringBuilder.append(StringBuilder.java:208)
	at com.app.java.jvm.JavaHeapSpaceApp.main(JavaHeapSpaceApp.java:11)

注意：
	oom 是有很多种的  这种是  Java heap space   指的是 heap 存对象 被干爆了 
	这个不好理解的话 我再写一个 

public class JavaHeapSpaceApp {

    public static void main(String[] args) {

        //目的是 在分配new byte 这个对象的时候 给他丢一个非常大的东西进去  
        //如果丢的东西 很小的话 内存干不爆   为了测试起见  加一个参数 
        // -Xms10m -Xmx10m
        byte[] bytes = new byte[100 * 1024 * 1024];
    }
}
怎么把这个参数设置进去 看下图
结果是：
	Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
	at com.app.java.jvm.JavaHeapSpaceApp.main(JavaHeapSpaceApp.java:12)

堆的大小只有10m   想一个问题哈？heap大小只有10m  在Heap里的对象是 100m 所以报异常

在这里插入图片描述

java jdk里面有三类参数：
	1.标准参数   了解
			就是 jdk各个版本之间没有很大的变化的   eg：java -version  
				[double_happy@hadoop101 ~]$ java -version      
				java version "1.8.0_45"
				Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
				Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)
	2.X参数   了解
			各个版本变化也很小 
				[double_happy@hadoop101 ~]$ java -Xint -version    解释执行的 不会把java代码转化为本地代码的
				java version "1.8.0_45"
				Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
				Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, interpreted mode)   
				[double_happy@hadoop101 ~]$ java -Xcomp -version      第一次使用的时候会编译成本地的代码 后面基于前面使用
				java version "1.8.0_45"
				Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
				Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, compiled mode)
				[double_happy@hadoop101 ~]$ 
 
	3.XX参数    重点*****
		主要用来：
			JVM调优、DEBUG 把我们JVM 打出来 
			分为两大类：
				1.Boolean类型   yes or no 
						公式 ： -XX:[+/-] <name>  
						+什么意思？表示启用一个禁用
						-表示禁用
				2.非Boolean类型   是kv类型的 可以设置值
						公式：-XX:<name>=<value>

1.Boolean类型

public class XXAPP {

    public static void main(String[] args) throws InterruptedException {

        System.out.println("double happy..");

        Thread.sleep(Integer.MAX_VALUE);  //让他一直运行
    }
}

看一下本地：

C:\Users\Administrator>jps
10212 Launcher
1972
7764 NailgunRunner
2296 RemoteMavenServer
6764 Jps

C:\Users\Administrator>jps
1984 Launcher
1972
7764 NailgunRunner
2296 RemoteMavenServer
4604 XXAPP
8348 Jps

C:\Users\Administrator>


注意：
	多了一个 4604 XXAPP

C:\Users\Administrator>jps
10212 Launcher
1972
7764 NailgunRunner
2296 RemoteMavenServer
6764 Jps
C:\Users\Administrator>jps
1984 Launcher
1972
7764 NailgunRunner
2296 RemoteMavenServer
4604 XXAPP
8348 Jps

C:\Users\Administrator>jinfo -flag PrintGCDetails 4604
-XX:-PrintGCDetails

C:\Users\Administrator>

注意：
这个就是 -XX:[+/-] <name>     
-XX:-PrintGCDetails  表示 我现在这个应用程序并没有开启 PrintGCDetails  

那么我们开启一下

在这里插入图片描述

ok 看一下 上面程序用的是 
	哪一种GC?
下图表示 没有

在这里插入图片描述
2.非Boolean类型

先查看 metaspace 大小

在这里插入图片描述

这就是 非Boolean类型的  
那么修改一下

在这里插入图片描述

我们再看一个

在这里插入图片描述

15 表示 一个对象年纪多大了  
我们修改一下     就是可以设置对象的年龄

在这里插入图片描述

代码直接报错：
	Error: Could not create the Java Virtual Machine.
	Error: A fatal exception has occurred. Program will exit.
	MaxTenuringThreshold of 20 is invalid; must be between 0 and 15    *** 可能面试会问的

那我们改为10

在这里插入图片描述

ok  会使用了吧 

但是 公式里的 name 哪里来的呢？
		一会儿写

-XX:+PrintFlagsInitial      //初始化的时候    查看初始默认值
-XX:+PrintFlagsFinal      // 查看修改后的值
-XX:+PrintCommandLineFlags     // 打印命令行参数

[double_happy@hadoop101 ~]$ java -XX:+PrintFlagsFinal -version >> flags.txt

more  flags.txt

在这里插入图片描述

1.初始化的 堆的大小
[double_happy@hadoop101 ~]$ more flags.txt | grep InitialHeapSize
    uintx InitialHeapSize                          := 125829120                           {product}
[double_happy@hadoop101 ~]$

2.看看有没有使用 G1GC
[double_happy@hadoop101 ~]$ more flags.txt | grep UseG1GC
     bool UseG1GC                                   = false                               {product}
[double_happy@hadoop101 ~]$ 

3. 
	-Xms10m    ：它是 -XX参数     它是简写    -XX:InitialHeapSize
		表示Heap 初始化大小
	 -Xmx10m             -XX:MaxHeapSize    基于java程序 我们很大程度上是要改写的  默认是不够的
	 	表示heap最大的大小 
[double_happy@hadoop101 ~]$ more flags.txt | grep MaxHeapSize 
    uintx MaxHeapSize                              := 1981808640                          {product}
[double_happy@hadoop101 ~]$ 
这个值是怎么来的 为什么是 1981808640

[double_happy@hadoop101 ~]$ jps
9168 Jps
17088 QuorumPeerMain
8484 DataNode
23653 Kafka
8902 NodeManager
14999 AzkabanSingleServer
631 Kafka
8648 SecondaryNameNode
25784 NameNode
24862 Kafka
8798 ResourceManager
[double_happy@hadoop101 ~]$ jinfo -flag MaxHeapSize 14999
-XX:MaxHeapSize=536870912
[double_happy@hadoop101 ~]$ jinfo -flag MaxHeapSize 25784
-XX:MaxHeapSize=1048576000
[double_happy@hadoop101 ~]$ 

默认是这些  这些参数都是要调整的哈 
Hadoop 最大的MaxHeapSize  在哪调呢？知道吗？ 

[double_happy@hadoop101 hadoop]$ cat hadoop-env.sh 
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements.  See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership.  The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

# Set Hadoop-specific environment variables here.

# The only required environment variable is JAVA_HOME.  All others are
# optional.  When running a distributed configuration it is best to
# set JAVA_HOME in this file, so that it is correctly defined on
# remote nodes.

# The java implementation to use.
export JAVA_HOME=/usr/java/java

# The jsvc implementation to use. Jsvc is required to run secure datanodes
# that bind to privileged ports to provide authentication of data transfer
# protocol.  Jsvc is not required if SASL is configured for authentication of
# data transfer protocol using non-privileged ports.
#export JSVC_HOME=${JSVC_HOME}

export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}

# Extra Java CLASSPATH elements.  Automatically insert capacity-scheduler.
for f in $HADOOP_HOME/contrib/capacity-scheduler/*.jar; do
  if [ "$HADOOP_CLASSPATH" ]; then
    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$f
  else
    export HADOOP_CLASSPATH=$f
  fi
done

# The maximum amount of heap to use, in MB. Default is 1000.
#export HADOOP_HEAPSIZE=
#export HADOOP_NAMENODE_INIT_HEAPSIZE=""

# Extra Java runtime options.  Empty by default.
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

# Command specific options appended to HADOOP_OPTS when specified
export HADOOP_NAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender} $HADOOP_NAMENODE_OPTS"
export HADOOP_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS $HADOOP_DATANODE_OPTS"

export HADOOP_SECONDARYNAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender} $HADOOP_SECONDARYNAMENODE_OPTS"

export HADOOP_NFS3_OPTS="$HADOOP_NFS3_OPTS"
export HADOOP_PORTMAP_OPTS="-Xmx512m $HADOOP_PORTMAP_OPTS"

# The following applies to multiple commands (fs, dfs, fsck, distcp etc)
export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"
#HADOOP_JAVA_PLATFORM_OPTS="-XX:-UsePerfData $HADOOP_JAVA_PLATFORM_OPTS"

# On secure datanodes, user to run the datanode as after dropping privileges.
# This **MUST** be uncommented to enable secure HDFS if using privileged ports
# to provide authentication of data transfer protocol.  This **MUST NOT** be
# defined if SASL is configured for authentication of data transfer protocol
# using non-privileged ports.
export HADOOP_SECURE_DN_USER=${HADOOP_SECURE_DN_USER}

# Where log files are stored.  $HADOOP_HOME/logs by default.
#export HADOOP_LOG_DIR=${HADOOP_LOG_DIR}/$USER

# Where log files are stored in the secure data environment.
export HADOOP_SECURE_DN_LOG_DIR=${HADOOP_LOG_DIR}/${HADOOP_HDFS_USER}

###
# HDFS Mover specific parameters
###
# Specify the JVM options to be used when starting the HDFS Mover.
# These options will be appended to the options specified as HADOOP_OPTS
# and therefore may override any similar flags set in HADOOP_OPTS
#
# export HADOOP_MOVER_OPTS=""

###
# Advanced Users Only!
###

# The directory where pid files are stored. /tmp by default.
# NOTE: this should be set to a directory that can only be written to by 
#       the user that will run the hadoop daemons.  Otherwise there is the
#       potential for a symlink attack.
export HADOOP_PID_DIR=${HADOOP_PID_DIR}
export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}

# A string representing this instance of hadoop. $USER by default.
export HADOOP_IDENT_STRING=$USER
[double_happy@hadoop101 hadoop]$ 


注意：
	#export HADOOP_HEAPSIZE=
	export HADOOP_PORTMAP_OPTS="-Xmx512m $HADOOP_PORTMAP_OPTS"  
	都是有的   eg：-Xmx

4.stack 大小
[double_happy@hadoop101 ~]$ more flags.txt | grep ThreadStackSize
     intx CompilerThreadStackSize                   = 0                                   {pd product}
     intx ThreadStackSize                           = 1024                                {pd product}
     intx VMThreadStackSize                         = 1024                                {pd product}
[double_happy@hadoop101 ~]$ 


[double_happy@hadoop101 ~]$ jps
17088 QuorumPeerMain
8484 DataNode
23653 Kafka
8902 NodeManager
14999 AzkabanSingleServer
631 Kafka
9416 Jps
8648 SecondaryNameNode
25784 NameNode
24862 Kafka
8798 ResourceManager
[double_happy@hadoop101 ~]$ jinfo -flag ThreadStackSize 25784    
-XX:ThreadStackSize=1024
[double_happy@hadoop101 ~]$ 


jinfo使用：
[double_happy@hadoop101 ~]$ jinfo
Usage:
    jinfo [option] <pid>
        (to connect to running process)
    jinfo [option] <executable <core>
        (to connect to a core file)
    jinfo [option] [server_id@]<remote server IP or hostname>
        (to connect to remote debug server)

where <option> is one of:
    -flag <name>         to print the value of the named VM flag
    -flag [+|-]<name>    to enable or disable the named VM flag
    -flag <name>=<value> to set the named VM flag to the given value
    -flags               to print VM flags
    -sysprops            to print Java system properties
    <no option>          to print both of the above
    -h | -help           to print this help message
[double_happy@hadoop101 ~]$ 


5.-Xss      -XX:ThreadStackSize         
	表示线程栈的大小       单位是 kb     4，5是一个东西  一般这个值 521-1024之间 
6.-Xmn   年轻代大小

继续异常：

java.lang.outofMemoryError:GC overhea  limit exceeded

日志：
	PSYongGen:2048k->502k(2560k)   指的是  502表示没有被GC的数据

在这里插入图片描述

Full GC  1023->1023 表示已经干不掉了 

注意：GC是连续GC
就是发现 到最后 已经没有办法进行GC了 所以抛出异常

为什么没有办法进行GC呢 ？
	首先 到达一定的阈值 它想去GC 默认值是98%   就是超过了这个阈值 它回收不掉 也就发生了 想去回收 但是发现又GC不了
	所以遇到GC overhea  limit exceeded 错 十有八九你的代码是有问题的 或者参数不够

2. 先看一个类 nio 
非堆区 那块

在这里插入图片描述

allocate这个方法  分配JVM内存
allocateDirect     分配本地内存     到底本地内存占多少呢？一般情况下 我们开发不要使用这种的  上一篇文章写了 


写一个类：
public class DirectBufferMemoryApp {
    public static void main(String[] args) {
        System.out.println((sun.misc.VM.maxDirectMemory())/(double)1024/1024);
    }
}

结果是：
	7264 
7264 与本地的操作系统有很大关系的   是 本地内存大概的的 1/4   我电脑是32g的

在这里插入图片描述

结果：
Exception in thread "main" java.lang.OutOfMemoryError: Direct buffer memory
	at java.nio.Bits.reserveMemory(Bits.java:694)
	at java.nio.DirectByteBuffer.<init>(DirectByteBuffer.java:123)
	at java.nio.ByteBuffer.allocateDirect(ByteBuffer.java:311)
	at com.app.java.jvm.DirectBufferMemoryApp.main(DirectBufferMemoryApp.java:11)

Direct buffer memory 指的是 你调用的api 直接分配的内存  已经超过了 我们本地操作系统能用的 

这可不是堆里面的  而是堆外的哦

3.
public class UnableCreateNewThreadApp {

    public static void main(String[] args) {
        
        for (int i=1 ;;i++) {
            System.out.println("------"+i);
            
            //搞一堆的线程
            new Thread(new Runnable() {
                @Override
                public void run() {
                    try {
                        Thread.sleep(Integer.MAX_VALUE);
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    }
                }
            },i+"").start();
        }  
    }
}

一个死循环 每一个循环 会启动一个线程   
去linux上测试  如果在windows上测试 很可能 你懂得

------3419
------3420
Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native thread
        at java.lang.Thread.start0(Native Method)
        at java.lang.Thread.start(Thread.java:714)
        at UnableCreateNewThreadApp.main(UnableCreateNewThreadApp.java:18)

为了演示这个错误我Linux 电脑挂了    用root 把 那个进程kill 掉即可  不需要重启

 unable to create new native thread：
 	为什么呢？是线程太多了 
到底有多少个线程呢？
		4096 个线程数 
	[double_happy@hadoop101 jvm]$ ulimit -u              
	4096
	[double_happy@hadoop101 jvm]$ 	

为什么3420 挂了呢  因为 我机器还有别的线程呀 

修改线程数即可

4.
java.lang.outofmemoryError:Metaspace

Metaspace里面存的是放了类的属性等