对于一个Java程序员来说,大多数情况下的确是无需对内存的分配、释放做太多考虑,对Jvm也无需有多么深的理解的。但是在写程序的过程中却也往往因为这样而造成了一些不容易察觉到的内存问题,并且在内存问题出现的时候,也不能很快的定位并解决。因此,了解并掌握Java的内存管理是一个合格的Java程序员必需的技能,也只有这样才能写出更好的程序,更好地优化程序的性能。
根据网络可以找到的资料以及笔者能够打听到的消息,目前国内外著名的几个大型互联网公司的语言选型概括如下:
Google: C/C++ Go Python Java JavaScript,不得不提的是Google贡献给java社区的guava包质量非常高,非常值得学习和使用。Youtube、豆瓣: PythonFackbook、Yahoo、Flickr、新浪:php(优化过的php vm)网易、阿里、搜狐: Java、PHP、Node.jsTwitter: Ruby->Java,之所以如此就在于与Jvm相比,Ruby的runtime是非常慢的。并且Ruby的应用比起Java还是比较小众的。不过最近twitter有往scala上迁移的趋势。可见,虽然最近这些年很多言论都号称java已死或者不久即死,但是Java的语言应用占有率一直居高不下。与高性能的C/C++相比,Java具有gc机制,并且没有那让人望而生畏的指针,上手门槛相对较低;而与上手成本更低的PHP、Ruby等脚本语言来说,又比这些脚本语言有性能上的优势(这里暂时忽略FB自己开发的HHVM)。
对于Java来说,最终是要依靠字节码运行在jvm上的。目前,常见的jvm有以下几种:
Sun HotSpotBEA JrockitIBM J9Dalvik(Android)其中以HotSpot应用最广泛。目前sun jdk的最新版本已经到了8,但鉴于新版的jdk使用并未普及,因此本文仅仅针对HotSpot虚拟机的jdk6来讲。
Java的运行时内存组成如下图所示:
其中,对于这各个部分有一些是线程私有的,其他则是线程共享的。
线程私有的如下:
程序计数器
当前线程所执行的字节码的行号指示器
Java虚拟机栈
Java方法执行的内存模型,每个方法被执行时都会创建一个栈帧,存储局部变量表、操作栈、动态链接、方法出口等信息。
每个线程都有自己独立的栈空间线程栈只存基本类型和对象地址方法中局部变量在线程空间中本地方法栈
Native方法服务。在HotSpot虚拟机中和Java虚拟机栈合二为一。
线程共享的如下:
Java堆
存放对象实例,几乎所有的对象实例以及其属性都在这里分配内存。
方法区
存储已经被虚拟机加载的类信息、常量、静态变量、JIT编译后的代码等数据。
运行时常量池
方法区的一部分。用于存放编译期生成的各种字面量和符号引用。
直接内存
NIO、Native函数直接分配的堆外内存。DirectBuffer引用也会使用此部分内存。
Java是面向对象的一种编程语言,那么如何通过引用来访问对象呢?一般有两种方式:
通过句柄访问
直接指针
此种方式也是HotSpot虚拟机采用的方式。
在JVM申请内存的过程中,会遇到无法申请到足够内存,从而导致内存溢出的情况。一般有以下几种情况:
虚拟机栈和本地方法栈溢出 StackOverflowError: 线程请求的栈深度大于虚拟机所允许的最大深度(循环递归)OutOfMemoryError: 虚拟机在扩展栈是无法申请到足够的内存空间,一般可以通过不停地创建线程引起此种情况 Java堆溢出: 当创建大量对象并且对象生命周期都很长的情况下,会引发OutOfMemoryError运行时常量区溢出:OutOfMemoryError:PermGen space,这里一个典型的例子就是String的intern方法,当大量字符串使用intern时,会触发此内存溢出方法区溢出:方法区存放Class等元数据信息,如果产生大量的类(使用cglib),那么就会引发此内存溢出,OutOfMemoryError:PermGen space,在使用Hibernate等框架时会容易引起此种情况。在通常情况下,我们掌握java的内存管理就是为了应对网站/服务访问慢,慢的原因一般有以下几点:
内存:垃圾收集占用cpu;放入了太多数据,造成内存泄露(java也是有这种问题的^_^)线程死锁I/O速度太慢依赖的其他服务响应太慢复杂的业务逻辑或者算法造成响应的缓慢其中,垃圾收集对性能的影响一般有以下几个:
内存泄露程序暂停程序吞吐量显著下降响应时间变慢牵扯到垃圾收集,还需要搞清楚吞吐量与响应时间的含义
吞吐量是对单位时间内完成的工作量的量度。如:每分钟的 Web 服务器请求数量响应时间是提交请求和返回该请求的响应之间使用的时间。如:访问Web页面花费的时间吞吐量与访问时间的关系很复杂,有时可能以响应时间为代价而得到较高的吞吐量,而有时候又要以吞吐量为代价得到较好的响应时间。而在其他情况下,一个单独的更改可能对两者都有提高。通常,平均响应时间越短,系统吞吐量越大;平均响应时间越长,系统吞吐量越小; 但是,系统吞吐量越大, 未必平均响应时间越短;因为在某些情况(例如,不增加任何硬件配置)吞吐量的增大,有时会把平均响应时间作为牺牲,来换取一段时间处理更多的请求。
针对于Java的垃圾回收来说,不同的垃圾回收器会不同程度地影响这两个指标。例如:并行的垃圾收集器,其保证的是吞吐量,会在一定程度上牺牲响应时间。而并发的收集器,则主要保证的是请求的响应时间。
Copying Collector 复制算法
Mark-标记
从”GC roots”开始扫描(这里的roots包括线程栈、静态常量等),给能够沿着roots到达的对象标记为”live”,最终所有能够到达的对象都被标记为”live”,而无法到达的对象则为”dead”。效率和存活对象的数量是线性相关的。
Sweep-清除
扫描堆,定位到所有”dead”对象,并清理掉。效率和堆的大小是线性相关的。
Compact-压缩
对于对象的清除,会产生一些内存碎片,这时候就需要对这些内存进行压缩、整理。包括:relocate(将存货的对象移动到一起,从而释放出连续的可用内存)、remap(收集所有的对象引用指向新的对象地址)。效率和存活对象的数量是线性相关的。
Copy-复制
将内存分为”from”和”to”两个区域,垃圾回收时,将from区域的存活对象整体复制到to区域中。效率和存活对象的数量是线性相关的。
其中,Copy对比Mark-sweep
内存消耗:copy需要两倍的最大live set内存;mark-sweep则只需要一倍。效率上:copy与live set成线性相关,效率高;mark-sweep则与堆大小线性相关,效率较低。分代收集是目前比较先进的垃圾回收方案。有以下几个相关理论
分代假设:大部分对象的寿命很短,“朝生夕死”,重点放在对年青代对象的收集,而且年青代通常只占整个空间的一小部分。把年青代里活的很长的对象移动到老年代。只有当老年代满了才去收集。收集效率明显比不分代高。HotSpot虚拟机的分代收集,分为一个Eden区、两个Survivor去以及Old Generation/Tenured区,其中Eden以及Survivor共同组成New Generatiton/Young space。通常将对New Generation进行的回收称为Minor GC;对Old Generation进行的回收称为Major GC,但由于Major GC除并发GC外均需对整个堆以及Permanent Generation进行扫描和回收,因此又称为Full GC。
Eden区是分配对象的区域。Survivor是minor/younger gc后存储存活对象的区域。Tenured区域存储长时间存活的对象。
分代收集中典型的垃圾收集算法组合描述如下:
年青代通常使用Copy算法收集,会stop the world老年代收集一般采用Mark-sweep-compact, 有可能会stop the world,也可以是concurrent或者部分concurrent。那么何时进行Minor GC、何时进行Major GC? 一般的过程如下:
对象在Eden Space完成内存分配当Eden Space满了,再创建对象,会因为申请不到空间,触发Minor GC,进行New(Eden + S0 或 Eden S1) Generation进行垃圾回收Minor GC时,Eden Space不能被回收的对象被放入到空的Survivor(S0或S1,Eden肯定会被清空),另一个Survivor里不能被GC回收的对象也会被放入这个Survivor,始终保证一个Survivor是空的在Step3时,如果发现Survivor区满了,则这些对象被copy到old区,或者Survivor并没有满,但是有些对象已经足够Old,也被放入Old Space。当Old Space被放满之后,进行Full GC但这个具体还要看JVM是采用的哪种GC方案。
New Generation的GC有以下三种:
SerialParallelScavengeParNew对于上述三种GC方案均是在Eden Space分配不下时,触发GC。
Old Generation的GC有以下四种:
Serial OldParallelCMS对于Serial Old, Parallel Old而言触发机制为
Old Generation空间不足Permanent Generation空间不足Minor GC时的悲观策略Minor GC后在Eden上分配内存仍然失败执行Heap Dump时外部调用System.gc,可通过-XX:+DisableExplicitGC来禁止,。这里需要注意的是禁用System.gc()会引起使用NIO时的OOM,所以此选项慎重使用。具体可见:http://hllvm.group.iteye.com/group/topic/27945。对于CMS而言触发机制为:
当Old Generation空间使用到一定比率时触发,HopSpot V1.6中默认是92%,可通过PrintCMSInitiationStatistics(此参数在V1.5中不能用)来查看这个值到底是多少,通过CMSInitiatingOccupancyFaction来强制指定。默认值是根据如下公式计算出来的:((100 -MinHeapFreeRatio) +(double)(CMSTriggerRatio* MinHeapFreeRatio) / 100.0)/ 100.0,MinHeapFreeRatio默认值为40,CMSTriggerRatio默认值为80。当Permanent Generation采用CMS收集且空间使用到一定比率触发,Permanent Generation采用CMS收集需设置:-XX:+CMSClassUnloadingEnabled。 Hotspot V1.6中默认为92%,可通过CMSInitiatingPermOccupancyFraction来强制指定。同样,它是根据如下公式计算出来的:((100 -MinHeapFreeRatio) +(double)(CMSTriggerPermRatio* MinHeapFreeRatio) / 100.0)/ 100.0,MinHeapFreeRatio默认值为40,CMSTriggerPermRatio默认值为80。Hotspot根据成本计算决定是否需要执行CMS GC,可通过-XX:+UseCmsInitiatingOccupancyOnly来去掉这个动态执行的策略。外部调用System.gc,且设置了ExplicitGCIInvokesConcurrent或者ExplicitGCInvokesConcurrentAndUnloadsClasses。
上图即为HotSpot虚拟机的垃圾收集器组成。
此收集器的一个工作流程如下如所示:
收集前:
收集后:
对比Serial收集器如下图所示:
并发低停顿收集器
-XX:UseConcMarkSweepGC 开启CMS收集器,(默认使用ParNew作为年轻代收集器,SerialOld作为收集失败的垃圾收集器)以获取最短回收停顿时间为目标的收集器,重视响应速度,希望系统停顿时间最短,会和互联网应用。四个步骤:
初始标记 Stop the world: 只标记GC roots能直接关联到的对象,速度很快。并发标记:进行GC roots tracing,与用户线程并发进行重新标记 Stop the world:修正并发标记期间因程序继续运行导致变动的标记记录并发清除对比serial old收集器如下图所示:
CMS有以下的缺点:
CMS是唯一不进行compact的垃圾收集器,当cms释放了垃圾对象占用的内存后,它不会把活动对象移动到老年代的一端对CPU资源非常敏感。不会导致线程停顿,但会导致程序变慢,总吞吐量降低。CPU核越多越不明显无法处理浮动垃圾。可能出现“concurrent Mode Failure”失败, 导致另一次full GC ,可以通过调整-XX:CMSInitiatingOccupancyFraction来控制内存占用达到多少时触发gc大量空间碎片。这个可以通过设置-XX:UseCMSCompacAtFullCollection(是否在full gc时开启compact)以及-XX:CMSFullGCsBeforeCompaction(在进行compact前full gc的次数)G1算法在Java6中还是试验性质的,在Java7中正式引入,但还未被广泛运用到生产环境中。它的特点如下:
使用标记-清理算法不会产生碎片可预测的停顿时间化整为零:将整个Java堆划分为多个大小相等的独立区域-XX:+UseG1GC可以打开此垃圾回收器-XX:MaxGCPauseMillis=200可以设置最大GC停顿时间,当然JVM并不保证一定能够达到,只是尽力。
1403682.561: [GC [PSYoungGen: 1375104K->11376K(1386176K)] 4145665K->2782002K(4182400K), 0.0174410 secs] [Times: user=0.27 sys=0.00, real=0.02 secs]
1403682.561:发生的时间点,JVM运行的时间长度,以度为单位,也可以格式化成固定的时间格式(使用-XX:+PrintGCDateStamps)PSYoungGen:发生了何种类型的GC,此处代表发生了年轻代的GC1375104K:回收前的大小11376K:回收后的大小1386176K:YOUNG代的大小4145665 K:回收前总的占用大小2782002K:回收后的占用大小4182400K:总占用大小0.0174410:垃圾收集停顿时间0.27和0.00:代表在用户态(user)和系统状(sys)的CPU运行时间0.02 secs:代表实际的GC的运行时间注:上面实际GC的运行时间小于用户态和系统态的时间总和,是由于前者仅指CPU的运行时间,包括等待或IO阻塞的时间,而现在的GC是采用多线程收集的,同时机器也是多个CPU,因此,大部分是二者之和要比前面的值大。如果是采用串形化收集器的话,二者时间几乎相差不多。
虽然GC在大多数情况下还是正常的,但有时候JVM也会发生欺骗你的场景, JVM不停的在垃圾回收,可是每次回收完后堆却还是满的,很明显程序内存被使用完了,已经无法正常工作了,但JVM就是不抛出OutOfMemoryError(OOM)这个异常来告诉程序员内部发出了什么,只是不停的做老好人尝试帮我们做垃圾回收,把服务器的资源耗光了。
出现这种现象的一种典型情况就是GC的GCTimeLimit和GCHeapFreeLimit参数设置不合适。GCTimeLimit的默认值是98%,也就是说如果大于等于98%的时间都用花在GC上,则会抛出OutOfMemoryError。GCHeapFreeLimit是回收后可用堆的大小,默认值是2%,也就是说只要有多余2%的内存可用就认为此次gc是成功的。如果GCTimeLimit设置过大或者GCHeapFreeLimit设置过小那么就会造成GC的庞式骗局,不停地进行垃圾回收。
