1.1 问题现象
用户在使用 BI 时,可能会出现宕机而导致无法使用的情况。
1.2 宕机处理流程
这里以 Tomcat 为例。
2.1 方法一
使用
jps -l
命令,如下图所示:
注:Tomcat 直接部署的进程名为
Bootstrap
,安装包部署的进程名为
UnixLauncher
。
2.2 方法二
在命令行输入
ps -ef|grep tomcat
,如下图所示:
3.1 重启 BI 服务器
若服务器进程消失,需要重启 BI 服务器,详情参见:
FineBI安装与启动
3.2 查看系统的 OOM Killer
通常多应用集中部署在一台机器上,Linux 系统在内存不足等条件下会主动干预进程(OOM Killer)。这个机制会在内存不足的时候 kill 掉任何不受保护的进程,从而释放内存。
执行下面三个命令,
egrep -i 'killed process' /var/log/messages
egrep -i 'killed process' /var/log/dmesg
egrep -i -r 'killed process' /var/log
如果出现此类内容
"Out of memory: Kill process 31201 (java) score 783 or sacrifice child,
则可以判断发生了 OOM Killer,但是还需要通过内存占用和时间来确认与消失的BI进程是否吻合。
3.3 查看是否有崩溃文件 hs_err_
检查当前用户目录(cwd)是否有 hs_err_$pid.log 文件,大多数时候在
%Tomcat%/bin
目录下。
3.4 以上文件和内容都没有
没有 hs_err_ 崩溃文件,没有 OOM Killer 。
1)确认进程是否在后台运行,若进程不是后台进程,终端退出或连接超时导致进程消失。
2)如果终端是 Xshell 连接,选择
文件>默认会话属性
,确认配置去掉勾选☑️,如下图所示:
4.1 访问无响应
4.1.1 查看是否为内存溢出 OOM
内存溢出的导致无响应的主要原因,是 JVM 的内存全部耗光,但是依然需要进一步分配内存。此时 JVM 就会进行很多次的的Full GC,希望回收不使用的内存。但是由于数据都在使用,因此一直释放不掉内存,于是就一遍遍的进行Full GC。
判断方法如下:
1)利用 top 命令发现进程的 CPU 使用率非常高。
2)CPU高并不一定是在做 Full GC,需要进一步确认。做 FullGC 不代表是OOM,只有持续不断在 Full GC 的情况是 OOM 。输入
jstat -gc pid 2000 2000
命令,如下图所示:
关注 FGC 一栏,如果数值增加很快,而且 FGCT(Full GC 的总时间)数值很大,例如 FGC 为20 FGCT已经 2000 以上,平均一次 FGC 耗时 100s ,可以确定是内存溢出了导致的宕机,需要获取 dump 。
4.1.2 造成内存溢出的原因排查及对应方案
-
Logger占用内存过高
若安装了平台日志导出插件,则禁用该插件。
-
更新任务占用内存过高
更新任务默认尽可能的占用资源来提升更新性能。
-
堆外内存 OOM
图表 J2V8 线程 OOM
在图表组件分组超过 5000 时,绘图逻辑会在后端处理,此时图表 J2V8 计算使用的是堆外内存,在触发OOM时 JVM 会崩溃并生成 hs 文件,进入
%FineBI%bin
路径下即可看到该文件。
4.1.3 内存溢出-获取 dump 文件
需要在安装BI后进行参数配置。
1)Linux 系统
打开
%Tomcat_HOME%/bin/catalina.sh
文件,加上:
JAVA_OPTS="$JAVA_OPTS -server -XX:+HeapDumpOnOutOfMemoryError"
,如下图所示:
注:其中不设
-XX:HeapDumpPath
时,dump 的文件在
%Tomcat_HOME%/bin
目录下。
2)Windows 系统
打开
%Tomcat_HOME%/bin/catalina.bat
文件,加上:
set JAVA_OPTS=%JAVA_OPTS% -server -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=D:\heapdump
,如下图所示:
若没有配置 dump 参数,则需要手动获取 dump 文件,执行
jmap -dump:format=b,live,file=路径 进程pid
,例如获取 22374 进程的 dump 文件,如下代码所示:
jmap -dump:format=b,live,file=22374.hprof 22374
4.1.4 不是内存溢出 OMM -打堆栈
若用户环境有 JDK :
1)查出进程
Linux 环境 ,执行命令:
ps -ef|grep tomcat
Windows 环境:查看任务管理器,可以查到 FineBI 的进程(pid)
Win7 可用 dos 窗口,命令类似:
netstat -aon|findstr "37799"
2)打堆栈,一般每隔 3 秒打一个,打三至四个,如下所示:
jstack pid > a1.txt
jstack pid > a2.txt
jstack pid > a3.txt
若用户环境未安装 JDK :
jstack 命令是依赖 JDK 的,但是客户没安装 JDK ,客户环境也不太方便安装 JDK 的时候,进行如下操作:
1)将自己电脑本地的 JDK 拷贝到用户工程上。
2)解压到磁盘目录,最好是根目录。
3)此时利用命令行执行到 bin 目录。
4)然后打 jstack 即可。
注:如果无法正常执行,可配置环境变量。
4.2 页面部分功能无响应
4.2.1 单机环境-打堆栈
操作步骤参见 4.1.4 节。
4.2.2 集群环境
Web 集群环境每个节点都要生成 jstack 文件,操作步骤参见 4.1.4 节。
4.3 重启 BI 服务器
4.3.1 结束 BI 进程
详情参见:
关闭FineBI
4.3.2 启动 BI 服务器
详情参见:
FineBI 安装与启动