服务器故障排查整体思路
1 、先软后硬
首先排除软故障( BIOS 、 BMC 、 FW 、 AVL 、 OS 、监控系统等本身问题),然后再排查硬件。如果在我工作中接触不到设备的 OS 和监控系统,但我们可以先排除一下BIOS 、 FW 的版本问题, BMC 是否能正常监控等软问题。在排除软问题后进行硬件排查,如果确认硬件没有问题的话,有可能是监控系统误报或者是 AVL 目录存在问题,这就需要客户介入了。
2 、先简单后复杂
先排除安装不到位、插接不良、线缆损坏等问题,再进行深入分析各硬件本身问题、日常故障中其实有不少问题尤其是不能识别、性能不稳定等问题都是安装不到位、插接不良或者线缆损坏等小问题造成的,我们如果首先排查这些小问题的话就可以做到事半功倍的效果,尤其是不常坏的部件更要先排查简单问题。
3 、先思考后动手
在遇到不能确定故障部件的问题后一定不要急于动手,应仔细、系统思考一下,此故障的表现可能是那个或哪些部件引起的,哪些部件肯定不会存在问题,把排查范围缩小、定位后再进行下一步操作。
4 、综合判断
系统或监控系统的报错信息固然是我们判断故障的最重要依据,但某个部件出现问题可能会有不同现象,不同部件出现问题也会有同一种表象。所以,我们在判断故障的过程中一定要加入自己的思考,综合判断,以达到快速、准确定位故障的效果。
服务器故障排查的方法列举
在客户反馈的报修工单和BMC log中大致都能判断、定位出产生问题的故障部件,我们就可以直接对故障部件进行维修或更换。但在维修未知原因的的故障时,要遵循从简到难、从外而内、从软及硬的方法逐步判断、定位故障,要有一个清晰的思路,这样有利快速定位故障所在,提高维修质量、缩短维修时间、降低维修成本。
观察法:
有些部件的故障会产生明显的非正常表象,通过直观的观察,快速定位、排除直观可见故障:
1) 肉眼观察服务器外部指示灯或故障码,以及内部配件上有无明显不良现象,如线路烧毁,元件发黑裂开,电容鼓包等现象;
2) 能否闻到元件烧毁或击穿后的异味;
3)查看配件安装是否歪斜、插接部件的金手指部分是否有安装不到位的现象;
4) 查看连接线缆有没有明显的松动或脱落的现象;
5) 根据故障现象小心触碰相应元器件表面如CPU、Memory、FLASH、PCH、稳压块等,有否超过正常温度;
如发现部件有上述不良现象,就可快速定位故障零件,进行更换和维修。
插接法:
由于运输或者环境的冷热变化可能会导致服务器配件的脱落或接触不良,通过重新插接的手段可以排除这类情况导致的故障:
1) 重新插接有插接结构的相关零件,检查故障是否排除;
2) 如故障部分元件由多个插接件共同组成,则尝试逐一重新插接,如板卡,连线、面板、SDD、HDD等,再检查故障是否排除;
3) 也可以把机器完全拆开,再重新组装一遍,可能比较有效的解决一些隐性的接触问题。
最小化配置法:
当某个故障无法定位到某个或某几个部件的时候,我们可以通过能开机的最小化配置再逐步添加部件来判断故障范围:
1) 除了主板外,只保留一颗CPU(CPU0 Socket)、一条内存(CPU0槽位)、一个PSU,断开其他所有部件的连接,用短接开关针脚方式开机,检测故障是否为主要部件引起;
2) 如果这个配置都不能开机,那就要逐一替换这几个主要部件来确定是谁的故障;
3) 如果最小化能正常开机,再逐一加载其他配件,通过重新启动来判断是哪个部件故障。增加顺序建议是:CPU、内存、硬盘(含RAID卡和SSD)、网卡、GPU卡等。
(注:最小化配置法中,一定要保留CPU0,一般来说CPU0是主通道,如果留1去0,即便设备都正常,server也开不了机的。)
替换法:
替换法是指通过替换疑似故障的零件(可能产生故障的部件可能不止一个),检查故障现象有否变化,来确认故障点。使用此方法的前提是大概知道故障件的范围,通过1-3个部件的逐步替换来找出或排除故障,如果没有一个大概范围的判断,则适用于上述的最小化配置试法。
具体做法:通过逐一替换机器内的怀疑部件,观察故障现象是否消失,来定位故障件。
排查思路:逐一排除绝对没问题的部件,最终定位到故障部件。
替换原则:先替换较容易出故障的部件,比如:内存、硬盘等。
交叉比较法:
交叉比较法是指通过同类型零件(报故障零件和正常运行零件)交叉安装测试,通过检测结果的比较来判定或排除故障部件。其前提条件有两个:
一是该设备必须有两个以上同样的部件;
二是必须有报错信息指向此部件(如果对故障部件没有初步指向的话,适合用替换法判断)。
通过交叉比较,一般会产生如下结果:
1) 故障状况消失,有可能是部件安装或插接不到位
2) 故障状况随报错部件移动,判定此配件确实是其自身故障,更换掉;
3) 故障状况没有转移,可以排除此配件并非自身故障,需要进行下一步替换或交叉测试;
服务器整机拆装思路
1 、在拆装设备前首先要做好防静电工作,比如佩戴防静电手环等。
2 、对金手指插拔的备件(比如内存)在安装时一定要槽位准确、平均接触、均匀用力,一般在插槽的两边都会有固定的卡扣,确保卡扣准确而自然的卡住备件(用户说明书里面一般都有安装说明);在拆卸时要首先打开卡扣在轻轻拔起(千万不能横向摇晃)。
3 、对线缆插接的备件(如 SAS 口和 PCIe 口)在安装时一定要对准接口、用力适中,一般会有固定卡位装置,会听到轻微的“咔嗒”声才表示接口插接到位;拆卸时一定要用手指按住固定卡开关再轻轻拔起。
4 、对于需要螺丝固定的部件,安装原则是:交叉非全力(不完全上紧)全部上完螺丝后再交叉逐个上紧,并且安装用力要适中,不能用力过大;拆除时也要遵循交叉拆卸的原则。
5 、对于 CPU 这样昂贵的部件来说,拆装规范更是要严格执行,
服务器开机无显的排查思路
1. 检查显示器和连接:确保显⽰器正确连接到服务器的显卡端⼝,并检查显⽰器电源和信号线连接是否正常。
2. 检查电源问题:确认服务器电源线连接牢固,检查电源是否正常开启,并尝试更换电源插座或电源线。
3. 检查硬件:检查内存条和其他扩展卡是否正确安装,尝试重新插拔它们,查看是否有故障设备导致⽆显现象。
4. 检查BIOS设置:进⼊服务器的BIOS界⾯,检查显卡相关设置是否正确,尝试恢复默认设置。
5. 使⽤远程管理功能:如果服务器⽀持远程管理,通过远程界⾯监控和故障排除。
配件更换之后怎么确定是否识别?
1、进BIOS查看
2、进入带外管理查看
进系统看{dmidecode -t (同步BIOS信息)}