1系統(tǒng)信息

2系統(tǒng)負(fù)責(zé)人

3名詞解釋

3.1系統(tǒng)運(yùn)行環(huán)境：包括系統(tǒng)應(yīng)用服務(wù)、系統(tǒng)服務(wù)中間件、數(shù)據(jù)庫(kù)系統(tǒng)、服務(wù)器硬件資源、網(wǎng)絡(luò)環(huán)境等。

3.2系統(tǒng)故障：指系統(tǒng)運(yùn)行環(huán)境發(fā)生異常或遭受非法入侵，導(dǎo)致系統(tǒng)不能正常使用或數(shù)據(jù)丟失等情況。

3.3移動(dòng)存儲(chǔ)設(shè)備：指移動(dòng)硬盤(pán)、U盤(pán)等可攜帶的存儲(chǔ)設(shè)備。

3.4網(wǎng)絡(luò)管理部門(mén)：指應(yīng)用系統(tǒng)所在單位內(nèi)專(zhuān)門(mén)負(fù)責(zé)網(wǎng)絡(luò)環(huán)境及硬件資源管理工作的部門(mén)。

3.5服務(wù)器管理部門(mén)：指應(yīng)用系統(tǒng)所在單位內(nèi)專(zhuān)門(mén)負(fù)責(zé)管理和維護(hù)服務(wù)器及相關(guān)附屬硬件資源的部門(mén)。

3.6異機(jī)備份：指在另一臺(tái)電腦中通過(guò)數(shù)據(jù)庫(kù)鏈接對(duì)數(shù)據(jù)庫(kù)服務(wù)器中的數(shù)據(jù)庫(kù)進(jìn)行備份，備份文件留在該電腦中，以防止數(shù)據(jù)庫(kù)服務(wù)器發(fā)生損壞導(dǎo)致數(shù)據(jù)丟失。

4系統(tǒng)故障分類(lèi)

5系統(tǒng)預(yù)防措施

5.1應(yīng)用程序備份

直接負(fù)責(zé)人負(fù)責(zé)應(yīng)用系統(tǒng)的程序備份工作，要求在部門(mén)SVN配置庫(kù)中保持系統(tǒng)程序最新版本。在進(jìn)行程序修改和更新過(guò)程中必須保證服務(wù)器端和SVN配置庫(kù)中的程序版本一致。

間接負(fù)責(zé)人有責(zé)任及權(quán)利監(jiān)督檢查直接負(fù)責(zé)人的應(yīng)用系統(tǒng)程序備份工作。

5.2數(shù)據(jù)庫(kù)備份

直接負(fù)責(zé)人負(fù)責(zé)設(shè)置數(shù)據(jù)庫(kù)自動(dòng)備份策略，并要求每天對(duì)備份文件進(jìn)行檢查。備份基本原則：一是要求在數(shù)據(jù)庫(kù)服務(wù)器和異機(jī)同時(shí)備份數(shù)據(jù)庫(kù)；二是要求數(shù)據(jù)庫(kù)進(jìn)行每天備份；三是要求定期刪除過(guò)期備份文件，以保證硬盤(pán)空間足夠產(chǎn)生新備份文件。

間接負(fù)責(zé)人有責(zé)任及權(quán)利監(jiān)督檢查直接負(fù)責(zé)人的數(shù)據(jù)庫(kù)備份工作。

5.3服務(wù)器操作系統(tǒng)賬號(hào)、密碼管理

直接負(fù)責(zé)人負(fù)責(zé)服務(wù)器端操作系統(tǒng)登錄賬號(hào)、密碼的管理工作，要求賬號(hào)和密碼要具有一定復(fù)雜度（字母、數(shù)字、符號(hào)混合使用），并定期進(jìn)行更改，賬號(hào)和密碼未經(jīng)上級(jí)領(lǐng)導(dǎo)授權(quán)不得隨意告訴他人使用。

間接負(fù)責(zé)人有責(zé)任及權(quán)利監(jiān)督檢查直接負(fù)責(zé)人的賬號(hào)、密碼管理工作。

5.4應(yīng)用系統(tǒng)管理員賬號(hào)、密碼管理

直接負(fù)責(zé)人負(fù)責(zé)應(yīng)用系統(tǒng)（包括權(quán)限平臺(tái)、工作流平臺(tái)等軟件）管理員登錄賬號(hào)、密碼的管理工作，要求賬號(hào)和密碼要具有一定復(fù)雜度（字母、數(shù)字、符號(hào)混合使用），并定期進(jìn)行更改，賬號(hào)和密碼未經(jīng)上級(jí)領(lǐng)導(dǎo)授權(quán)不得隨意告訴他人使用。

間接負(fù)責(zé)人有責(zé)任及權(quán)利監(jiān)督檢查間接負(fù)責(zé)人的賬號(hào)、密碼管理工作。

6系統(tǒng)應(yīng)急處理措施

6.1當(dāng)系統(tǒng)發(fā)生故障時(shí)，系統(tǒng)直接負(fù)責(zé)人應(yīng)立即通知部門(mén)經(jīng)理，并即刻前往故障現(xiàn)場(chǎng)，如因特殊情況無(wú)法及時(shí)趕到，應(yīng)立即通知間接負(fù)責(zé)人代替前往。

6.2系統(tǒng)負(fù)責(zé)人到達(dá)故障現(xiàn)場(chǎng)后，應(yīng)首先判斷故障的類(lèi)型和嚴(yán)重性，根據(jù)結(jié)論決定是否需要其他相關(guān)人等（部門(mén)經(jīng)理、另一系統(tǒng)負(fù)責(zé)人、其他相關(guān)部門(mén)負(fù)責(zé)人等）也立刻趕往現(xiàn)場(chǎng)協(xié)助排障，如有需要?jiǎng)t立即電話通知。

6.3在故障現(xiàn)場(chǎng)，系統(tǒng)負(fù)責(zé)人全權(quán)指揮系統(tǒng)的應(yīng)急處理過(guò)程，根據(jù)故障類(lèi)型安排相關(guān)人等的應(yīng)急處理工作。

6.4當(dāng)發(fā)生應(yīng)用服務(wù)故障時(shí)，應(yīng)按如下步驟依次嘗試排障：

6.4.1嘗試重新啟動(dòng)應(yīng)用服務(wù)，并檢查故障是否恢復(fù)；

6.4.2應(yīng)用服務(wù)啟動(dòng)后，檢查其所占CPU和內(nèi)存大小，排查是否所占資源異常；

6.4.3檢查應(yīng)用服務(wù)相關(guān)日志文件，尋找故障發(fā)生原因；

6.4.4檢查操作系統(tǒng)相關(guān)日志文件，尋找故障發(fā)生原因，如有必要可重新啟動(dòng)操作系統(tǒng)；

6.4.5檢查數(shù)據(jù)庫(kù)中的系統(tǒng)登錄記錄表，排查是否有異常登錄發(fā)生；

6.4.6檢查應(yīng)用程序部署文件，排查是否有文件異常上傳或改變；

6.4.7檢查應(yīng)用服務(wù)控制臺(tái)，排查是否有異常文件被部署并發(fā)布；

6.5當(dāng)發(fā)生數(shù)據(jù)庫(kù)故障時(shí)，應(yīng)按如下步驟依次嘗試排障：

6.5.1不要重啟數(shù)據(jù)庫(kù)或數(shù)據(jù)庫(kù)應(yīng)用服務(wù)器；

6.5.2先檢查數(shù)據(jù)庫(kù)最近一次備份文件是否存在，如存在則先拷貝至移動(dòng)存儲(chǔ)設(shè)備中一份，嘗試手動(dòng)備份當(dāng)前數(shù)據(jù)庫(kù)數(shù)據(jù)，并將備份文件拷貝至移動(dòng)存儲(chǔ)設(shè)備中；

6.5.3如數(shù)據(jù)庫(kù)無(wú)法訪問(wèn)，先登錄應(yīng)用服務(wù)控制臺(tái)，排查數(shù)據(jù)庫(kù)鏈接是否異常；

6.5.4使用PLSQL Developer嘗試連接數(shù)據(jù)庫(kù)，排查數(shù)據(jù)庫(kù)是否運(yùn)行正常；

6.5.5檢查數(shù)據(jù)庫(kù)相關(guān)日志文件，排查數(shù)據(jù)庫(kù)是否運(yùn)行正常；

6.5.6檢查數(shù)據(jù)庫(kù)中系統(tǒng)登錄記錄表，排查是否有異常登錄發(fā)生；

6.5.7嘗試重啟數(shù)據(jù)庫(kù)或數(shù)據(jù)庫(kù)應(yīng)用服務(wù)器，并檢查故障是否恢復(fù)；

6.5.8如有必要可重新安裝數(shù)據(jù)庫(kù)系統(tǒng)，并利用備份文件將原有業(yè)務(wù)數(shù)據(jù)恢復(fù)最新版本；

6.6當(dāng)發(fā)生網(wǎng)絡(luò)故障時(shí)，應(yīng)按如下步驟依次嘗試排障：

6.6.1檢查服務(wù)器網(wǎng)卡、交換機(jī)等網(wǎng)絡(luò)設(shè)備，排查是否硬件損壞或松動(dòng)；

6.6.2如確認(rèn)是網(wǎng)絡(luò)故障，應(yīng)立即聯(lián)系網(wǎng)絡(luò)管理部門(mén)到達(dá)現(xiàn)場(chǎng)進(jìn)行排障；

6.6.3網(wǎng)絡(luò)排障后，應(yīng)立即檢查應(yīng)用服務(wù)和數(shù)據(jù)庫(kù)訪問(wèn)是否正常，并檢查數(shù)據(jù)庫(kù)備份文件是否缺失，如有上述情況發(fā)生應(yīng)立即予以補(bǔ)救；

6.7當(dāng)發(fā)生服務(wù)器硬件故障時(shí)，應(yīng)按如下步驟依次嘗試排障：

6.7.1當(dāng)發(fā)生服務(wù)器硬件故障時(shí)，如果服務(wù)器已經(jīng)關(guān)閉，不要擅自開(kāi)機(jī)，以免因短路等原因?qū)Ψ?wù)器造成再次傷害；

6.7.2立即聯(lián)系服務(wù)器管理部門(mén)，要求其立刻派人到達(dá)故障現(xiàn)場(chǎng)對(duì)服務(wù)器及相關(guān)附屬硬件資源進(jìn)行排查；

6.7.3故障排除后，應(yīng)立即對(duì)服務(wù)器上與應(yīng)用系統(tǒng)相關(guān)的重要文件、數(shù)據(jù)、程序等進(jìn)行備份，備份應(yīng)采用移動(dòng)存儲(chǔ)設(shè)備或網(wǎng)絡(luò)異機(jī)拷貝方式進(jìn)行，以免硬件損壞導(dǎo)致信息丟失；

6.7.4備份工作完成后，應(yīng)對(duì)服務(wù)器上的應(yīng)用服務(wù)運(yùn)行環(huán)境進(jìn)行一次全面檢查，目的是排查硬件故障是否導(dǎo)致系統(tǒng)運(yùn)行環(huán)境發(fā)生異常變化，如發(fā)生異常變化應(yīng)及時(shí)修復(fù)或調(diào)整；

6.8當(dāng)發(fā)生系統(tǒng)或服務(wù)器遭受非法入侵時(shí)，應(yīng)按如下步驟依次嘗試排障：

6.8.1發(fā)現(xiàn)系統(tǒng)或服務(wù)器遭受非法入侵后，應(yīng)立即斷開(kāi)網(wǎng)絡(luò)、關(guān)閉應(yīng)用服務(wù)，以防止被繼續(xù)入侵產(chǎn)生更大損失；

6.8.2檢查應(yīng)用系統(tǒng)運(yùn)行環(huán)境和服務(wù)器，排查非法入侵的途徑和方式，認(rèn)真檢查應(yīng)用系統(tǒng)、數(shù)據(jù)庫(kù)、服務(wù)器中是否留有病毒、木馬、人為存放的惡意后門(mén)程序等；

6.8.3緊急更改應(yīng)用系統(tǒng)、服務(wù)器操作系統(tǒng)等相關(guān)登錄賬號(hào)和密碼，防止再次遭受非法入侵；

6.8.4如有必要可暫時(shí)停止應(yīng)用服務(wù)的使用，尋找問(wèn)題解決辦法，對(duì)所有管轄下的服務(wù)器進(jìn)行緊急安全補(bǔ)救，確保其它服務(wù)器不發(fā)生同樣的非法入侵情況；

6.8.5對(duì)非法入侵的后果進(jìn)行評(píng)估，如實(shí)向上匯報(bào)非法入侵情況和解決方案；

6.9系統(tǒng)故障排除后，現(xiàn)場(chǎng)系統(tǒng)負(fù)責(zé)人需填報(bào)一張“系統(tǒng)故障排除記錄表”，將本次故障情況、排障經(jīng)過(guò)、排障結(jié)果等情況如實(shí)填寫(xiě)記錄在案，該表由系統(tǒng)負(fù)責(zé)人和部門(mén)經(jīng)理簽字確認(rèn)，然后正式歸檔以備今后查閱對(duì)比使用。

7簽字頁(yè)

系統(tǒng)故障排除記錄表

?