7/22運(yùn)營商機(jī)房故障導(dǎo)致業(yè)務(wù)中斷的一些反思和情況說明

2024/07/22 18:30分，我們第一時(shí)間收到了“云檢測”的提示，有服務(wù)器離線了。
幾乎同一時(shí)間，又陸續(xù)的收到了多條消息，10幾臺(tái)服務(wù)器，都離線了。
那種就是：“當(dāng)頭一棒”的感覺。”

已于23日00:30分全部恢復(fù)，影響范圍：
22日 訪問數(shù)據(jù)，轉(zhuǎn)化數(shù)據(jù)，全部丟失。
22日 18:30 之后的轉(zhuǎn)化數(shù)據(jù)，無法回傳。
22日 18:30 之前的轉(zhuǎn)化數(shù)據(jù)，可以在-【全部轉(zhuǎn)化】里面進(jìn)行回傳。

事情經(jīng)過：
經(jīng)過10分鐘排查，定位到是服務(wù)器機(jī)房無法連接；登陸服務(wù)器控制臺(tái)，也看不到服務(wù)器。
于是我們立即提了工單讓服務(wù)器機(jī)房那邊排查。

事件結(jié)論：
服務(wù)器機(jī)房網(wǎng)絡(luò)問題，導(dǎo)致了網(wǎng)絡(luò)中斷，無法登陸，無法訪問。
服務(wù)器宿主機(jī)器故障，導(dǎo)致服務(wù)中斷，導(dǎo)致服務(wù)器重啟，導(dǎo)致頁面數(shù)據(jù)丟失。
直至最后恢復(fù)。
系統(tǒng)只備份了前一天21號(hào)的數(shù)據(jù)。

此次事件的一些反思：
服務(wù)器機(jī)房故障，確實(shí)是極小概率事件，面對此類事件鼎尖網(wǎng)絡(luò)也缺乏相關(guān)應(yīng)急措施；畢竟服務(wù)器在千里之外，我們無法通過網(wǎng)絡(luò)連接他，唯一能做的，就是給服務(wù)器提供商反饋故障，希望他們盡快恢復(fù)。
躲過了阿XxX云的那次故障，團(tuán)隊(duì)還很開心，幸好去年年底把服務(wù)器遷移到“電信”來了。
結(jié)果....還是遇到了這種機(jī)房的網(wǎng)絡(luò)級(jí)別的故障！
我們在屏幕前，也只能焦急的等待，使不上半點(diǎn)勁，只希望立刻，馬上，就能恢復(fù)好。

計(jì)劃和任務(wù)：
1、建立完善的通知機(jī)制，能讓大家第一時(shí)間知道故障，并且精確的告知影響范圍，讓你們對廣告做調(diào)整。
2、希望能建立一套容災(zāi)服務(wù)器作為備用方案，有問題可以在5分鐘內(nèi)切換成功。

對此事件，我們也深表歉意，以后加強(qiáng)系統(tǒng)容災(zāi)，盡可能的避免發(fā)生。