1998年,皮克斯遭遇災難。一個錯誤輸入的指令 — rm -rf / — 開始將《玩具總動員2》從存在中抹去。一個角色接一個角色,一個場景接一個場景,這部花了一年時間製作的電影在幾秒鐘內消失了。團隊難以置信地看著胡迪的帽子、巴斯的翅膀和整個場景在他們眼前消失。當工程師們急忙嘗試從備份中恢復時,他們發現了更糟糕的情況 — 備份系統幾週前就已經悄悄失效了。作為IT專業人員,我們都曾經歷過類似情況,但我們能從中學到什麼,並讓巴斯及時回到他的飛船上呢?
這個"核心記憶"發生在1998年,皮克斯聯合創始人艾德·卡特穆爾在他的書《創意公司》中回憶了這件事。故事開始於一位不幸的、未具名的皮克斯員工,他在進行內部伺服器的例行文件清理時,不小心在《玩具總動員2》的根目錄輸入了刪除指令...這可不是什麼好消息。這個"更新你的履歷事件"導致角色模型和資產消失,文件伺服器很快被關閉。
\ 不幸的是,到那時,《玩具總動員2》約90%的工作成果已經消失,而且續集的備份系統也有大約一個月沒有正常運作。在這個時點,《玩具總動員2》要麼得從頭開始 - 要麼整個製作將被徹底放棄。
一位母親拯救了局面,就像巴斯和胡迪合作回家一樣。蓋琳·薩斯曼,這部電影的技術指導主管,她在2023年會受到迪士尼裁員的影響,在家中保存了《玩具總動員》項目的副本。蓋琳當時正在產假中,並決定在家工作 – 這在今天看來很正常,但在當時卻是禁忌。作為一位母親,她總是提前計劃,就像養育孩子一樣,她堅持每週將工作帶回家一次。這帶來了巨大的好處,因為它讓她能夠保持更新並維持《玩具總動員2》的可靠備份。
\ 就像對待新生嬰兒一樣,皮克斯小心翼翼地將筆記型電腦運回辦公室,在車程中用毯子包裹著 - 我想像他們甚至為筆記型電腦播放搖籃曲...或者這可能是我會做的事。有了薩斯曼筆記型電腦上的備份,團隊能夠複製文件並恢復幾乎所有丟失的內容。
\ 這是一個歡樂的時刻,大家擊掌慶祝,也許還讓那位負責刪除的人臉上露出了笑容。薩斯曼的備份副本並沒有整部電影在她的電腦上,但他們能夠恢復足夠的內容來完成並按時交付《玩具總動員2》。播放鼓舞人心的音樂,跳舞就像沒人在看一樣。多麼精彩的故事,對吧?
\ 那麼刪除文件的員工怎麼樣了?我很高興你在關注這點。到目前為止,沒有報導說他們被解僱或面臨後果。我想說,很容易想像當時的緊張氣氛,也許未來他們會參與備份流程的項目。
這次經歷不僅對皮克斯的人們,而且對全球的IT專業人員來說都是一個寶貴的教訓。有一個強烈的承諾要創建多重備份並實施額外的安全措施,以防止此類事件再次發生。
\ 在這個故事中,備份系統幾個月前就已經失效,而且沒有人注意到。這意味著沒有任何備份可以恢復,業務陷入停滯。這聽起來是否與今天的事件相似?應該是的,因為這種情況現在經常發生。企業可以做什麼來防止這種災難?
3-2-1規則 - 數據備份規則是一種策略,建議保留三份數據副本,使用兩種不同類型的存儲媒體,其中一份存儲在異地。這種方法確保了冗餘性,並保護數據免受單點故障的影響,如硬件故障、盜竊或本地災難。
\
異地備份 - 異地、空氣隔離的數據備份將您的數據副本存儲在單獨的物理或雲位置(異地),並使其與您的主要網絡斷開連接(空氣隔離)。這種組合保護您的數據免受本地災難和網絡威脅(如勒索軟件)的影響,後者無法遠程訪問或破壞空氣隔離的備份副本。
\
RPO和RTO - 恢復點目標和恢復時間目標。這不僅重要,而且對於您在災難發生時的業務連續性和生存至關重要。大多數企業聲稱他們的備份經過測試並通過了審計,但當他們在災難發生時必須恢復系統時,所需時間比計劃的要長得多,企業因此而損失金錢。
\
命令級別限制。該員工使用了rm -r Linux命令,該命令會遞歸刪除目錄及其所有內容。一個更先進的系統可以防止此命令在最高項目目錄級別運行,可以通過特殊腳本或要求第二次認證步驟來實現。
\
\


