GenAI 事件嚴重性矩陣：網路安全響應的自定義評分模型

資訊科技 (IT) 事件：

IT 事件是指任何非計劃性的 IT 服務中斷或品質降低。事件範圍從輕微問題（如應用程式運行緩慢）到嚴重中斷（包括伺服器故障）。事件管理 (IM) 旨在有效處理這些事件，確保 IT 服務能夠迅速恢復。

網路安全事件：

可能危及資訊或資訊系統的機密性、完整性或可用性，或構成對安全政策或安全程序威脅的事件。

網路安全事件應對和嚴重程度等級：

事件應對 (IR) 是組織遵循的有組織流程，用於從安全事件中恢復。網路安全事件應對計劃的主要目標是限制損害並降低安全漏洞的成本和恢復時間，確保業務連續性並保護系統和數據的完整性。

\ 事件應該有不同的嚴重程度等級，因為並非所有事件對業務的影響都相同。分配嚴重程度等級是一個關鍵步驟，它決定了應對所需資源的速度和範圍。

生成式 AI 事件和嚴重程度矩陣：

人工智能 (AI) 方法的普遍使用，包括生成式 AI (GenAI) 和大型語言模型 (LLMs) 用於個人和專業活動，因生成式預訓練轉換器 (GPT) 系統的技術進步而成為可能。GenAI 應用程式已創造了新的安全風險，這要求資訊安全團隊將其保護責任擴展到這些系統。

\ 可能發生的事件類型包括聊天機器人誤導客戶、AI 代理洩漏數據等等。安全運營中心 (SOC) 和事件應對 (IR) 團隊需要一個適用於 AI 事件的嚴重程度矩陣，以創建一個標準化系統，確定 AI 相關事件的實際影響和嚴重程度等級。

\ 文章中描述的工具用於確定事件嚴重程度等級，以便適當分配 IR 資源。新系統通過使用基於矩陣的評估方法，將數值數據與人工評估因素整合在一起。

\ 該矩陣包含五個「影響維度」，用於評估對 AI 功能、數據完整性、運營可用性、聲譽和修復工作的影響。

\ 該工具通過評分系統對每個維度進行評估，可以有低 (1)、中 (2)、高 (3) 或嚴重 (4) 分數。

宣告事件前需考慮的因素：

在宣告 AI 事件之前需要進行初步評估，因為這有助於確立對大量資源和即時分類程序的需求。AI 系統具有與所有其他系統不同的獨特特性。

\ 評估需要確定哪些 AI 系統參與了事件，並確定它們對操作安全和業務運營的重要性。系統的一些例子包括聊天機器人、電腦視覺模型、推薦系統、自定義代理等。功能影響評估要求研究人員分析當 AI 系統遇到對抗性攻擊時操作設計如何變化。

\ 系統顯示不同程度的故障，包括影響準確性和速度的輕微性能問題，以及導致系統崩潰和危險或不公平結果的重大問題。一些性能問題可能與模型回應的準確性降低和延遲增加有關。

\ 根據 ATLAS 框架，系統需要識別兩件事：檢測到的異常性質，以及它是源於對抗性攻擊還是系統故障。MITRE ATLAS (MITRE, 2025) 允許用戶識別特定的攻擊技術（例如，LLM 提示注入、毒化訓練數據、AI 服務拒絕），這些技術顯示了攻擊目標及其相應的分類。

\ 評估包括通過檢查訓練或驗證數據和敏感信息（PII、PHI、專有模型 IP）的任何損害和外洩來驗證數據完整性和機密性。評估過程必須確定 AI 系統的輸出對依賴其結果的操作和系統業務服務元素的影響程度。應該確定對業務的物理危險程度以及財務損失的範圍。

計算已宣告事件的嚴重程度

已宣告事件的評估需要標準化方法來建立適當的應對程序。事件嚴重程度評估需要通過基於矩陣的系統結合數值數據點和人工判斷，以實現準確評估。事件嚴重程度等級達到任何相關影響類別的最大值，這允許嚴重元素將整個事件提升到更高的優先級狀態。

每個相關維度 (A-E) 的評分系統從 1 到 4 不等，用於確定組織的事件嚴重程度。事件嚴重程度評級成為所有評估維度的最高分數，這決定了完整的嚴重程度等級。如果功能影響分數為「2」，但數據影響達到「4」，而其他維度範圍在「1」到「2」之間，事件可以達到「嚴重」狀態。結構化評估過程允許組織獲得標準化結果，同時加快評估過程。

\ 組織需要在按原樣實施此框架或創建與其現有計算系統匹配的自己版本之間做出選擇，以建立 AI 事件嚴重程度等級。

根據 AI 事件的嚴重程度優先處理風險：

嚴重程度等級計算幫助事件應對團隊在規劃應對和分配資源時決定哪些風險需要立即關注。對嚴重事件的應對需要立即部署一個由網路安全專家、AI/ML 工程師、數據科學家、法律專業人員和公關代表組成的專業團隊。對較低嚴重程度事件的應對需要較少的人員來管理。

\ 嚴重事件需要立即通知執行人員和董事會成員、法律團隊、監管機構和公眾利益相關者，但低嚴重程度事件應只接收有限的內部信息共享。系統關閉以及 API 斷開連接，作為第一道防禦機制，阻止高嚴重程度事件的蔓延。較低嚴重程度事件的遏制過程需要防止重大操作中斷的發生。