當前，由 ChatGPT 引發(fā)的全球大模型技術競賽正推動人工智能由專用弱智能向通用強智能邁進， 這不僅標志著智能水平的顯著提升，也預示著人機交互方式和應用研發(fā)模式的重大變革。大模型在 各行各業(yè)的廣泛應用，為第四次工業(yè)革命的爆發(fā)提供了蓬勃動力和創(chuàng)新潛力。

然而，隨著大模型商業(yè)化應用和產(chǎn)業(yè)化落地加速，大模型技術局限和惡意使用不僅加劇了原有人工 智能安全風險，也引入了模型“幻覺”、指令注入攻擊、網(wǎng)絡攻擊平民化等新型風險。面對這些挑 戰(zhàn)，國際組織和世界主要國家正通過制定治理原則、完善法律法規(guī)、研制技術標準等方式，積極開 展大模型安全治理。同時，大模型在邏輯推理、任務編排等方面的卓越能力，為解決網(wǎng)絡空間安全 瓶頸問題帶來了新的機遇。

隨著各類大模型與經(jīng)濟社會的深度融合，其技術局限和潛在惡意使用不僅威脅大模型系統(tǒng)自身的安全穩(wěn)定運行， 也可能為使用大模型的各行各業(yè)帶來非預期安全影響。

為盡可能全面應對大模型領域的基礎共性安全挑戰(zhàn)，本報告優(yōu)先對語言、多模態(tài)等各類基礎大模型系統(tǒng)的安全 風險進行系統(tǒng)梳理。與此同時，參考 ISO/IEC 5338-2023 《人工智能系統(tǒng)生命周期過程》國際標準，將基礎大 模型系統(tǒng)抽象為訓練數(shù)據(jù)、算法模型、系統(tǒng)平臺和業(yè)務應用四個重要組成部分，并通過描繪這四個組成部分面 臨的重要和一般安全風險，形成大模型安全風險地圖，如圖 1 所示。其中，重要風險是發(fā)生概率高和影響程度 大的風險，一般風險則反之。

短期來看，大模型將顯著提升現(xiàn)有安全技術的性能和智能化水平。得益于大模型在數(shù)據(jù)理解、意圖識別、任務 編排等方面的能力，在安全問答、安全運營、數(shù)據(jù)分類分級、違規(guī)處理個人信息檢測、音視圖文內容安全檢測 等關鍵網(wǎng)絡安全場景中，大模型能夠在大幅減少人工參與的同時，有效提升安全事件處理的效率和準確性。

長期來看，大模型有潛力成為安全防護的核心，從而改變安全的工作模式。當前，大模型主要扮演安全從業(yè)人 員的輔助工具，用于提高他們的工作效率和效能。未來，隨著大模型在自主研判和決策能力方面的提升，它們 預期將進化為安全從業(yè)人員的合作伙伴，共同應對安全風險的識別、防御、檢測、響應和恢復等一系列復雜工作。 此外，大模型在數(shù)據(jù)安全、內容安全等領域也將發(fā)揮關鍵作用。大模型預計將引領安全工作模式的變革，從依賴安全人員調度和使用安全工具，轉變?yōu)橐源竽Ｐ蜑楹诵恼{度并智能化使用安全工具。

附件：2024大模型安全研究報告-將引領安全工作模式的變革