從生成式AI走向智能體，從預訓練走向推理，從信息智能走向物理智能和生物智能，AI技術在迅速迭代的同時也帶來了更多的安全和治理問題。

在博鰲亞洲論壇2025年年會上，與會專家圍繞技術應用與風險平衡、倫理規范、國際合作等方向展開了深度討論。有觀點認為，過度嚴格的治理措施可能會抑制創新，使企業和研究機構在開發AI技術時受到過多限制，影響技術的發展速度和應用效果。但也有專家認為，如果只注重創新而忽視治理，可能導致更大的技術失控。

“比起‘黑天鵝’事件，我們更要避免‘灰犀牛’事件的發生。”博鰲期間，一位參會代表對第一財經記者表示，黑天鵝事件，因其難以預料只能盡力應對，但灰犀牛事件不同，大家清楚存在的風險，所以應該竭盡全力將灰犀牛事件發生及爆發的可能性降至最低，此時共建一個透明、可理解、可信的、負責任的AI生態尤為重要。

AI中的認知漏洞

“AI時代最大的安全漏洞是認知漏洞，如何平衡治理與創新，如何在全社會形成共識，是比技術更根本的挑戰。”vivo首席安全官魯京輝在博鰲期間對記者表示，AI時代的安全已從“Security”轉向“Safety”，不僅要防攻擊，更要考慮倫理影響和社會系統性風險，如虛假內容、深度偽造、惡意引導等新型威脅。

在他看來，當前，業界正從技術、管理、倫理等維度，努力讓基于大模型的通用人工智能變得更具可解釋性。然而這一工作極為復雜，原因在于技術持續演進變化巨大，而這些變化背后潛藏著諸多不確定的風險因素。

“盡管我們有將風險置于可控框架內運作的大致概念，但挑戰在于它不僅涉及技術層面，更關鍵的是認知層面的問題。這需要全社會共同參與，包括人工智能及生成式人工智能的研究者、開發者、政策制定者，乃至最終用戶大家必須形成共識，只有通過這種共識機制，才能切實保障人工智能系統健康、透明、負責任地發展。”魯京輝對記者說。

在博鰲的一場分論壇中，中國科學院自動化研究所研究員曾毅也談到了類似觀點。他表示，AI的倫理安全應該成為技術發展的基因，確保其與人類價值觀保持一致。他建議，將倫理安全融入AI開發的底層設計，并視為“第一性原則”，不可刪除、不可違背。

“有責任地發展人工智能，意味著人類開發者和部署者需要承擔責任。飛機、高鐵都能無人駕駛，但駕駛員仍在崗位。人工智能高速發展，但人類始終應該做自己和AI的守護者。”曾毅對記者表示，智能體的安全問題，一定要讓決策權力掌握在人類手中。

在中國工程院院士、清華大學智能產業研究院院長張亞勤看來，就可能存在的風險而言，設定AI技術紅線與邊界是關鍵。

“AI風險可以分解為可信度與可控性兩個層面。前者要求AI在執行任務時遵循人類期望、倫理規范和國家法律，不產生誤導性、有害或不公平的結果，后者則確保人類能有效監控、干預和糾正AI行為，避免失控或不可預測的后果。”張亞勤說。

值得一提的是，為了規范人工智能生成合成內容標識，今年3月14日，國家網信辦、工信部、公安部、國家廣電總局聯合發布《人工智能生成合成內容標識辦法》，要求對生成合成內容添加顯式標識，并規范生成合成內容傳播活動，自9月1日起施行。

藏在“冰山下”的風險

如何做到應用與治理的平衡推進，讓數據不再裸奔？目前產業、學界、監管各方仍有不同的答案。不過對于與會嘉賓來說，多方協作、動態治理、倫理優先、技術透明是共識所在。

但在產業實踐之中，各行各業所面臨的AI問題并不相同。以手機行業為例，伴隨AI智能體“接管”手機屏幕，數據安全和隱私保護問題正變得更加復雜。

“比如，AI智能體打破了原有操作系統技術架構，產生了新交互方式和行為，這涉及到權限管理和數據流轉的根本性變革，需要重新定義技術基線。”魯京輝對記者表示，作為商業企業，既會重視技術的商業價值，但也會堅守底線與紅線思維，投入資源從內部多維度構建AI安全治理體系的同時，也對外參與行業標準制定，通過行業聯盟達成AI治理的效果。

在他看來，手機廠商在AI治理與安全方面，從實施層面有兩個維度，分別是數據生命周期和業務生命周期。在數據生命周期，要保證數據高質量，防止低質量或惡意數據污染大模型，確保數據安全。而從業務生命周期，大模型本身要考慮算法安全性，防范訓練中的惡意攻擊，部署時兼顧傳統與AI業務防護手段，干預大模型不可解釋性及AI幻覺問題。

“其實核心的底線就是要做好數據安全和隱私保護，但是坦白說，這個保護是冰山下的，很多是看不到的，風險來自于外部環境的變化，我們盡量把灰犀牛的事件發生可能性降到最低，內部組織上也會設立專門的攻防團隊來在各個業務部門做部署。”魯京輝說。

不過，正因為智能體的廣泛運用，這種“未知的、藏在冰山下”的AI風險在張亞勤看來正在快速提升。

“風險至少上升一倍。”張亞勤認為，智能體具有自我規劃、學習、試點并達到自己目的的能力，是強大的技術工具，但在其運行過程中，里面有很多未知的因素，中間路徑不可控。智能算法并不完全是黑盒子，但是很多東西并不清楚機理，所以帶來很大風險。一種是可控風險，一種是被壞人所利用的風險。因此，使用智能體的時候需要做一些標準，比如限制智能體自我復制，以降低失控風險。

針對通過制定標準能否解決人工智能的安全性問題，魯京輝表示，安全性問題不能簡單地通過制定法律或規則解決，全球對“安全性”定義也尚未統一。

“歐洲重合規，美國重發展，中國求平衡，到底哪一種是標準答案，還需要實踐來證明。”在他看來，安全沒有標準答案，但企業必須有標準動作，企業需要一種更動態的、更敏捷地平衡于發展和安全之間的新的治理模式，既不做保守的防守者，也不做野蠻的開拓者。