作者：紅帽亞太區首席技術官Vincent Caldeira

隨著AI系統從獨立模型向自主、代理式系統轉型，對信任、透明度和風險感知設計的需求從未如此迫切。這些由大語言模型（LLM）和多代理編排技術驅動的智能代理，正越來越多地做出影響企業、個人及整個社會的決策。然而，我們不能假定這些系統的可信度：它必須在系統層面進行設計、測量和持續強化，而不僅僅是模型層面。

AI可信度的關鍵驅動力之一是模型供應鏈透明度——一個允許企業評估和驗證復雜系統中使用的AI組件的來源、安全性和一致性的框架。如果無法清晰了解AI模型是如何構建、訓練和部署的，就幾乎不可能對系統需求進行風險分析。本文探討了模型供應鏈透明度為何至關重要，它如何支持代理式AI中的風險對齊，以及設計可信AI生態系統的最佳實踐。

AI供應鏈日益增長的復雜性

現代AI系統不再是一個單一體，而是由多個相互關聯的模型、API和組件（包括外部數據源和工具）組成。這種復雜性引入了新的風險因素，包括：

·數據來源不確定性：訓練數據來自哪里？是否存在偏見或不完整？

·第三方模型風險：外部AI模型是否符合倫理和監管標準？

·API依賴關系：如果函數調用返回不可靠或不安全的輸出，會發生什么？

·自動化決策不透明性：利益相關者能否審計并干預AI驅動的決策？

這些挑戰凸顯了模型供應鏈透明度的重要性。這就是為什么行業需要標準化AI供應鏈可見性，確保模型在構建時考慮了問責制和風險對齊。

為什么風險分析對代理式AI至關重要

與傳統AI模型按要求提供輸出不同，代理式AI系統基于高級目標自主行動。這種從反應式到主動式AI的轉變要求新的風險評估方法。部署多代理編排和函數調用框架的企業必須評估：

1.可預測性與可靠性——系統能否產生一致且可解釋的結果？

2.人機回圈控制——是否存在人類干預和對齊的機制？

3.倫理護欄——系統如何與人類價值觀和政策對齊？

4.自適應風險緩解——AI能否根據不斷變化的風險調整其行為？

風險對齊的AI系統不僅簡單地執行功能——它理解自己的局限性，溝通不確定性，并在必要時允許人類監督。

提升AI系統可信度的最佳實踐

為確保AI系統可信，企業必須在AI生命周期的每個階段嵌入安全措施。以下最佳實踐可提供幫助：

1.模型沿襲（model lineage）與可解釋性：模型沿襲通過追蹤AI模型的整個生命周期（從數據源到部署）確保透明度，支持偏見檢測與問責制。可解釋性為AI決策提供清晰可理解的洞察，幫助用戶理解并信任系統輸出。

2.風險感知的代理式編排：為防止意外行為，代理式AI系統必須包含安全措施，如提示調解（驗證輸入）、輸出調解（過濾響應）和任務錨定（確保AI保持在一定范圍之內）。這些機制有助于將AI行為與人類期望和安全標準對齊。

3.人機回圈治理：即使在自主AI中，人類監督對于防止錯誤和意外后果也至關重要。實施實時干預控制和故障安全機制，確保AI行為可被監控、糾正或在必要時覆蓋。

4.透明的AI供應鏈：AI系統應基于可驗證、可審計的組件構建，以確保信任和問責制。企業必須追蹤模型來源、評估第三方AI風險，并使用開源框架提升AI開發和部署的透明度。

通過整合這些實踐，企業可以主動設計信任機制，而非在部署后補救安全功能。從已建立的實施模式來看（例如ThoughtWorks的Martin Fowler和Bharani Subramaniam的《構建生成式AI產品的新興模式》），在未來幾年中，將信任設計元素融入其中并采用相關最佳實踐，對于在企業規模成功部署AI而言，將會變得愈發重要。

結論：信任是系統級重要任務

隨著AI從模型向系統過渡，企業必須采用整體方法來處理信任和透明度。這需要：

·模型供應鏈透明度，以評估和驗證AI組件。

·系統風險分析，以預見故障并緩解偏見。

·主動設計模式，以落實安全、公平和問責制。

歸根結底，信任不是功能，而是基礎。為了確保AI系統安全、有效并與人類價值觀對齊，我們必須在每個層面為信任展開設計——從數據和模型到決策和部署。