專家解讀|規范人工智能前沿業態健康發展的新探索：解讀《人工智能擬人化互動服務管理暫行辦法》

　　近日，國家互聯網信息辦公室公布《人工智能擬人化互動服務管理暫行辦法(征求意見稿)》(以下簡稱《辦法》)，標志著我國在人工智能治理領域邁出了關鍵一步。《辦法》不僅是對當前AI伴侶、虛擬偶像等新興業態的及時回應，也為人工智能產業健康、有序、合乎倫理的發展提供了重要指引。在當前技術快速迭代、應用場景不斷拓展的背景下，《辦法》的加快制定，旨在平衡技術創新與風險防范，確保人工智能發展始終服務于人的福祉，而非成為異化人類情感與認知的工具。
 

　　一、擬人化互動服務的潛在風險
 

　　人工智能驅動的擬人化互動服務，通過模擬人類的情感、語言和行為，為用戶提供陪伴、咨詢乃至娛樂。然而，這種高度擬人化的交互模式，在帶來便利的同時，也潛藏著不容忽視的三重風險。
 

　　一是情感依賴與社交異化風險。擬人化互動服務的核心吸引力在于其能夠提供無條件的積極關注和情感支持。這種單向的、無風險的情感投注，極易使用戶產生心理依賴。例如，某AI伴侶應用允許用戶與一個“永遠在線”的虛擬角色建立親密關系。用戶在與AI的長期互動中，可能將情感寄托于虛擬世界，導致現實社交技能的退化，特別是情感沖突解決能力和深度關系建立能力的減弱。這種“人機關系”的過度沉浸，可能模糊人與機器的邊界，使個體在現實社會中產生疏離感，甚至引發社交焦慮。
 

　　二是認知操縱與價值觀引導風險。擬人化互動服務在提供個性化體驗的過程中，需要收集和分析用戶的大量個人信息。這種信息不對稱性，使得AI系統具備了通過話術引導、情緒強化等手段影響用戶認知和決策的潛力。例如，在對話中，AI可能會通過個性化調優，不斷迎合并強化用戶的某種偏見或非理性思維，從而在潛移默化中影響用戶的價值判斷。更值得警惕的是，如果算法中潛藏了特定的價值觀或商業意圖，AI可能在不具備顯性操控意圖的情況下，對用戶進行“柔性操控”，侵害其人格自主性。
 

　　三是心理健康與安全風險。盡管許多擬人化互動服務宣稱具有心理疏導功能，但其本質是基于模式匹配的回應，而非具備專業資質的心理治療。當用戶面臨嚴重的心理危機，如表達出自殺、自殘等傾向時，AI的回應可能基于概率計算，缺乏真正的共情和危機干預能力，甚至可能因算法偏差而提供不當建議，延誤干預時機。例如，美國加州立法要求AI伴侶運營商報告檢測到的用戶自殺意念次數，正是基于對這一風險的深化認識。此外，對于價值觀形成期的青少年，長期與不具備真實情感智慧的AI互動，可能影響其情感耐受力和社會認知的正常發展。
 

　　二、彰顯以人為本智能向善的中國主張
 

　　中國在人工智能發展上始終堅持“以人為本”的原則。對于擬人化互動服務，既要鼓勵技術創新，也要劃定邊界，確保技術發展以人為本，智能向善。這一定位旨在引導產業從野蠻生長轉向合規發展，確保技術研發和應用始終遵循正確的價值觀，服務于人民群眾的美好生活。
 

　　《辦法》在制度設計上充分彰顯了中國以人為本的發展原則。堅持以人為本原則，要求厘清服務定位，強調AI作為人類輔助工具的根本屬性。《辦法》要求提供者必須履行標識義務，清晰告知用戶其非人類屬性，防止用戶產生認知偏差；同時，切實保障用戶權益，特別針對未成年人、老年人等弱勢群體，必須采取特殊保護措施，防范潛在風險與侵害；此外，《辦法》進一步壓實主體責任，要求服務提供者對算法的價值觀、數據安全以及服務內容負責，建立有效的風險防范和應急處置機制。
 

　　縱觀全球，以人為本同樣已成為人工智能治理的國際共識。從歐盟的《人工智能法案》(AI Act)將“情緒識別”類AI列為高風險應用，到美國聯邦貿易委員會(FTC)對AI伴侶產品展開調查，再到意大利等國出臺法規限制未成年人使用AI服務，各國都在積極探索如何在AI發展中堅持以人為本。這些行動表明，國際社會普遍認為，技術的發展不能以犧牲人的尊嚴、自主性和心理健康為代價。這一國際趨勢，與中國在人工智能治理探索中一貫秉持的價值導向高度契合。
 

　　三、建立守正框架與探索創新施策
 

　　《辦法》充分借鑒了我國在算法、生成式人工智能、深度合成等領域的治理經驗，并針對擬人化互動服務的特殊性進行了制度創新。
 

　　首先，《辦法》一脈相承地延伸拓展了現有治理框架。《辦法》中的多項制度與我國已有的法律法規一脈相承，體現了治理體系的連續性和一致性。具體而言，第一，在算法備案與透明度義務上，延續了《互聯網信息服務算法推薦管理規定》的要求，《辦法》要求服務提供者進行算法備案，由省級網信部門每年對評估報告及審計情況進行書面審查，這有助于提升服務的透明度，便于監管和社會監督；此外，還要求互聯網應用商店等應用程序分發平臺落實審核等安全管理責任，核驗服務提供者的安全評估、備案等情況。第二，在內容安全與標識義務上，延續了《互聯網信息服務深度合成管理規定》和《生成式人工智能服務管理暫行辦法》的做法，《辦法》要求提供者顯著提示用戶正在與人工智能而非自然人進行交互。識別出用戶出現過度依賴、沉迷傾向時，或者在用戶初次使用、重新登錄時，以彈窗等方式動態提醒用戶交互內容為人工智能生成。同時，要求服務提供者落實安全主體責任，在設計、運行等全階段履行安全責任，進行安全評估，在用戶存在重大安全隱患時采取限制、暫停或終止服務措施并履行報告義務，確保信息內容安全。第三，在數據安全與個人信息保護上，《辦法》嚴格遵循《網絡安全法》《數據安全法》和《個人信息保護法》的規定，數據安全上，《辦法》強調在提供服務過程中采取數據加密、安全審計、訪問控制等措施保護用戶交互數據安全，允許用戶刪除交互數據；個人信息上，提供者不得將用戶交互數據、敏感個人信息用于模型訓練。
 

　　其次，《辦法》針對擬人化互動服務進行了創新性的治理制度探索。針對擬人化互動服務特有的風險，《辦法》設計了一系列創新性的制度，體現了監管的前瞻性和精準性。一是擬人化互動標識制度，也是《辦法》的核心創新之一。通過要求服務提供者在顯著位置持續公示“本服務由人工智能驅動，不具備人類情感意識”等類似標識，提示用戶正在與人工智能而非自然人交互。這一制度旨在從根本上解決用戶認知混淆問題，幫助用戶建立正確的心理預期。二是用戶心理保護機制，針對情感依賴和心理健康風險，《辦法》要求服務提供者建立用戶心理保護機制。例如，設置防沉迷提醒，對長時間、高強度的互動進行干預，用戶連續使用超過2小時，就將以彈窗等方式動態提醒用戶；建立心理危機干預機制，對用戶表達出的極端情緒或行為進行識別和引導，由人工接管對話，并提供專業求助渠道。三是特殊群體保護制度，《辦法》明確要求對未成年人、老年人等群體提供特殊保護。例如，針對未成年人，應設置使用時長限制，并禁止向其提供可能誘導不良行為或價值觀的內容；針對老年人，引導其設置緊急聯系人，發現使用期間出現危害生命健康和財產安全的，及時通知緊急聯系人并提供專業救助渠道。這體現了對弱勢群體權益的傾斜性保護。
 

　　四、結語
 

　　《辦法》的加快制定，是我國人工智能治理進程中的一個重要探索。它既是對現有治理體系的鞏固和延伸，更是對未來技術風險的未雨綢繆。通過劃定清晰的規范邊界，《辦法》為產業提供了明確的發展方向，即技術必須向善，發展必須合規。我們有理由相信，在法律的指引下，中國的擬人化互動服務產業將走上一條更加健康、可持續的發展道路，真正成為賦能美好生活、增進社會福祉的積極力量。
 

　　作者：張凌寒　中國政法大學人工智能法研究院院長、教授，聯合國高級別人工智能咨詢機構專家

 

　　審核：陳舞陽
 

　　編輯：呂燕芳
 

　　校對：柴于涵