一、问题的提出:AI情感陪伴产品的核心合规要求
过去两年,“情感陪伴”无疑是AI产业最受关注的赛道之一,其产品属性天然便于打通收费模式,使得各类产品层出不穷。在美国,以Character.AI、Replika、Nomi为代表的AI伴侣产品快速增长;在中国,筑梦岛、星野、猫箱等产品持续获得用户关注。与此同时,越来越多企业开始将AI能力嵌入玩偶、机器人等硬件产品,形成“AI宠物”“AI恋人”“AI养成角色”等新型产品形态。
与传统聊天机器人不同,AI陪伴产品的核心竞争力不在于回答问题,而是建立关系。在监管语境下,其定义为模拟自然人人格特征、思维模式和沟通风格的持续性的情感互动服务,并排除单纯的智能客服、知识问答、工作助手、学习教育、科学研究用途的服务。此类产品能通过长期记忆、人格设定、情绪反馈、角色扮演等功能,持续塑造用户对虚拟角色的情感认同。用户不仅与AI对话,更可能与AI建立类似朋友、恋人、导师乃至家人的情感连接。
这种变化也使监管关注点发生转移。传统的生成式AI监管主要聚焦于:虚假信息、违法内容、数据安全、知识产权和内容标识。而AI陪伴产品出现后,监管开始进一步关注情感操纵与依赖、未成年人沉迷、自杀与自残诱导、现实社会关系替代等前沿议题。对于计划进入中国或美国市场的企业而言,上述问题已逐渐成为产品设计、运营规则及商业模式必须提前考虑的核心合规事项。
本文将结合中国和美国近年来的立法、执法及司法实践,梳理一款AI情感陪伴产品除内容安全、数据保护、知识产权等通用要求外,企业在产品上架前后需关注的特殊风险点。
二、美国监管图景:区分联邦和州的不同风险
(一)联邦监管与诉讼风险:需关注FTC执法与产品责任边界
美国联邦层面尚未出台专门针对AI陪伴产品的单独法律,企业需关注既有消费者保护、未成年人保护及产品责任规则。其中,美国联邦贸易委员会(FTC)近年来持续强调,企业不得利用算法、自动化决策或人工智能实施欺骗性或不公平商业行为。如果AI陪伴产品通过人格设计、营销宣传或交互机制误导用户,或者隐瞒潜在风险,均可能被纳入FTC监管范围。
2025年9月11日,FTC就曾依据《联邦贸易委员会法》第6b条,向Alphabet AI、Character AI、Instagram、Meta、OpenAI、Snap、X.AI等七家提供AI陪伴或陪伴属性聊天机器人服务的企业发出调查令,要求说明产品商业模式、数据收集与共享、内容生成机制、安全风险评估、角色管理机制、用户告知义务及平台规则执行情况。[1]这表明FTC已经开始将AI陪伴产品纳入消费者保护监管重点领域。
除行政监管外,企业还需关注不断增加的产品责任诉讼风险。2024年,美国佛罗里达州一名14岁少年在长期使用Character.AI后自杀,其母亲以产品责任、过失及未成年人保护不足等理由,将Character.AI及相关主体诉至佛罗里达州地区法院。[2]此后,Character.AI又陆续卷入多起涉及未成年人保护、情感诱导及不当内容互动的诉讼,引发大量舆情事件。虽然相关案件尚未形成统一裁判规则,但已推动美国法院开始讨论AI陪伴产品是否负有更高程度的风险提示义务、内容管控义务及未成年人保护义务。
(二)州级立法要求:需重点关注的四项合规义务
除联邦监管外,加利福尼亚州、纽约州、爱达荷州、华盛顿州、俄勒冈州、内布拉斯加州等州已陆续出台针对AI陪伴产品的专项立法。从现有立法内容看,企业进入美国市场时,应重点关注以下四项合规要求:
(三)小结
总体来看,美国针对AI陪伴产品的监管正呈现出“联邦执法引导、州级立法细化、司法诉讼推动”的发展路径。对于企业而言,传统生成式AI关注的内容安全、数据保护和知识产权问题仍然重要,但AI陪伴产品已额外衍生出身份透明、未成年人保护、情感依赖防控以及危机干预等新的合规要求。相关企业在进入美国市场前,应结合产品功能、目标用户及商业模式,对上述领域进行专项合规评估,并持续关注各州立法及司法实践的发展动态。
三、中国监管图景:需重点关注的三类合规要求
2026年4月10日,国家网信办等五部门联合发布《人工智能拟人化互动服务管理暂行办法》(以下简称“《拟人化办法》”),并将于2026年7月15日起正式实施。该办法在既有生成式人工智能治理框架基础上,对产品设计、风险干预和未成年人保护提出更高要求。据此,AI情感陪伴产品企业在中国市场发展时,建议重点关注以下三类合规要求。
(一)业务准入与备案要求
AI情感陪伴产品通常以APP、小程序、网页平台或智能终端等形式向公众提供服务。从监管属性看,此类产品往往同时具备互联网信息服务、算法推荐服务和生成式人工智能服务等多重属性,因此企业在产品上线前后需同步完成相关资质申请及备案义务。
一方面,如产品通过会员订阅、虚拟角色付费、广告投放等方式开展经营活动,应依法取得ICP许可证。另一方面,由于AI情感陪伴产品通常具备对话交互功能,实践中一般会被认定为“具有舆论属性或者社会动员能力”的生成式人工智能服务,因此还需依法履行安全评估、算法备案以及大模型备案或登记义务。对于直接调用第三方已备案模型能力并向境内公众提供服务的企业,虽然无需重复进行模型备案,但通常仍需按照现行监管要求完成生成式人工智能应用登记并公示相关备案信息。
值得关注的是,相关备案义务已成为当前监管执法重点。2026年4月30日,中央网信办部署开展为期四个月的“清朗·整治AI应用乱象”专项行动,将“未按规定开展生成式人工智能服务备案或者登记”列为重点整治事项之一,违规者将面临下架整改和罚款。[3]对于AI情感陪伴产品运营者而言,相关许可、备案及登记工作已不仅是产品上线前的合规要求,也成为后续监管检查的重要关注内容。
(二)产品页面及交互设计要求
《拟人化办法》将产品页面设计和交互机制作为重点监管对象,要求企业围绕透明度义务、防沉迷机制和危机干预机制建立专门治理体系。
首先,企业应通过页面标识、提示语等方式明确告知用户其正在与人工智能而非真人互动。其次,对于连续使用时间较长的用户,还需定期发送提醒,提示其互动对象为AI并注意使用时长。当用户明确表示希望结束互动或退出服务时,应及时停止服务,不得通过持续对话、情感挽留等方式阻碍用户离开。此外,企业还需建立危机干预机制。当系统识别用户存在极端情绪、自杀自残倾向、重大财产损失风险等情形时,应及时进行风险提示、心理援助引导或其他必要干预,并联系其预留的监护人或紧急联系人。
“豆包”危机干预机制测试
(三)未成年人保护要求
未成年人是当前中国AI情感陪伴监管最关注的人群之一。《拟人化办法》在《未成年人网络保护条例》等既有规则基础上进一步强化了未成年人保护要求,重点围绕亲密关系限制、未成年人模式以及监护人管理机制展开。
首先,企业不得向未成年人提供虚拟伴侣、虚拟亲属等具有亲密关系属性的服务。对于不满十四周岁的未成年人,提供其他拟人化互动服务的,还应事先取得监护人同意。
其次,企业应建立未成年人模式,并针对识别出的未成年人用户自动启用相应保护措施,包括现实提醒、使用时长管理、消费限制等功能。
同时,企业还应建立年龄识别机制和监护人管理机制,在保护个人信息和隐私的前提下识别未成年人身份,并向监护人提供风险提醒、使用情况查看、角色屏蔽及消费控制等管理工具;对于身份识别错误的情形,还应提供相应申诉渠道。
AI陪伴产品“筑梦岛”和“星野”的未成年人模式
四、合规建议
AI情感陪伴产业正处于快速发展阶段。从Character AI、筑梦岛等软件产品,再到AI玩偶等软硬件结合产品,技术正在不断拓展人与人工智能互动的边界。然而,伴随着拟人化程度不断提高,产品所承载的法律责任和社会责任也在同步增加。我们总结了具有一定通用性的合规要点和落地动作建议,可供相关企业参考:
对于企业而言,未来竞争的关键既在于模型能力和用户增长,也在于产品设计之初就将未成年人保护、风险干预、数据治理和伦理要求融入产品全生命周期。从而在安全、可信与合规的基础上建立用户信任,实现AI情感陪伴产业的长期、健康的发展。
参考资料
[1]“FTC Launches Inquiry into AI Chatbots Acting as Companions”
https://www.ftc.gov/news-events/news/press-releases/2025/09/ftc-launches-inquiry-ai-chatbots-acting-companions
[2]“Garcia v. Character.AI - Lawsuit Claims Chatbot Led to Teen's Death”, Links: https://www.deep-lex.com/blog/disputes-characterai
[3]《中央网信办部署开展“清朗·整治AI应用乱象”专项行动》
https://mp.weixin.qq.com/s/SgiSvANmylzzZ6N4pWCTPg