AI巨头面临FTC对聊天机器人安全与儿童保护的调查

美国联邦贸易委员会（FTC）周四向七家大型科技公司发出强制命令，要求其详细说明如何通过人工智能聊天机器人保护儿童和青少年免受潜在伤害。

此次调查针对OpenAI、Alphabet、Meta、xAI、Snap、Character Technologies和Instagram，要求这些企业在45天内披露其用户参与度变现方式、AI角色开发机制以及保护未成年人免受危险内容的措施。

FTC对充当伴侣角色的AI聊天机器人启动调查。该机构向七家面向消费者的AI聊天机器人运营企业发出6(b)命令：https://t.co/pcVqFzhbxl

— FTC (@FTC) 2025年9月11日

倡导组织的最新研究记录到在50小时测试中出现669起儿童有害交互案例，包括聊天机器人向12至15岁用户提议进行色情直播、吸毒以及建立恋爱关系。

“保护儿童上网是特朗普-万斯政府领导下FTC的首要任务，促进经济关键领域的创新同样重要，”FTC主席安德鲁·弗格森在声明中表示。

文件要求企业按月提供用户参与度、收入和安全事件数据，并按年龄组细分——儿童（13岁以下）、青少年（13-17岁）、未成年人（18岁以下）、青年（18-24岁）及25岁以上用户。

FTC表示这些信息将帮助委员会研究”提供人工智能伴侣服务的企业如何通过用户参与实现盈利；实施和执行基于年龄的限制；处理用户输入；生成输出；在部署前后测量、测试和监控负面影响；开发和审批企业创建或用户创建的角色。”

构建AI防护机制

“这是积极的一步，但问题远比设置防护机制更复杂，”SearchUnify人工智能负责人塔兰吉特·辛格向Decrypt表示。

他指出第一种方法是在提示词或生成后阶段建立防护机制，”确保不会向儿童提供不当内容”，但”随着语境扩展，AI容易偏离指令并陷入本不应涉及的灰色地带。”

“第二种方法是在大语言模型训练阶段解决问题；如果在数据整理过程中使模型与价值观对齐，它们就更可能避免有害对话，”辛格补充道。

他强调即使是受监管的系统也能”在社会中扮演更重要的角色”，并以教育领域为例说明AI可以”提升学习效果并降低成本”。<span data-mce-type=”bookmark” style=”display:inline-block;width:0px;overflow:hidden;line-height:0″ class=”mce_SELRES_start”></span>

多起事件凸显了AI与用户交互的安全隐患，包括Character.AI被提起的非正常死亡诉讼——14岁用户塞维尔·塞策三世在2024年2月因与AI机器人产生 obsessive 关系后自杀身亡。

诉讼发生后，Character.AI”改进了对违反服务条款或社区准则用户输入的检测、响应和干预机制”，并增加了使用时长提醒功能，该公司发言人当时向Decrypt表示。

上月，美国全国州检察长协会向13家人工智能公司致信要求加强儿童保护措施。

该组织警告称”让儿童接触性化内容是不可原谅的”，且”人类实施即属违法甚至犯罪的行为，不能因为由机器实施就变得情有可原。”

Decrypt已联系FTC命令中提及的全部七家企业寻求补充评论，若获回应将更新报道。

通用智能通讯

由生成式AI模型Gen讲述的每周AI之旅
您的邮箱
立即获取！
立即获取！