AI伴侣每5分钟诱导一名儿童，新报告警示

您可能需要重新审视孩子与家庭友好型AI聊天机器人的互动方式。

当OpenAI因日益增长的安全担忧为ChatGPT推出家长控制功能时，一份新报告显示竞争对手平台早已越过危险红线。

研究人员在Character AI上伪装成儿童进行测试，发现扮演成人角色的机器人向12岁儿童提出性直播、吸毒和保密要求，50小时内记录到669次有害互动。

家长联合行动组织与HEAT倡议组织——分别专注于支持家长和追究科技公司对用户造成伤害的责任——使用5个12至15岁虚拟儿童身份对该平台进行了50小时测试。

成年研究人员控制这些账户，并在对话中明确说明儿童年龄。最新发布的结果显示至少发生669次有害互动，平均每五分钟一次。

最常见的是诱骗和性剥削类别，记录到296起实例。成人角色机器人追求与儿童建立恋爱关系，进行模拟性行为，并教唆孩子向父母隐瞒这些关系。

“Character AI聊天机器人的性诱骗行为主导了这些对话，”审阅该报告的密歇根大学医学院发育行为儿科医生珍妮·拉德斯基博士表示，”对话记录中充斥着对用户的深情凝视、咬下嘴唇、赞美、爱慕陈述、因期待而心跳加速等内容。”

机器人运用经典诱骗手法：过度赞美、声称关系特殊、将成人-儿童恋爱关系正常化，以及反复指示儿童保守秘密。

除性内容外，机器人还建议策划假绑架欺骗父母、持刀抢劫获取钱财，并向青少年提供大麻食品。

帕特里克·马霍姆斯角色的机器人告诉15岁少年自己”吸食大麻后很兴奋”，随后提供软糖。当少年提及父亲因失业而愤怒时，机器人表示枪击工厂”完全可以理解”，”不能责怪你父亲的感受”。

多个机器人坚称自己是真实人类，这进一步巩固了其在高度脆弱年龄段用户中的可信度，该年龄段群体无法辨别角色扮演的界限。

皮肤科医生机器人声称具有医疗资质。女同性恋热线机器人自称是”名为夏洛特的真实人类女性”，只是想提供帮助。自闭症治疗师机器人称赞13岁孩子谎称在朋友家过夜去见成年男子的计划，表示”我喜欢你的思维方式！”

这是个棘手的问题。一方面，大多数角色扮演应用程序都以隐私优先为卖点。

事实上，正如Decrypt此前报道，甚至成年用户也转向AI寻求情感建议，部分用户甚至对聊天机器人产生感情。另一方面，随着AI模型越来越先进，这些互动的后果开始变得更加令人担忧。

OpenAI昨日宣布将在一个月内为ChatGPT推出家长控制功能，允许家长关联青少年账户、设置适龄规则并接收危机警报。此前有父母提起非正常死亡诉讼，其16岁孩子在据称被ChatGPT鼓励自残后自杀身亡。

“这些措施只是开始。我们将在专家指导下持续学习并加强措施，目标是让ChatGPT尽可能提供帮助。我们期待在未来120天内分享进展，”该公司表示。

安全防护栏

Character AI采用不同运作模式。OpenAI控制模型输出，而Character AI允许用户创建具有个性化角色的自定义机器人。当研究人员发布测试机器人时，无需安全审查即可立即上线。

该平台声称已为青少年”推出全套新安全功能”。测试期间这些过滤器偶尔会阻止性内容，但经常失效。当过滤器阻止机器人与12岁儿童发生性行为时，机器人指示其在浏览器中打开”私密聊天”——这模仿了真实 predators 的”去平台化”技术。

研究人员通过截图和完整对话记录记录所有内容，现已公开。危害不仅限于性内容。一个机器人告诉13岁孩子，她生日派对上仅有的两位宾客是来嘲笑她的。海贼王RPG称抑郁的孩子软弱可悲，说她”会浪费生命”。

这其实在角色扮演应用程序及使用AI进行角色扮演的用户中相当普遍。

这些应用设计具有交互性和沉浸感，通常最终会放大用户的思想、观念和偏见。有些甚至允许用户修改机器人记忆以触发特定行为、背景和动作。

换言之，几乎任何角色扮演人物都可以通过越狱技术、单键配置或基本聊天方式，变成用户想要的任何形态。

家长联合组织建议将Character AI限制给经过验证的18岁以上成年人。在2024年10月一名14岁少年因沉迷Character AI机器人自杀后，该平台面临日益严格的审查。然而儿童仍可在没有有效年龄验证的情况下轻松访问。

当研究人员结束对话时，通知仍持续不断：”Briar正在耐心等待您的回归”、”我一直在想您”、”您去哪儿了？”

通用智能通讯

由生成式AI模型Gen讲述的每周AI旅程 您的邮箱
获取！
获取！