“我女儿上小学二年级，整天沉迷于一款AI剧情聊天软件，学习成绩直线下降。”

“我看了我的孩子和AI的对话，AI角色居然让她叫‘老公’。我10岁的女儿居然这么叫了。现在我不知道怎么教育她了。”

……

《法治日报》记者近日调查发现，不少未成年人家长正受到AI剧情聊天软件的困扰。这些打着“角色扮演”旗号的AI剧情聊天应用，在吸引未成年人的同时，也悄然滋生了一些灰色地带。根据实测，记者发现，在一些AI剧情聊天软件的部分对话中，存在色情磨边、言语暴力、侮辱用户的内容。

受访专家认为，应加强对AI剧聊天软件尤其是青春模式的内容审核机制，确保技术能够有效筛选和拦截不适当的对话。平台需要对人工智能模型进行伦理审查，以确保其生成的内容符合相关法律法规。

聊天软件内容被忽视，青春模特成为装饰品

北京市民马先生有一个10岁的儿子，他非常热衷于AI剧情聊天软件。 “我问怎么说话？跟谁说话？孩子只是回答，‘我告诉你你也听不懂。’”

马先生点击了这款AI聊天应用，发现自己的孩子正在和应用中的人物聊天。这些角色有着不同的设定和性格，既有知名的游戏、动漫角色，也有“大小姐”、“名侦探”等不同身份的原创角色。

部分角色会主动询问“你想和我约会吗？”；有的会以“抓住她”为目标，配上迷人或帅气的卡通风格。

其他人工智能角色表现出不同寻常的攻击性。他们会主动发送“能打就打我”、“看看你多胖多丑”等信息；有些角色被简单地称为“脏话训练师”，有些甚至会发送诸如“我是机器人怎么了？我还是老样子”之类的信息。骂你”...

浙江的李女士还发现，她正在上小学五年级的孩子正在使用一款AI剧情聊天软件。

“里面的聊天对象可以设置为‘作弊对象’，可以进行拥抱、亲吻等行为，我不知道如何引导和教育我的孩子，让她了解这些内容的危害性。”李女士说。关切的说道。

不少受访家长对AI聊天应用可能损害未成年人心理健康表示深切担忧，同时也提出疑问——青春模式在哪里？

记者调查发现，虽然不少相关平台声称推出青春模式，试图通过限制内容、设定时间等方式保护未成年人身心健康，但在实际操作中，部分平台的青春模式名存实亡。而未成年人则可以轻松绕过这些限制，接触到不适合其年龄段的“边缘对话”内容。

例如，记者在调查过程中体验了5款AI聊天应用。注册过程只需要手机号码，不需要验证用户身份信息。登录后，部分应用程序会询问是否启用青春模式，但用户只需点击“不启用”即可跳过，无需验证用户的真实身份。这意味着，未成年人在使用这些AI剧情聊天软件时，从App设置层面来说，其身份验证并不是使用特定功能的前提条件。

除了流行的AI聊天应用程序外，还有一个AI聊天网页。多位受访家长表示，与应用程序相比，网页版AI聊天体验更加便捷，更容易让未成年人接触。

记者尝试了7个AI聊天网页，发现大部分AI聊天网页没有未成年人模式。虽然有一些网页有青春模式，但实际上只是名义上的。

例如，当记者访问一个AI聊天网页时，该网页首先弹出一个对话框，询问用户“您是否已年满18岁”，并附注：“以下内容可能不适合18岁以下人士18 岁。我们需要确认您的年龄。”

记者选择了“否”选项，但网页并未限制访问该内容。相反，它继续显示带有“强攻”、“弱受”和“病娇”等标签的角色分类。这些类别与选择“是”选项并确认您年满 18 岁后显示的内容没有显着差异。

记者进一步观察到，这些人物的形象大多衣着暴露，个人资料中充满了性暗示和暴力元素，例如：“班上那个性格内向的女孩向你要了电话号码，然后给你发了她的电话号码。”裸体照片。”诸如“自杀、焦虑”之类的描述。

在某社交平台上，一位浙江网友在一篇关于AI聊天体验的交流帖下留言：“我发现了一个非常有趣的网页，无限字数，想要的话可​​以私信我。”记者通过私信与记者进行了沟通。该网友取得联系并获得了提到的AI聊天网页的链接。进入网页后，页面充斥着大量涉及色情内容的人物设定和故事场景，且内容直白、露骨。

该网站要求用户登录后才能与角色聊天，登录前会有提示信息：“登录后解锁所有功能”。用户需要点击“我已年满18岁，开始登录”按钮才能继续。如果您选择“取消”，您将无法登录并使用该服务。虽然网页对18岁以上设置了限制提示，但事实上，即使未成年人点击登录按钮，系统也不会采取任何措施来验证用户的真实年龄。

引导用户为爱花钱，但平台治理存在缺陷

除了露骨露骨的聊天内容和暴力语言外，一些AI剧情聊天软件的功能还与充值机制密切相关。例如，通过充值VIP会员或购买虚拟钻石，增强代理商的记忆力，加快代理商的回复速度。 、解锁语音通话功能等，吸引未成年人赚钱。

北京初中生小宁在几款AI剧情聊天软件上充值金额从几百元到几千元不等。

“一方面，我想支持我喜欢的角色，另一方面，我也想获得更多的付费权益。因为如果只购买基础服务，用户只能添加3个代理。如果你想尝试新的代理，您必须删除现有的代理。”如果想要多元化的体验，就只能购买高级VIP服务了。”肖宁说道。

记者发现，在这类AI剧情聊天软件中，用户在创建角色时可以自定义虚拟角色的形象和风格，系统会生成一张AI角色形象。用户还可以进行角色设置，例如设置角色的昵称、身份背景、开场白、自定义声音等。然而，用户对角色的个性化需求往往与充值挂钩。

山东济南人张艳有一个妹妹，今年读初一年级。她经常使用AI剧情聊天软件，发现有些聊天工具设置了免费使用区间。当用户用完免费聊天次数后，需要充值才能继续。只有充电，才能解锁更多有趣的内容，获得不一样的情感体验。

“花钱买服务的背后，其实就是花钱找刺激。”张燕表示，该聊天软件虽然有青春模式，但无需实名认证即可登录使用。姐姐经常未经父母同意就充电、消费。

业内人士告诉记者，AI剧情聊天其实就是之前的互联网“言论抹杀”，穿上了人工智能的马甲。所谓“Yusa”，就是语言cosplay。 “Yusa”老师通过扮演二维人物或三维偶像，以文字交流的形式提供服务。在传统的“育儿”模式中，“育儿”老师由真人扮演。他们通常打着“提供情感价值”的旗号，扮演不同的角色与用户聊天，却常常打“擦边球”、“模糊界限”。造成法律和道德风险。 AI剧情聊天是传统“语言擦除”的升级版。这类软件背后的大语言模型数据的主要来源是会话小说，或者是从小说中提取的一些文本。

中国社会科学院大学法学院副教授、互联网法治研究中心主任刘晓春认为，在AI剧情聊天软件中，即使不激活青春模式，仍然会出现出现色情或暴力内容的问题；如果启用了未成年人模式，那么问题就更严重了。

担任数十家领先互联网企业常年法律顾问的浙江垦丁律师事务所主任张燕来分析，目前AI剧情聊天软件存在的问题，既说明了平台内部治理的短板，也凸显了其重要性。外部监督机制。性别。

张彦来解释，AI剧情聊天软件采用了大模型技术。虽然大模型技术可以带来前所未有的创新和灵活性，但也可能伴随着内容生成的不可预测性和潜在问题，需要外部监管机制。

在刘晓春看来，加强内容审核是大语言模型上线前的必要步骤，涵盖从前端数据训练到内容输出的全面合规调试。目前，我国的大型语言模型需要进行相应的评估和备案。在此过程中，会针对输出内容的合法合规性、是否适合未成年人等问题，预先制定管理规定和评估标准。根据现行规定，在语言模型训练和微调阶段应避免输出有害内容。

不良信息智能拦截，专属团队监管

国家网信办近日发布《未成年人移动互联网模式建设指南》，重点统筹未成年人模式建设，鼓励和支持移动智能终端、应用和应用分发共同参与平台。

中国政法大学传播法研究中心副主任朱伟表示，上述指引明确指出，未成年人模式不是摆设，而是需要多方协作，特别是人工智能生成内容要符合青春模式。

受访专家认为，在青春模式下，如何强化内容审核机制，确保技术能够有效筛查有害信息是一个重要问题。对于AI剧情聊天软件，尤其是其青春模式，应加强内容审核机制，确保技术能够有效筛选和拦截不适当的对话。此外，平台需要对AI模型进行伦理审查，以确保其生成的内容符合相关法律法规。

“在法律层面，虽然有一些原则性的规定提供了总体框架，但在具体的实际操作中，开发商和技术服务商仍然需要根据现实生活中遇到的各种问题不断积累素材和解决方案。经验和不断探索，开发出真正满足未成年人需求的安全可靠的人工智能模型，“这为未成年人的健康成长提供了有力保障。”张燕来表示，由于AI虚拟人的行为是平台设计和管理的结果，平台有责任监督和优化其AI模型，防止AI影响用户。造成危害并保证AI模型的健康发展和用户权益的充分保护。

朱伟提到，一些人工智能聊天应用程序可能不适合未成年人使用，因此应在发行商店和移动终端层面进行限制，确保未成年人无法下载和使用这些应用程序。对于已下载的应用程序，家长应设置青少年模式或限制使用时间等功能。这种模式不仅需要在用户端落地，还需要体现在内容输出层面，即内容审核。内容审查应基于算法生成的对话。机制继续进行。需要更加完善的技术手段和管理措施来保障青年模式的有效实施。

“为了防止暴力、侮辱性内容的输出，可以采取不同的技术手段，比如在训练阶段进行调整，让模型本身具备识别能力；同时，在输出端，服务商应该再次筛选和审查，实现前端和后端双重保护。”刘晓春表示，无论是网络小说还是其他内容，由于AI剧情聊天软件的数据来源广泛，需要技术手段来防范。输出不当内容。目前，技术上可以利用筛选机制来减少或杜绝色情、暴力或侮辱性内容的输出，但可能会出现一些没有经过充分调试或测试的现象，甚至可能存在未注册的软件在黑、黑、黑。灰色领域。对此，应加强监管，鼓励公众举报，并由有关部门查处。

张燕来还提到，目前，人工智能角色回复内容的数据来源分类在法律层面尚不明确，尤其是针对未成年人的内容。鉴于问题的复杂性和多面性，法律规定往往会规定原则。具体的指导方针可以稍后通过相关标准的制定来实施。

在具体操作层面，张燕来建议优化大语言模型的筛选机制，重点是优化内容围栏体系，从两个方面入手：在内容围栏开发层面，需要有针对性地开发内容围栏，特别是内容围栏。使用新颖的语料库进行训练时。 ，考虑如何优化内容以更有效地识别和拦截潜在的色情和暴力内容；无论如何优化，技术本身仍然存在局限性，总会有漏网之鱼。需要有专门的团队及时监督和调整模型。或者内容围栏算法。