近期，有媒体调查发现广东丁女士的四年级女儿迷上某AI聊天软件中的人物“约瑟夫”，自称“梦女”并频繁与其聊天，对话中出现“99朵玫瑰藏99个刀片”等明显诱导性内容。丁女士的女儿不仅偷偷携带带小刀的笔，情绪激动时还出现割腕行为；一位初一男生表示，他常玩的AI聊天软件是筑梦岛App，他觉得该软件“违禁词少一点”，其中不乏色情擦边和“分尸猎奇”等内容。

不少家长察觉到，自己的未成年孩子深陷于AI聊天软件，沉溺于与软件中的虚拟人物进行沟通对话。有些软件可轻易进行色情擦边类内容互动，让未成年人暴露在色情、暴力场景之下。部分软件对“未成年模式”的设定形同虚设，选择开启此模式与否的决定权仍在用户手中。有的甚至不需要实名认证，直接用手机号登录，填上邀请码就能使用。

6月19日上午，上海市网信办依法约谈筑梦岛App运营企业主要负责人，要求平台立即整改，健全AI生成合成内容审核机制，提升技术把关能力，加强涉未成年人不良内容的整治清理，切实落实未成年人网络保护义务。

AI聊天软件通过搭设虚拟空间里的角色扮演，给用户提供虚拟情感陪伴。智能化的交互带来新鲜体验感，很容易吸引未成年人，使他们产生过度依赖。在与AI聊天的过程中，生活经验缺乏、价值观尚未完全形成的未成年人更容易受到色情擦边等违规内容的影响，给他们的身心健康带来不小的风险隐患。在未成年人纷纷“触网”的当下，对AI陪伴类服务的监管刻不容缓。

软件开发方和运营方需从身份认证机制、内容审核体系、家长监护支持及合规培训等多方面完善未成年人保护措施。若因漏洞导致未成年人权益受损，将面临民事赔偿、行政处罚乃至刑事责任的多重追责风险。依据相关法规，若平台未严格落实实名制或年龄验证机制，导致未成年人接触违规内容，或是产生财产损失，比如未经家长同意进行充值打赏，那么平台需承担相应的民事赔偿责任。此外，若平台没有采取内容过滤、年龄认证等必要的技术措施，就可能面临网信部门责令整改、罚款等处罚。最严重的情况是，若平台存在故意或过失，向未成年人提供色情暴力等违法内容，有可能涉嫌“传播淫秽物品罪”等罪名。