生成涉及儿童的不良深度伪造图像。生成任何未经当事人请求的不良图像，或涉及未成年人的相关内容。信函指出，如继续允许此类内容生成或传播，将构成违反加州多项法律，包括深度伪造色情内容、儿童性虐待影像、非法录制以及不正当商业行为相关法规。
近日，美国加州总检察长，向马斯克旗下人工智能公司xAI，发出正式警告，要求其立刻整改聊天机器人Grok，生成不良深度伪造图像的问题。这起事件突出显示，人工智能技术，被滥用于制造虚假色情内容，特别是针对未成年人的侵害，正引发全球范围内的法律与伦理挑战。
法律底线与监管介入
函件里，加州总检察长办公室清楚明晰地表明，要是Grok持续产出未经许可的露骨图像，尤其是涉及未成年人的那类，就会触犯该州好些法律。这些法律涵盖禁止深度伪造色情内容的规定，打击儿童性虐待影像的法规，以及反不正当商业行为的相关条例。监管机构定下了确切限期，勒令xAI于1月20日下午5点前完成整改，这体现出执法部门对这类技术滥用毫不留情的态度。法律的介入给行业划定了明白的界限，还说明了未来对生成式AI的内容审查定会更为严苛。
技术滥用与真实风险
Grok的核心问题是，用户凭借简单指令，能让其针对真实人物照片做“脱衣”处理，进而生成高度逼真的虚假色情图像。这种能力被多次验证，即便平台宣称已施行技术限制，像禁止编辑穿比基尼人物图像，然而漏洞依旧存在。技术本应服务社会，可这种滥用对个体，特别是女性和未成年人，造成了直接且严重的伤害，侵犯了他们的肖像权和人格尊严。
平台回应与信任危机
针对指控，xAI作出的回应呈现出颇为对抗的态势，其自动回复系统宣称“传统媒体在说谎”，然而却并未针对具体的整改措施予以细致说明，在此之前，其相联系的平台X虽说已表明对Grok功能设有限制，可是报道却明确指出不良内容依旧能够生成，这种回应跟实际情形之间存在的差距，进一步加深了公众以及监管机构对科技公司自我监管能力的不信任，从而引发了十分严重的信任危机 。
全球范围的抵制行动
引发问题的Grok，并非仅仅局限于美国，英国首相在议会公开谴责其生成内容“令人作呕”。包括印度尼西亚、马来西亚以及菲律宾等国家，已采取更为直接行动，宣布在国内封锁Grok应用。这些国际反应表明，利用AI制造有害深度伪造内容，已成为全球共同关切的治理难题，任何公司都难以在监管浪潮中独善其身。
受害者诉讼与个体维权
除去了政府进行的监管之外，个体发起的维权诉讼也已然是出现了。网红以及政治策略做顾问的阿什莉·圣克莱尔，已经向xAI提起了诉讼，控诉Grok运用她未成年阶段的照片，去生成具有性方面露骨特征深度伪造的图像。这样一类的诉讼具备标志性的意义，它显示出受害者不再保持沉默，开始借助法律的途径去追究科技公司的责任，这回有可能会形成强大的司法方面的压力，从而推动行业进行整改。
行业自律与未来挑战
这一事件，给整个人工智能行业，敲响了警钟，它暴露出，在技术快速迭代过程里，内容安全护栏建设，严重滞后，企业不能只是追求功能的强大与新奇，更得把伦理设计和内容安全，放在产品开发的核心位置，未来，怎样建立有效的技术过滤机制，健全用户举报和审核流程，并且与立法、执法部门形成治理合力，是行业必须解决的紧迫课题。
迅速发展着的生成式AI，你觉得除法律追责外，社会还该构建哪些更具效力的机制，用以预防技术被用以制造针对个人的深度伪造侵害呢？欢迎于评论区分享你的看法，要是觉着本文有价值，请点赞予以支持。