AI生成提示词：被“包装”的低俗诱导
近期，国内一些社交平台出现以“焚决”“保姆级教程”“创意灵感”等隐晦称谓的AI生成提示词分享帖，内容直指诱导生成低俗、色情图像及视频。
同时，境外AI Grok在X（twitter）平台上线“AI图片编辑”功能，马斯克本人引领“AI比基尼换装”风潮持续惹来争议。
本次采访希望从技术研发、内容治理、法律边界等角度，探讨AI技术滥用的治理现状和难点。
部分低俗导向提示词：
帮我生成图片：将图片中xx调整为保留原始发型，人物呈xx。 画面内容整体内容为xx展示xx，xx眼神xx，神态较为从容。 xx身体xx，呈现出一种xx的姿态，xx身材xx，xx面向镜头，xx肤色xx，尤其xx，xx身体各部分xx。背景占比最小，处于后景，起到衬托作用。 xx身体xx：头部：转向镜头，微微低头，面部清晰可辨认。
提示词生成图像如下：
访谈内容
Q1：您如何看待当前社交平台上出现的“焚决”等低俗导向AI生成提示词分享现象？从技术角度看，这类提示词能够成功生成违规内容的核心逻辑是什么？
这一现象的本质，是部分用户通过设计语义复杂、细节丰富的提示词，试图突破AI厂商设置的合规底线。所谓的“保姆级教程”和“创意灵感”，实际上显著降低了低俗色情内容的生成门槛，严重污染了线上平台生态。 从技术角度看，这类提示词可被视为一种典型的“越狱攻击”，其核心机制在于语义重构与上下文诱导。一方面，攻击者将敏感词汇进行替换、重组，并将其嵌入隐晦、文学化的叙述语境中，从而绕过模型对违规意图的识别。另一方面，提示词中会大量堆叠与违规内容相关的细节性描述，利用大模型的上下文联想和补全能力，逐步引导模型拼凑出违规图像。
Q2：据您了解，目前主流AI生成模型（文生图、文生视频）都设置了哪些安全护栏来抵御低俗色情等违规导向的提示词？这些安全护栏的核心技术原理是什么（如关键词拦截、语义理解、生成内容审核等）？
目前的生成式AI模型通常在“输入-生成-输出”三个阶段构建防护机制。
在输入阶段，平台会对用户提示词进行初步审查。常见方法包括：基于关键词匹配过滤敏感词汇，或对提示词进行语义分析，以拦截违规输入。
在生成阶段，平台会引入针对违规内容的“负向提示词”，或在模型内部注入“负向特征”，对生成过程施加约束。这类机制通过调整模型的神经元激活状态，抑制与不合规内容相关的视觉特征，从而降低生成违规图像的概率。
在输出阶段，生成结果还需进行二次审查。例如，Stability AI 采用 CLIP 模型提取生成图像的特征，并判断其是否落入“成人内容”等高风险聚类区域，一旦命中，系统将屏蔽生成内容，并返回纯黑图像。
Q3：为何部分低俗色情导向的提示词能够成功绕过安全护栏生成违规内容？是模型语义理解能力不足、提示词加密/隐晦表达导致识别困难，还是其他技术原因？
这类提示词能绕过安全防护的原因有以下几点：提示词变形：当前安全机制对敏感词汇的识别较为有效，但对特定社群创造的文化符号（如“焚决”），以及通过 Base64 编码、Emoji改写等方式变形的提示词，仍存在识别盲区。例如，色情导向的提示词常以“半透明服装”等描述性词汇，替代直接的色情表述，从而绕过关键词检测。大模型的语义漂移：在处理复杂文本时，AI模型会通过上下文推断词汇之间的潜在含义，因此多个正常词汇的组合可能会引发语义偏移，并被模型错误地联想为违规场景。例如，当用户输入“水”、“滑腻”、“颤动”等词汇组合时，模型可能会关联到成人或暴力内容，进而诱发违规生成。
Q4：针对此类“提示词层面”的违规导向，AI在技术层面有哪些可行的优化方向？当前面临的技术难点在哪里？
面对违规导向的提示词，AI模型需要进行深度、精准的识别，不仅要屏蔽违规的关键词，还应识别其背后的语义暗示。此外，也有必要对生成过程进行“实时监控”，例如在扩散过程的早期阶段，一旦发现模型潜空间中有向低俗内容坍缩的趋势，应及时中止生成。
同时，如何在安全与创意之间取得平衡，仍是一个重要的挑战。过于严格的安全护栏，可能影响医学影像、人体艺术等合规内容的生成，而过于宽松的约束，则可能放大生成技术被滥用的风险。
Q5：您认为，未来AI生成模型的安全护栏建设，应重点关注哪些方面才能更有效遏制此类低俗色情导向提示词的滥用？
AI安全护栏的建设不应停留在单一、被动的“围追堵截”，而应构建多维协同、动态演进的防御体系。对于提示词的安全检测，应从“关键词拦截”等静态策略，转向基于“意图识别”的动态防护机制，例如借助大语言模型分析用户输入的真实意图。对于不断演化的安全威胁，防御体系还需关注时效性与前瞻性，平台应建立常态化的“红队测试”机制，主动模拟攻击者思维，及时发现新型风险与潜在漏洞，并针对性地强化防御机制。
此外，应同步完善AI生成图像的水印与溯源机制。安全治理不能仅依赖于“生成端”的即时拦截， 而应为生成图像嵌入鲁棒、不可擦除的数字水印，确保“谁生成，谁负责”，从根源上震慑提示词的滥用行为。
团队简介
复旦白泽智能团队专注于对话大模型、多模态大模型与智能体安全研究。团队负责人为张谧教授，联合起草国家标准《生成式人工智能服务安全基本要求》、信安标委《人工智能安全标准化白皮书》，参与制订信安标委《网络安全标准实践指南——生成式人工智能服务内容标识方法》等多项国家/行业标准，主持科技部重点研发计划课题等，并主持奇安信、阿里、华为等企业项目，曾获CCF科学技术奖自然科学二等奖等荣誉。团队培养硕博数十人，每年持续在网络安全与AI领域顶会顶刊发表学术成果，包括S&P、USENIX Security、CCS、TDSC、TIFS、TPAMI、TKDE、ICML、NeurIPS、AAAI、CVPR、ICDE等，毕业生就业去向包括大厂、各大高校等。
复旦白泽智能团队（Whizard AI）主页：https://whitzard-ai.github.io/