ARTICLE · 人工智能
在多次生成中保持角色一致性
一语总结本文提出了一套全面的、基于实践的工作流，用于在 AI 图像生成中实现一致的角色身份，详述了从提示词工程到训练 LoRA 的方法阶梯，以及一个从零创建训练数据的自举循环。
文章解决了扩散模型不存在持久身份这一根本问题——每次生成都是独立采样。它展示了一个由五种方法组成的阶梯，成本与可靠性递增：固定种子、详细提示词、图像提示词适配器（IP-Adapter）、人脸专用身份适配器（如 InstantID）和训练 LoRA。核心贡献是一个实用的自举循环：生成一张锚定图像，使用参考适配器产出 100–200 张变化图像，严格筛选 20–40 张在身份上一致的图像，仅为变化属性编写标注，训练 LoRA（秩 16–32、alpha=rank、10–20 个 epoch、原生分辨率），再重新生成并迭代一次。文章解释了为何固定种子无法控制身份，详述了数据集构成规则（什么必须变、什么必须不变）、关键标注规则（标注变化的内容而非不变的内容）、带有理由的训练设置，以及包含成因与对策的失效模式表。最后以伦理警示结尾：未经同意不得以真实人物训练模型。
- 扩散模型不具备持久身份；身份必须作为条件注入。
每次生成都是独立采样。固定种子仅控制构图布局，而非身份。要让同一角色出现两次，必须通过参考适配器或训练权重注入身份。
- 方法构成一个成本与可靠性递增的阶梯：固定种子 → 详细提示词 → 图像提示词适配器 → 人脸专用适配器 → 训练 LoRA。
每一级都用算力/精力换取身份保真度。LoRA 是唯一能可靠捕捉非面部特征（服装、体型、非人类生物）并提供完全控制的方法，但需要训练数据。
- 自举循环解决了冷启动问题：用较弱方法生成数据集，筛选一致的图像，训练 LoRA，再迭代。
从一张锚定图像开始。用参考适配器生成 100–200 张变化图像。仅保留人脸真正是同一个人的 20–40 张。仅为变化属性编写标注。训练 LoRA。重新生成并对比。通常再迭代一次会有帮助；第三次则有累积错误的风险。
- 数据集构成与标注规则至关重要：变化姿态、角度、表情、光照、背景、裁剪；保持身份不变；标注一切变化的内容，不标注不变的内容。
在数据集中保持不变的任何属性都会被烘焙进角色。触发词会吸收所有出现在图像但未出现在标注中的内容。标注不当会导致触发词生成不想要的背景、姿势或特征。
- 带有理由的训练设置：秩 16–32、alpha=rank、20–40 张图像、10–20 个 epoch、原生分辨率、保存中间检查点、保留三个 OOD 提示词。
秩在容量与记忆之间取得平衡。Alpha=rank 使权重 1.0 代表全强度。图像太少会混淆身份与环境；太多会引入分歧。检查点对比比预测更能捕捉过拟合。OOD 提示词能尽早揭示过拟合。
在多次生成中保持角色一致性
文章解决了扩散模型不存在持久身份这一根本问题——每次生成都是独立采样。它展示了一个由五种方法组成的阶梯，成本与可靠性递增：固定种子、详细提示词、图像提示词适配器（IP-Adapter）、人脸专用身份适配器（如 InstantID）和训练 LoRA。核心贡献是一个实用的自举循环：生成一张锚定图像，使用参考适配器产出 100–200 张变化图像，严格筛选 20–40 张在身份上一致的图像，仅为变化属性编写标注，训练 LoRA（秩 16–32、alpha=rank、10–20 个 epoch、原生分辨率），再重新生成并迭代一次。文章解释了为何固定种子无法控制身份，详述了数据集构成规则（什么必须变、什么必须不变）、关键标注规则（标注变化的内容而非不变的内容）、带有理由的训练设置，以及包含成因与对策的失效模式表。最后以伦理警示结尾：未经同意不得以真实人物训练模型。
文章金句
"扩散模型没有持久状态，也没有特定人物的概念。每次生成都是独立采样。
"筛选才是将一个不一致的生成器转化为一致数据集的关键，且无法用相似度阈值自动化完成——人脸相似度分数很乐意接受你肉眼立刻就能拒绝的两张图。
"凡是出现在图像中但未出现在标注里的内容，都会被吸收进触发词，因为触发词是唯一剩下能解释它的东西。
"此处最有用的单一习惯。每隔几个 epoch 保存一次并对比它们，因为最好的检查点通常不是最后一个，而在过拟合发生前的那个节点，识别它比预测它容易得多。