漂移问题
普通的 SDXL 在相同提示词下生成两次,会出现两个明显不同的人物形象。对于用户对特定面孔产生依恋的伴侣产品来说,这会严重影响产品体验。
提示词工程能稍微缓解一些问题。通过 IP-Adapter 引入参考图像效果更好。但单独使用任何一种方法都无法完全解决这一差距。
为什么 LoRA 是解决方案
通过对 20 到 60 张精心挑选的角色图片训练的 LoRA,可以将角色的面部、身体和风格锁定到扩散模型中。
推理时的计算成本与基础 SDXL 大致相同。训练成本仅需在小型 GPU 集群上花费几美元。
LovlyChat 的训练流程
角色上线后,会在 RunPod A40 上使用 kohya_ss 进行一次性训练,训练步数约为 2000 到 4000 步。
生成的 LoRA 文件大小为几百兆字节,并在我们的角色存储中与角色 ID 绑定注册。
API 请求时的使用方式
当调用 POST /v1/generation/jobs 并传入 characterId 时,工作节点会加载对应的 LoRA 到 SDXL 工作流中,并在采样阶段应用。
逐角色 LoRA 是你每次获得同一角色图像都看起来像同一个人的关键所在。
常见问题
《LovlyChat 如何保持角色图像的一致性:Per-Character LoRAs 解析》解释了为什么通用的 SDXL 模型在生成同一角色的不同图像时会出现偏差,以及 LovlyChat 技术栈如何利用在廉价 GPU 节点上训练的“单角色 LoRA”来确保面部特征的高度一致性。本文专为正在对比 AI 伴侣产品、评估情感类聊天体验,或希望在尝试平台前深入了解该技术的用户而撰写。
本文适合正在研究 SDXL 角色一致性、对比不同 AI 伴侣平台,或希望了解哪些产品功能让情感类 AI 聊天更具个性化且值得长期互动的用户。
SDXL 角色一致性之所以重要,是因为关注此话题的用户通常比普通聊天机器人用户有更明确的需求。他们不仅追求新鲜感或一次性的回复,更看重 AI 的记忆力、性格连贯性以及长期的互动体验。
用户可以直接在 lovlychat 上体验这些功能,只需浏览现有的 AI 伴侣、创建自定义角色,并在浏览器中开启持久的聊天对话即可。