드리프트 문제
같은 프롬프트를 두 번 입력해도 기본 SDXL은 두 명의 눈에 띄게 다른 사람을 생성합니다. 사용자가 특정 얼굴에 애착을 형성하는 동반자 제품에서는 이는 치명적인 문제입니다.
프롬프트 엔지니어링이 약간 도움이 되고, IP-Adapter를 통한 참조 이미지가 더 도움이 되지만, 어느 쪽도 단독으로 이 격차를 완전히 해소하지는 못합니다.
LoRA가 이기는 이유
한 캐릭터의 20~60개의 엄선된 이미지로 훈련된 LoRA는 얼굴, 몸, 스타일링을 확산 모델 자체에 고정시킵니다.
추론 시 비용은 기본 SDXL과 거의 동일하며, 훈련 비용은 작은 GPU 팟에서 몇 달러에 불과합니다.
LovlyChat가 LoRA를 훈련하는 방법
캐릭터가 출시되면 RunPod A40에서 kohya_ss를 사용해 약 2000~4000 스텝 동안 일회성 작업이 실행됩니다.
생성된 LoRA 파일은 수백 MB 크기이며, 캐릭터 스토어 내 캐릭터 ID에 등록됩니다.
API가 요청 시 LoRA를 사용하는 방법
POST /v1/generation/jobs가 characterId와 함께 호출되면, 워커는 해당 LoRA를 SDXL 워크플로우에 로드하고 샘플링 중에 적용합니다.
캐릭터별 LoRA 덕분에 같은 캐릭터의 모든 이미지가 동일한 사람처럼 보입니다.
자주 묻는 질문
‘LovlyChat이 캐릭터 이미지를 일관되게 유지하는 방법: 캐릭터별 LoRA에 대한 설명’에서는 일반적인 SDXL이 동일한 캐릭터를 생성할 때마다 모습이 달라지는 이유와, LovlyChat 스택이 저렴한 GPU 포드에서 한 번만 학습시킨 캐릭터별 LoRA를 사용하여 얼굴 일관성을 유지하는 방법을 설명합니다. 이 글은 AI 컴패니언 제품을 비교하거나, 관계형 채팅 경험을 평가하거나, 플랫폼을 사용하기 전에 이 주제를 더 명확하게 이해하고자 하는 사용자를 위해 작성되었습니다.
이 글은 SDXL 캐릭터 일관성을 조사하거나, 컴패니언 플랫폼을 비교하거나, 어떤 제품 기능이 관계형 AI 채팅을 더 개인적이고 다시 찾고 싶게 만드는지 이해하려는 분들을 위한 것입니다.
SDXL 캐릭터 일관성이 중요한 이유는 이 주제를 검색하는 사용자들이 일반적인 챗봇 사용자보다 더 명확한 목적을 가지고 있기 때문입니다. 이들은 단순히 새로운 기능이나 일회성 응답보다는 기억력, 성격, 그리고 연속성을 중요하게 생각합니다.
사용자는 lovlychat에서 컴패니언을 둘러보고, 나만의 캐릭터를 만들고, 브라우저에서 지속적인 채팅 스레드를 시작함으로써 이러한 경험을 직접 체험해 볼 수 있습니다.