동기 지금까지 text-to-image 생성 모델인 여러 Latent Diffusion Model을 파인튜닝 해왔는데, 이미지 생성 모델에 대한 논문을 다시 정독하다가 CFG에 대한 부분을 전혀 고려하지 않고 있었다는 것을 깨달았다. 그래서 이걸 고려해서 새로운 기법을 적용하여 파인튜닝 해 본 결과 꽤 재미있는 결과가 나와서 글을 쓰게 되었다. Text Conditioning의 중요성 text-to-image 생성 모델에서는 text conditioning이 매우 중요한 역할을 한다. 자신이 원하는 이미지를 출력하기 위해서는 입력한 프롬프트를 이해하고 정확하게 Sampling을 해야 하기 때문이다. Stable Diffusion 에서는 샘플링 과정에서 text condition이 적용된 샘플의 퀄리티를 ..

먼저, 이 글을 읽기 전에 Dreambooth에 대한 글을 읽는것을 추천함. 드림부스에서 모델이 Context를 이해하는 원리 이전 글에서 설명했듯이 dreambooth는 몇장의 이미지로 학습한 subject를 새로운 context에 맞게 이미지를 생성할 수 있었다. 쉽게 말하면, superwoman girl을 학습시켰을때 superwoman이 학습 데이터셋에 없는 여러 자세를 취하게 하거나 다른 장소에 있는 이미지를 생성할 수 있는것을 말한다. 이게 가능한 이유는 무엇일까? 바로, 이미 모델에 girl 이라는 상위 개념이 학습되어있고 모델이 superwoman이 girl에서 어떤 다른 특징을 가지는지 학습했기 때문이다. 그래서 girl이라는 상위 개념이 표현할 수 있는 여러 context를 표현할 수 ..