Programming, IT, Algorithm, Security
[딥러닝] Latent Diffusion Model에서 적은 이미지의 파인튜닝으로 context를 이해시켜보자
IT 2023. 2. 5. 00:40

먼저, 이 글을 읽기 전에 Dreambooth에 대한 글을 읽는것을 추천함. 드림부스에서 모델이 Context를 이해하는 원리 이전 글에서 설명했듯이 dreambooth는 몇장의 이미지로 학습한 subject를 새로운 context에 맞게 이미지를 생성할 수 있었다. 쉽게 말하면, superwoman girl을 학습시켰을때 superwoman이 학습 데이터셋에 없는 여러 자세를 취하게 하거나 다른 장소에 있는 이미지를 생성할 수 있는것을 말한다. 이게 가능한 이유는 무엇일까? 바로, 이미 모델에 girl 이라는 상위 개념이 학습되어있고 모델이 superwoman이 girl에서 어떤 다른 특징을 가지는지 학습했기 때문이다. 그래서 girl이라는 상위 개념이 표현할 수 있는 여러 context를 표현할 수 ..