빙챗에 물어봐도 계속 똑같은 얘기만 나와서 여기 왔는데요
예를들어 프롬프트가 "춤추는 상어"라면
춤추는 이미지와 상어이미지를 불러오는건가요?
그다음에 춤추는 것과 상어를 어떻게 합체시키나요?
사람이 몸을 흔드는것에 상어가 몸을 흔드는것을
넣는 원리가 뭐죠?
우선 무엇이 춤추고 있다 라는걸 알아야 할것같은데요
사람이 춤추는 사진을 보고
"사람이 춤춘다"와 "사람"을 인식하고
"사람"자리에 "상어"를 대입할줄 알아야 할거같은데
사람이 서있는 모양과 상어를 세로로 세운 모습이 비슷하다는걸 어떻게 알죠?
아니면 상어가 가로로 있는게 적당하다고 생각할수도 있는거 같고
구체적으로 상어의 포즈를 어떻게 결정하죠?
사람은 춤출때 몸의 부위를 흔들잖아요
그럼
사람이 춤추는 사진을 보고
"사람이 춤춘다", "사람", "팔다리를 흔든다", "팔다리"
이런걸 인식해야할거같고
상어에게서 팔다리에 해당하는게 무엇인지는 어떻게 알죠?
사람은 상어의 지느러미가 사람의 팔다리와 유사하다는걸
어떻게 알죠?
그냥 돌출되어있는 기관이니까?
아니면 여러 사진속에서 지느러미가 여러 모양으로 움직이는걸 보고
사람 팔다리도 여러 모양으로 움직이니까
그래서 지느러미와 팔다리가 유사하다고 생각하나요?
이렇게 해서
지느러미를 사람의 팔다리와 유사하다고 보고
사람은 춤출때 팔다리를 움직이니
상어의 지느러미가 움직이는 사진을 가져오는건가..
이정도로 자세하게 설명했으니
제가 무엇을 궁금해하는지는 아실거라 생각합니다
부디 쉬운 답변을 부탁드립니다
- dc official App
디퓨전 자체보단 디퓨전에 컨디션 넣는게 궁금하신듯?
유튜브에 한글로 latent diffusion 설명한 영상 있던데 그거 보면 될듯?
님이 말하는 부분은 그냥 데이터 드라이븐으로 해결하는걸껄요? 예시로든 춤추는 상어이면 모델이 학습할때 춤추는 사진에 공통적으로 들어있던 잠재 벡터랑 상어 사진에 있는 잠재 벡터를 학습 할테고 춤추는 상어라는 언어를 언어 모델이 잠재 벡터로 만들고 그 잠재 벡터를 디코더한테 주면 두 잠재벡터가 들어간 적당한 아웃풋 내놓을 테니까요 사실 그냥 생성모델좀 공부하다 보면 자동적으로 알게 될거임
글고 글에서 나온 symbolic 한 내용은 한참 연구되야 하는 내용이라 직접 찾아보는게 나음
디퓨젼은 그냥 확산이란 의미임.. 그니까 어떤걸 기억해서 로컬하게만 적용하는게 아니라 확산시켜서 좀더 다른것들과 상호작용을 시켜서 서로 모순이 적게 부드럽게 만든거 비슷한 것일듯.. 확산시키고 충돌시키면 튀는건 이제 서로 부딪쳐서 부드럽게 평균화 되걸랑..
디퓨전 모델은 텍스트를 토큰으로 나눠서 벡터로 만든 뒤에, 쌩 노이즈 이미지를 생성합니다. 그리고 그 노이즈를 점점 확산시켜서 어떤 형태를 만들게 하는 거죠
어떤 의미를 이해하는게 아니라, 통계적인 장치라고 보시는게 편할 것 같습니다