GPT4-V는 이미 방대한 지식을 갖고 있잖아.


그럼 이미지 내 물체들의 분류와 그 물체들간의 관계만 파악해낼 수 있다면


그 단순한 관계 문장들로부터 더 심도 깊은 또 다른 의미들을 GPT4는 추론해낼 수 있음..


즉, 이미지-텍스트 학습 시 포함되어 있지 않은 정보들, 제로샷 예측이 가능하다는 거


뭔가 깊이 더 유추해보자면... 근본적인 부분만 학습하면 되는 게 아닐까.


1. 특정 무언가가 특정 무언가 옆에 있다.

2. 특정 무언가 위에 특정 무언가가 놓여 있다.

3. 특정 무언가가 특정 무언가를 덮고 있다.

....


이런 식으로 이미지 내 요소와 요소의 위치적 관계를 설명하는 파트와


이미지 내 물체들이 각각 어떤 단어와 매칭되는지 단순한


물체 분류기(classifier)만 학습해놔도


단순히 어떤 단어가 어떤 단어에 어떤 관계로 이 이미지 내에서 영향을 끼치고 있는지를 몇 줄 문장화만 가능하다 해도


이제 거기서 GPT4가 이 '생성된' 텍스트 프롬프트를 입력으로 받아서


원래 하듯이 추론하면 됨.