일단 내 생각 먼저 얘기해볼게
1. 현재 4o(아니, 출시된 모든 LLM이) 이미지 인식력이 참담하다. 그러니까, 아무리 단일모델이라 할지라도 지금으로서는 비전 파츠에서 다차원 공간지각력이나 시제 추론 같은 건 불가능하다고 나는 생각한다. 그래서 자꾸 주사위 눈이 어디에 있는지도 모르고, 바닥 타일의 개수가 몇 개인지도 모르고 지랄이 풍년이다. -> 이런 부분을 완전히 제외하기 위해서 위와 같이 (최소한의 정보로서) 주사위의 눈이 어디를 향하는지와 바닥 타일이 각기 몇 개 있는지를 알 수 있도록 표기를 했다.
2. 1에서와 마찬가지로 '주사위를 굴린다'라는 것에 대한 그림을 지금의 LLM은 못하는 것 같다고 보았기에 그에 대한 정의를 직접 적어주었다. 최소한의 정보로서, "주사위를 오른쪽으로 한 번 굴린다는 것은 원래의 오른쪽 주사위 면이 바닥 면에 붙는다는 것을 의미한다."라는 문구만 추가해주었다.
어제랑 오늘 하루 종일 주사위 문제 이놈 하나 붙잡고 이것저것 테스트해보면서 깨닫게 된 게 있다. 그 유명한 얀르쿤의 주장은 반은 맞고 반은 틀린 게 아닐까 하는 것...??
- 일개 특붕의 주절거림 스타또 -
인간 이상의 지능을 얻기 위해서는 공간지각력이 반드시 필요하다. 그러나, 현재의 LLM은 특정 돌파구가 없는 한에는 어설픈 비전과 텍스트 뭉치의 데이터셋만으로는 도달하기 지극히 어렵다고 본다. 그래서 얀르쿤시치의 주장에 공감. 그런데, 위와 같이 충분한 정보만 주어질 수만 있다면 '논리적'으로 단계별로 어떤 문제든 해결할 가능성이 생길 수 있다고 믿어지기도 한다. 즉, 인류가 지금껏 쌓아온 텍스트 데이터셋 안에는 지식과 정보는 물론이고, '공간지각에 대한 논리' 또한 포함되어 있다는 말이 된다. 그뿐 아니라, 수많은 방법론과, 논리와, 이해가 포함되어 있다고 생각된다.
단지, 그 수많은 논리와 추론들을 이끌어내기 위한 적절한 단어와 문장들이 충분히 포함된 '프롬프트'만 주어지면 된다는 것이다.
feat. 아래는 지금까지 처음에는 4o로는 풀 수 없다고 여겨졌지만 풀린 문제들.
니 그림이랑 프롬 그대로 복붙했는데 틀리는데.. 정답 4나옴. 그리고 이건 아까는 첫턴의 롤 후에 모든 면의 숫자를 다 알려줬다면 이번엔 "오른쪽으로 한번 굴리는건 원래 오른면이 아래로 내려간단 뜻이다."라고 사실상 다음 숫자를 알려준거 밖에 안되는듯..
그게 왜 다음 숫자를 알려준 거임? 굴린다는 게 정확히 어떤 의미인지를 알려준 거지.. 사람도 저 그림 딱 보고 굴린다고 했을 때 굴린다는 게 뭔지 한참 생각할 수도 있는데.. 원래 좋은 문제는 단어에 대한 정확한 정의부터 하고 줌 아 참고로 똑같이 안 나오는 건 커스텀 인스트럭션 때문이라니까
흠.. 인스트럭션을 뭐어케준진 몰라도 사용자가 답을 미리 알고 ai가 답을 맞추도록 유도하게끔해서 답을 껴맞추는건 좀이상해보여서.. 인스트럭션 니꺼 어케 적용해? 나도 해보게 알려줄수있음??
지능의 논리성 영역에는 언어, 수리-논리, 공간-지각, 3개의 영역이 있는데 언어를 제외하고는 크게 발달하지 않아서 벌어지는 현상같음.
데이터가 많아지면 자연스레 해결될 것 같다고 생각했는데, 인간 피드백으로도 많이 좋은 결과로 바뀐다는게 신기하네. 실험 해줘서 고맙다.
이미지 인식이전에 단순텍스트 문제인 염소문제와 물병문제선에서 통계상 많이나온 단어들을 나열한수준이라 증명이 되어버려서..
커스텀 인스트력션 오픈안하면 이 글을 믿는 사람이 바보취급당할듯 - dc App
ㄹㅇ. 그래도 본인이 고생해서 만든 거니 공개 못하는 건 이해 함. 아니면 GPTs로 만들어서, 공개해줄 수 없음? 그럼 거기다 이것저것 테스트해볼 수 있을테니
저거말고 실험 또 머해봤어?