lost in the middle이라고 올해 LLM계에 대형 폭탄을 터뜨린 논문이 있거든
당시 프롬프트 토큰 길이 늘리는게 유행이었는데
파인튜닝을 하는 대신 시스템 프롬프트를 길게 넣어서 서비스를 만들자라는 아이디어로 다들 달려들던 차에
"LLM들 프롬프트 길게 넣어봤자 맨 앞이랑 맨 뒤만 보고 중간 부분은 읽지도 않는다 오히려 제로샷이 나음"
이라는 충격적인 결과를 내서
아 linear scaling으로 토큰을 16k 32k 100k 늘리는게 아무 의미도 없구나라는 교훈을 주고
그래서 AI 기반으로 서비스 개발하는 업체들이 long prompt 대신 retrieval based augmentation을 잘하는 쪽으로 선회했단 말야
GPT-4 turbo도 말만 120k지 테스트해보면 똑같이 찐빠가 나는게 알려져 있거든
근데 제미니 테크리포트 보면
벤치마크에서 98퍼센트 정확도로 콘텍스트 중간의 정확한 값을 찾아온다는데
구글이 뭔가 모델 구조에 손을 대서 바뀐거고, 실제 워크로드에서도 되는거면 모델 기반으로 서비스 만드는 사람들은 GPT4대신 제미니 써야 할 이유가 있는거임
왜 이걸 강조를 안했지?? 나였다면 이거부터 동네방네 떠들었을텐데
- dc official App
지리노
GPT4 TURBO도 토큰 성능 하락 개심하던데
ㅇㅇ 이거 해결한 모델이 지금까지 없었음 - dc App
이건 ㄹㅇ 지린다
그러게 왜 강조를 안했을까 설마 저것도 실서비스 박치기해보면 주작으로 드러날까봐?
ㅋㅋㅋㅋㅋㅋㅋㅋ이젠 믿지 못하는 회사가 되어벌인 ㅋㅋㅋㅋ
근데 gpt4터보가 저거보다 재현율이 떨어졌던가?
https://analyticsindiamag.com/gpt-4-turbo-after-hype-comes-lost-in-the-middle-phenomenon/
- dc App
그러니까 저게 터보의 그래프보다 나은거임? 저거 원래 단위가 어떻게 되는거야?
저 그래프는 타 모델과 비교하는 의미가 아님. 뒤쪽에 있는 토큰일수록 모델이 더 확신을 갖고 선택한다는 의미라서, 제미니도 lost in the middle 효과를 완전히 극복한건 아님을 알려주는 거야. 하지만 그럼에도 전 영역에 대해 98프로면 엄청 높은거라 뭔가 구조를 바꾸긴 바꿨을 거라고 생각함. 이 정확도 수치는 GPT4들 보다는 확실하게 높은거임. 인공데이터가 아닌 실제 활용에서도 차이가 나타날지는 써보기 전에는 모르겠지만, 리포트에서는 "이 덕분에 동영상이나 문서 참조 시에 높은 성능을 보이는 거임" 이라고 말하고 있어서 차이가 있을 것 같다는 느낌은 있음. - dc App
내가 올린 링크는 GPT 4 turbo 콘텍스트 길이와 위치에 따라 정확도가 50-60퍼 사이까지도 떨어진단 내용임. - dc App
오 이건 좋다
나 기술 리포트 다운받자마자 이부분 찾아서 봤는데, 너무 짧게 언급되어있어서 이것 이외에 정보가 없는게 아쉽더라고. 이걸 결국 트랜스포머의 한계라고 생각되는데, 제미니도 결국 트랜스포머를 이용했다고 나와있거든. 트랜스포머 자체가 자기들이 만든거니, 개선된거면 정말 좋은건데 말이야..
구글이 그동안 논문에 되게 자세하게 공개했었는데 그 과실을 OpenAI가 따먹고는 공개를 안 하니까 그럼 우리도 안한다고 전환한거 같음. ChatGPT 나온 이후에 나온 구글 논문들 보면 중요한 디테일은 다 숨기고 있는걸 보면 - dc App
근데 내 생각에 이부분 바뀔 게 있다면 포지셔널 인코딩하고 softmax 함수임. 요즘 대세는 로터리나 알리바이인데 얘네는 디자인 자체가 서로 먼 토큰에 페널티를 주는 함수로 설계가 되어 있어서, 어텐션값이 높게 나올수가 없어. 원래 어텐션은 O(N^2)으로 모든 토큰끼리 계산해서 모든 관계 다 보자는건데 인코딩이 거리가 멀수록 작아지게 설계해서 날라가버리는거라고 생각함 - dc App
트랜스포머의 한계는 아닐 것 같음. 트랜스포머라는게 이라는게 결국 semantic하게 비슷한걸 더 많이 참조해서 답을 내는게 주요원리기 때문에 중간에 있다한들 더 불리할건 없음. 오하려 나는 학습데이터 문제같네. 인간은 말할 때 두괄식으로 말하거나 이어서 말함. 트레이닝 데이터의 대부분이 이런식인게 문제였겠지.
ㅇㅇ 그리고 포지셔널 인코딩이 그런 경향을 더 강화시키는 inductive bias로 작용했을 거라고 생각함. - dc App
와 ㅅㅂ 이게 재미니의 알파이자 오메가네