PaLM이 개쩌는 것 같아서 논문을 찾아 읽어보는 중인데, 번역기 돌려서 대략 읽어본 개인적인 감상을 남겨봄


참고로 고졸따리 공돌이니까 내용도 다 이해 못했고, 본문도 영양가 있는 내용은 아님.



1. 너무 자극적인게 아닌가?


내 생각에 구글이 이번에 올린 PaLM 포스트와 논문은 의도적으로 자극적인 내용을 작성했다고 봄. 논문을 보면 모델의 성능을 나타내는 주요 지표들에 빠지지 않고 '인간 평균' (혹은 인간 최대)이 나옴. 그리고 모델의 성능이 이 기준선에 도달하거나 약간 초과하는 모습을 보여주면서 PaLM이 마치 AGI와 유사하거나 거의 그에 도달한 것 같은 인상을 심어줌.


2025 AGI가 정배가 된다는건 환영할만한 일이지만, 거꾸로 생각해보면 수확 가속을 감안해도 아직 2년 분량의 과제가 남아 있다고 볼 수 있음. 아마 언론이나 레딧, 분석가들은 그 내용들을 천천히 되짚어보면서 칭찬할만한 부분과, 앞으로 해결해나가야 할 과제를 생각하고 있지 않을까 싶음.



2. 인간 평균? / 인간 최고?


특히 그 '인간'의 평균과 최고라는 지표에 대해서, 어느정도의 인간을 말하는건지 내용을 찾을 수가 없어서 좀 더 살펴보는 중임.


숫자로 표기된 테스트 결과는 있는데, 그 인간 평균이라는게 어떤 집단의 인간인지 명시되지 않아서 이게 의미 있는 기준값인지를 모르겠음. 20세 성인 남성을 말하나? 남녀를 통틀어서인가? 같은 의문이 생김.


잘 아는 특붕이 있으면 설명 부탁함...



3. 158개 작업은 어떤 것들이 있는지?


이번 지표의 핵심인 빅벤치에서 158개 작업에 대한 테스트를 했는데, 그게 어떤 작업들인지는 모름. 특히 인간의 평균보다 현저히 낮은 성능을 보이는 작업에 대해서는 전혀 언급이 없음. 아니면 내가 못 찾은 걸 수도 있음. 논문은 첨이라.


혹시 리스트가 부록에 있는데 내가 못 본 거면 얘기해주셈.



4. 데이터 셋을 얼마나 더 확장할 수 있는가?


이건 솔직히 별 문제 아니라고 보는데, 개인적으로는 궁금한 부분임. 대규모의 분류된 학습 세트를 어떻게 오염시키지 않으면서 수집할 수 있는지 모르겠음. AGI가 되려면 다른 것 보다 이 데이터 수집/필터링/분류 작업을 모델에 내장해야 하지 않을까 싶은 생각이 듬. 궁극적으로는 외부의 새로운 정보들을 수집하면서 기능을 강화해나가는게 중요한거 같음.


근데 별 문제 아니라고 한 건, 데이터 수집/필터링/분류는 약인공지능 입장에서 보면 개씹간단한 문제인거 같아서, 누군가는/어떤 모델은 이 문제를 잘 해결해줄거라 믿음.



+기왕이면 2025 AGI보다, 2025 특이점이었으면 좋겠음.  끝.