존나 짜치는거긴 하고
일반적으로 우리가 생각하는 지능이랑은 한참 다른거같음
손가락은 5개라는 데이터가 압도적으로 많든말든
그리고 육손생성 막으려고 얼마큼 지도학습을 시켰든 간에
시각 인식이 제대로 된다면 육손은 육손이라 대답하는게 맞음
그 간단한거 하나를 IMO 금메달 맞는 Gemini 딥씽크도
제대로 못한다는게 어찌보면 패러다임 시프트가 필요하다는걸
증명하는거라고 보이기는 함
그래서 Veo랑 Genie 같은걸 LLM에 엮으려 하는
구글에 특갤의 기대가 큰거같고
예전부터 알트만 하사비스 일리야 가리지 않고
AGI는 세상을 다 아는 만물박사 초거대모델이 아니라
한줌 세계지식을 가진 초소형모델이라도
모든걸 보자마자 바로 배울수있는 모델일거라 말한바 있음.
그건 지금의 LLM 스케일링만으로는 부족한게 맞고
일리야 이번 발언은 그걸 재확인한 거일 뿐이라 생각함.
몰라서 욕하는게 아니라 SSI 설립 하면서 "산이 보인다, 등반할 시간" 이지랄 하더니 6개월만에 "모르겠어요" 시전하곤 1년 내내 스케일링으론 부족하다는 바보 병신 특붕이 본인도 아는 상식만 떠드니 실망하는거임
근데 6손같은 거 3.5에서 거의 해결될 듯 사후학습 개선 요소같음 그것보단 지속학습이 더 근본적 이슈라서
나는 그게 결국 지속학습에 연관된거라 생각함 자신이 아는것과 다른것이 나왔을때 추론해보고 맞다 아니다, 혹은 기존 내 정보가 틀렸다, 저렇게 응용해야겠다 라고 대답할 수 있는 능력이 필요한거같음
지금은 육손은 틀린거야라고 존나 학습시켜두면 나중에 육손이 진짜 있어도 무조건 5손이라고 하는거잖아 학습된거에서 변화된 무언가를 받아들이지 못하면 지속학습은 없는거지
그러니까 사후학습이라고 지속학습이 뭔지도 모르네..검색좀하삼
@ㅇㅇ ? 원래 아는 정보를 유지하면서도 새 정보를 계속 받아들이고 새로운 능력을 창발 가능한게 지속학습이잖아 내 말은 육손은 ‘육손같은 예외사항도 잘 처리해라’라고 사후학습을 할게아니라, 애초에 육손같은 예외를 보면 그걸로 새로운 지식을 얻고 육손을 알아서 분별하도록 하는 지속학습능력이 있어야 진짜 육손해결이라는 거지
포스트트레이닝 개념 자체를 잘못 알고 있는 데 어디서 어떻게 설명해줘야 하노..쩝 귀찮아
@ㅇㅇ 뭐라는거야 넌 이게 사후학습 문제라며 근데 사전학습으로 손가락이 5개라는 prior을 박아넣고, 사후학습으로 손가락이 5개라고 정확히 잘 답하는 모델에 보상을 줬을거 아님 그러면 손가락이 6개일때 6개라고 예외처리해서 잘 답하는 모델에 보상을 주는 식으로 사후학습을 추가한다고 해도 내 생각에는 근본적 문제해결이 아니라는 거임
@ㅇㅇ 결국 기존에 우선시되던 데이터를 새로운 상황에 맞게 업데이트를 못하는게 문제니까 눈으로 6개를 보면서도 뇌가 5개라고 우기는 이런 상황에서, 뇌가 '6개도 있구나, 이런 경우도 있네'식으로 추가적인 학습이 이뤄져야 한다는 거임
포스트 트레이닝이 예외처리 이런거다 뇌피셜 쳐 갈기지 말고..아 몰라 니 맘대로 생각하세요 - dc App