영상 두 개를 스킵하면서 대충 들었는데 AGI 예상은 5개월 전 인터뷰였음
- 2024년에는 기존 모델들의 성능이 많이 개선되는 한 해가 될 것인데 현실을 뒤집는 변화는 없을 것. 큰건 25~26년에 올거라 본다.
- 2015년 OpenAI 설립 전부터 스카웃 제의를 받았으나 거절했었는데 몇달 후 AI 좀 친다는 놈들이 OpenAI로 가는 분위기여서 나도 들어갔다.
- OpenAI가 설립되기 직전에 일리야 수츠케버를 만났어요. 그가 저에게 처음 한 말 중 하나는 "보세요. 모델들은 그저 배우고 싶을 뿐이에요. 이 점을 이해해야 합니다. 모델들은 그저 배우고 싶을 뿐이에요." 마치 선!불!교의 선문답 같았어요. 저는 그 말을 듣고 깨달음을 얻었습니다.
- 스케일링이 될 거라는 아이디어는 2014~2017년에 걸쳐 서서히 생성됐다.
- 스케일링이 왜 잘 되는지 우리는 아직도 잘 모른다.
- 2021년 앤트로픽 설립 당시 OpenAI의 14~15명을 데리고 왔고 당시 OpenAI 전직원의 10% 정도였다. 공교롭게도 내가 LLM 팀이었기 때문에 LLM팀 거의 전체가 따라왔고 OpenAI의 LLM팀에는 약 2명(수츠케버가 이 중 한 명일 듯) 밖에 안 남았었다.
https://www.youtube.com/watch?v=Nlkk3glap_U
Dario Amodei (Anthropic CEO) - $10 Billion Models, OpenAI, Scaling, & AlignmentHere is my conversation with Dario Amodei, CEO of Anthropic.Dario is hilarious and has fascinating takes on what these models are doing, why they scale so we...www.youtube.com
https://www.youtube.com/watch?v=gAaCqj6j5sQ
Anthropic CEO on Leaving OpenAI and Predictions for Future of AIDario Amodei is the Co-Founder and CEO of Anthropic. In the episode, we discuss detailed predictions on the AI industry for 2024, 2025, and beyond. Dario dis...www.youtube.com
스케일링이 왜 잘 되는지 우리는 아직도 잘 모른다. ㅋㅋ ㅈㄴ웃기네 ㅋㅋ
근데 ㄹㅇ 이게 존나 웃긴 말인데 실제로 그렇게 작동하고 있다는게 레전드임 ㅋㅋㅋ 그 AI랑 뇌과학 둘다 전공한 천재라는 딥마인드의 데미스 하사비스도 이렇게 작동할거라 전혀 예상 못했는데 스케일 커지니 생겨나는 능력들 보고 놀라워함 스케일 증가에 따른 한계점이 어디일지 현재로선 알 길이 없다고 했고
지금도 ai중일부는 원리정확히 모르는데 잘되는거있자너 ㄹㅇ
2년이면.. 추론, 장기기억 문제를 해결하고 환각을 대폭 개선할 아이디어가 이미 있는건가? 아니면 스케일 커지면 해결될거라 생각하는건가
중요한 인력들 많이 가져왔었구나 ㄷㄷ 성능좋은 llm인 이유가 있네
LLM팀 2명 남겨놓고 다 데려왔는데 수츠케버도 대단한 놈인듯...
모른다는게 웃기넠ㅋㅋㅋㅋㅋㅋ
제목 발언은 아래 영상 1시간 17분 55초쯤에 나오네. 2~3년 정도면 LLM에 멀티모달이 결합되어서 과학, 공학을 포함한 넓은 범위에서 인간 전문가 수준에 도달할 것. 그냥 지나가는 식으로 말한 거라 시기에 집착하기보다는 앤트로픽도 내부에서 멀티모달 쪽으로 많이 만지고 있구나 정도로 생각하면 될 듯
생각보다 유하게 생겼네
Agi 2025 각은 날카롭게 살아 있다
시발 선형충새끼들!!! Agi는 다음주에온다!!!