24b0d121e09c28a8699fe8b115ef0468eaa8e8b8


https://x.com/nickcammarata/status/1886899520371613909



딥 리서치(deep research) 덕분에 내 학습 속도가 거의 터무니없을 정도로 빨라졌어. CLIP 유도 확산(guided diffusion) 문헌(내 전문 분야는 아니지만)에서 사람들이 CLIP 적대적 과적합(adversarial overfitting)을 어떻게 다뤘는지 궁금해하다가, 30초 정도의 능동적인 작업만으로 꽤 철저하게 이해하게 돼.



세계적인 전문가가 옆에 있는 것보다 실제로 더 빠를 수도 있어. 왜냐하면 나는 그들이 말하는 것보다 더 빨리 읽을 수 있거든.



내가 설명한 것과 같은 특정한 종류의 틈새 학습에서는 속도가 쉽게 100배는 빨라졌어. 나는 CLIP 유도 문헌 전체를 파고들려고 시도조차 하지 않았을 거야. 너무 지루하고 신호 대 잡음 비율이 너무 낮고, 대부분의 논문은 끔찍하게 쓰여 있거든.



하지만 딥 리서치 보고서를 읽는 것은 재미있고 즉각적인 보상을 줘. 그래서 훨씬 더 많이 하게 돼. 지난 24시간 동안 나를 위해 작성된 고품질 보고서가 20개 정도 돼.



나는 또한 이것이 나무와 더 비슷하다는 것을 알게 되었어. 보고서가 작성되면 "와우"하고 감탄하고, 내가 전문가가 아닌 부분들을 조사하기 위해 세 개의 보고서를 더 생성하고 싶어져. 금방 할당량을 다 써서, 아마 이걸 우회하려면 여러 계정이 필요할 거야.



이건 마치 완전히 맞춤화된 고품질 위키백과에 접근할 수 있는 것과 같아. 페이지 로딩은 좀 느리지만. 하지만 여기저기 클릭하면서 파고드는 건 똑같아. 나는 아마 거의 이상적인 사용자일 거야. 나 자신을 제한하지 않으면 위키백과에 쉽게 중독되거든.



앞으로 모든 훌륭한 연구자들은 이걸 사용할 거고, 논문은 아마 그렇게 중요하지 않을 거야. 왜냐하면 AI가 논문을 쓰고 사람들을 위해 읽어줄 거거든. 그리고 이건 어리석은 학계의 지위 게임을 우회하고 전반적으로 좋은 일이야.



또한 논문 SEO(검색 엔진 최적화) 같은 것도 덜 중요해져. 딥 리서치와 미래의 모든 모델들은 한 번에 너무 많은 논문을 읽기 때문에, 당신의 논문이 잘 알려지지 않았는지는 중요하지 않아. AI가 읽고, 좋다고 생각하면 최종 보고서에 넣을 거야. 초기/낮은 지위의 연구자들에게는 아주 좋은 일이지.



나는 앞으로 모든 것이 실제 품질에 관한 것이 될 거라고 생각해. 당신이 올바른 멍청하고 거만한 학술 용어를 사용하는지, 올바른 저널에 있는지 여부는 중요하지 않을 거야. 당신은 기본적으로 어디에든 정보를 출력할 수 있고, 그게 좋다면 중요한 모든 사람들에게 전달될 거야.



연구자들을 위한 나의 주요 조언은 공식적인 논문에 대해 너무 걱정하지 말라는 거야. 하지만 트윗만 하지도 마. 왜냐하면 트위터는 아마 이 모델들이 볼 수 없는 정원일 거고, 일론이 무덤까지 지킬 테니까. 트윗처럼 쓰고 어디에든 올릴 수 있지만, 여기(트위터)만은 안 돼.



나는 그웬(gwern)이 여기에 접근하게 되면 무슨 일이 일어날지 조금 두려워. 그웬이 접근하면 곧바로 급격한 기술 발전(gwern fast takeoff foom)이 일어나고, 미래 과학의 98%는 ht@tp://gwern@.net 블로그 게시물 형태로 나올 거라고 추측할 수밖에 없어.



AI에 대한 내 경험은 경제학에서의 타일러(Tyler)의 경험과 거의 일치해. 비록 지금 o3-mini에 이미지를 줄 수 없다는 것이 병목 현상이지만, 나는 아키텍처 다이어그램 같은 것들을 스크린샷으로 찍고 싶어. 그리고 박사 과정 학생처럼 실험을 실행할 수는 없어. 하지만 다른 면에서는 (AI가) 거기에 도달했어.