[📪정보] 오픈ai 연구원이 서울대에서 강연한 내용

[익명(asdf045)]

https://twitter.com/hwchung27/status/1710003293223821658

이 분야를 요약하려다 보니 이 분야에서 정말 중요한 것이 무엇인지 생각하게 되었습니다. 확장은 분명 눈에 띄지만, 그 광범위한 의미는 좀 더 미묘합니다. 세 가지 각도에서 스케일링에 대한 제 생각을 공유합니다:

1) 어떤 능력은 특정 규모에서만 발휘되기 때문에 관점의 변화가 필요합니다. 일부 능력이 현 세대 LLM에서 작동하지 않는다고 해서 작동하지 않는다고 주장해서는 안 됩니다. 오히려 아직은 작동하지 않는다고 생각해야 합니다. 더 큰 규모의 모델이 나오면 많은 결론이 바뀔 수 있습니다.

이는 또한 과거의 일부 결론이 무효화되고 그러한 아이디어에 기반한 직관을 끊임없이 학습해야 한다는 것을 의미합니다.

2) 첫 번째 원칙에서 트랜스포머를 확장한다는 것은 수많은 기계로 행렬 곱셈을 효율적으로 수행하는 것과 같습니다. LLM 분야에서는 스케일링이 실제로 어떻게 수행되는지 잘 모르는 연구자들을 많이 봅니다. 이 섹션은 대규모 모델을 훈련한다는 것이 무엇을 의미하는지 이해하고자 하는 기술적인 청중을 대상으로 합니다.

3) 추가 확장을 위해 고려해야 할 사항에 대해 이야기합니다(예: 10000배 GPT-4 규모). 저에게 확장이란 단순히 더 많은 머신으로 같은 일을 하는 것이 아닙니다. 확장에는 추가 확장의 병목 현상인 귀납적 편향성을 찾는 것이 수반됩니다.

저는 최대 가능성 목적 함수가 10000배 GPT-4 수준의 규모를 달성하는 데 있어 병목 현상이라고 생각합니다. 표현적 신경망으로 목적 함수를 학습하는 것은 훨씬 더 확장 가능한 다음 패러다임입니다. 컴퓨팅 비용이 기하급수적으로 감소함에 따라 확장 가능한 방법이 결국 승리하게 됩니다. 경쟁하지 마세요.

이 모든 섹션에서 저는 모든 것을 첫 번째 원칙부터 설명하려고 노력했습니다. LLM처럼 매우 빠르게 변화하는 분야에서는 누구도 따라잡을 수 없습니다. 저는 원론에서 출발하여 핵심 아이디어를 이해하는 것이 확장 가능한 유일한 접근법이라고 믿습니다.

강연내용 요약

구글 브레인에서 근무했던 사람이 이분만큼 풀스택 llm 경험한 사람 많지 않다고 함

역시 gpt4급 모델 만들어본 오픈ai나 딥마인드 정도 피셜이 제일 정확한거 같음

- dc official App

[MoonChild(aowlr2001)]

[부패하는유전자!!!(sansss2015)]

[익명(119.56)]

콘귀염

[익명(99999999999n)]

그렇게 연산력을 강조하던 레커의 말이 현실이 되어가고 있네.... 당신은 도대체...

[은바다(nmra3fmzhxmg)]

[슈퍼130클럽(y3xxqs89b55t)]

잘 모르는 연구자들을 많이 본다는건 ㅈ도 모르면서 나대는 인간들을 많이 본다는 건가?

[빙냥이ㄱㅇㅇ(6zd2cxvc44h4)]

"스케일""스케일""스케일""스케일""스케일""스케일""스케일""스케일"

[익명(58.140)]

2025