[토의] Scale is all you need 라지만

[익명(1.252)]

최근에는 약간 회의적인 생각이 든다.

뉴스에서 'GPT-5 를 위한 데이터가 부족하다!', '합성 데이터는 성능 하락의 요인이다!' 등의 기사에 영향을 받았는지도 모르겠다.

스케일 상승으로만 성능의 향상이 가능한 건 증명이 됐다고하자

그런데 스케일이 인간의 지능을 모방할 길이 과연 맞는가?

고래는 인간보다 훨씬 많은 뉴런을 지니고 있지만 지능은 인간에 비할 바가 못된다.

새는 콩알만한 뇌를 가지고 있지만 다른 동물에게는 관찰되지 않는 창의성을 보여준다.

정말로 스케일이 전부라면, 어째서 인간 정도의 지능을 구현하는데 이리도 많은 연산력과 에너지가 필요한건가?

우리 머릿속에 있는 이 조그마한 세포 덩어리가 어떻게 이토록 효율적일 수 있는가?

아직 기술이 밝혀내지 못한 다른 접근 방법이 존재하는게 아닐까?

[익명(115.143)]

다른 접근 방법도 있겠지 지금은 스케일 증가가 계속 효과가 있으니까 계속 올리는 중인거고... 일단 뇌자체를 제대로 모르기 때문에 어쩔 수 없음. 계속 시도해보다가 만들어지면 만들어지는거임. 그리고 뇌연구도 활발하고 다른 알고리즘 연구도 활발히 하고 있어서 걱정 안해도됨

[익명(14.55)]

'GPT-5 를 위한 데이터가 부족하다!': 걔들이 그걸 어떻게 알았대? '합성 데이터는 성능 하락의 요인이다!': 시간대에 따라 성능이 확연히 달라지는 거 보면 걍 개소리

[익명(221.144)]

지금 AI는 인간의 뇌를 모방하는 방식이 아님. 모방하는 게 아닌게 모방을 제대로 못 한다고 걱정할 필요가 없음. 현재 방식의 가장 기본이 역전파인데, 뇌는 역전파처럼 작동 안 함. 그래서 효율 나쁜 것도 알지만, 아예 새로운 지능의 탄생 방식 아닐까 해석 중일걸.

[익명(defense1888)]

그럼 뇌는 어케 작동함?

[익명(210.178)]

대충 비행기 발전과정설명

[익명(1.252)]

x 만큼 무거운 물체를 우주로 쏠려면 y 만큼의 연료가 필요함 y 만큼의 연료를 적재하면 전체 무게가 x+y 가 됨. x+y 만큼 무거운 물체를 우주로 쏠려면 z 만큼의 연료가 필요함 ... ... 이 과정을 반복하면 우주로 x 만큼의 물체를 보낼 수 있지만 매우 비효율적임 그래서 유체역학, 소재공학, 단 분리, ... 다른 여러 방법을 찿아서 해결했음 AI 도 지금 그러한 상황이 아닌가 싶어서 하는 말임