[토의] [의견]결국은 moe간의 긴밀한 합의시스템과 뇌 가소성을 잘 구현해야

[익명(220.73)]

할 것만 같은 생각이 들어
합의시스템으로 쓸모없는건 죽이고 필요한건 늘리고, 그게 또 바뀌면 재구축하고...
그런데 그렇게 하다보면 뇌의 노화(세포생성은 안되지만 경로최적화가 진행되는 구간)도 구현해야 하는건가

[익명(112.171)]

뇌도 각 부분이 추론 계산 인지 행위 등등 나눠서함 마찬가지로 AI 다음 메타는 MOE다 제미나이를 비롯해 최근에 나온것들은 MOE 기본탑재야ㅇㅇ 여기는 너무 스케일만 답인것 처럼 말하더라고 스케일 올리면 성능 늘어나긴 하는데 천문학적인 비용 들어간다. Ms직원 트윗 봤잖아? GPT6만드는대 이제 한개 도시의 발전량으로 감당이안된다고.. 이런식이면 한계온다

[익명(220.73)]

그치 나는 moe 자체도 시스템적으로 자동화해서 필요에 의해 moe가 구축됐다가 사라지는(약화되는) 시스템이 필요하다고 생각하는데(재귀개선과 맥을 같이 하는 느낌) 이 분야에 대해 잘은 알지 못하는 사람이라 근거를 가지고 주장하지는 못하겠어... 여튼 moe다 꽤 쓸만하고 좋은건 확실한거 같아

[익명(112.171)]

결국은 경제적인 이유로 MOE로 갈거같음

[익명(117.111)]

MOE가 맞음 가지치기 최적화 이런것도 다 기본으로 들어가야하고