[📪정보] GPT-4 의 파라미터 모델은 여러개로 추론한다 220B

[익명(138.199)]

요약: GPT-4 는 220B 파라미터 모델이 여러개가 붙어서 추론을 돌리고, 그중에 가장 그럴듯한 것을 골라내는 방식. 각 모델은 서로 다른 내용으로 파인튜닝이 되어 있음. 이것을 Mixture of Experts 라고 함. 8가지 서로 다른 모델이 분야별로 전문성을 가지니까 다양한 작업에 만능으로 적용이 가능하고, 대신 그만큼 추론 비용도 비쌈.

이제 LLaMA 65B 를 8가지 정도 각각 다른 버전으로 파인튜닝한 다음에 MOE 방식으로 합쳐서 돌리는 데모만드는 놈 분명히 나온다. 아마 65B 모델 4 개를 묶어서 GPT-3.5 를 뛰어넘는 성적을 내다!! 같은 헤드라인을 달고....

openai가 GPT-4 나오고 나서 금방 구조 발표 안하고 얼버무리는걸 보면서 사람들이 두가지로 의심을 했었는데

- 엄청나게 큰 파라미터 사이즈를 썼거나

- 생각보다 파라미터는 늘리지 않고 다른 방법을 썼거나

결론은 후자였던거 같네요. 어떻게 보면 당연한 방법이기도 하죠

딥러닝이 아닌 일반 머신러닝에서도 추론 점수를 조금이라도 더 끌어올릴 수 있는 최후의 수단은 앙상블이거든요.

LLM 끼리 앙상블을 시키면 추론 비용은 엄청 늘어나겠지만, 도달하기 힘들었던 영역 (예: 의과대학 시험과 법학 시험을 동시에 통과) 을 도달했다는 상징적 의미도 있고,

더 중요한 것은 자체적으로 비판능력을 가지는 발판이 된다는 것

현재 GPT-4 의 추론에서 흥미로운 능력중 하나가 자기가 만든 결과에 대해 자기가 문제점을 자각하고 개선점을 제안할 수 있다는 것인데... 알고보니 자기 자신이란게 하나가 아니었다는 것임. A1 모델이 뽑은 결과에 대해 다음에는 A2 모델이 비판을 한다던가 하는 식으로.

[익명(asdf045)]

https://m.dcinside.com/board/thesingularity/164532?headid=&recommend=&s_type=subject_m&serval=gpt
국내 현직자들도 그렇게 파악하고 있나보네?

[빙냥이ㄱㅇㅇ(6zd2cxvc44h4)]

220B면 GPT-3이랑 큰 차이는 안 나는 건데 ...?

[익명(landofooo)]

앙상블 기법이 ㄹㅇ 좋구나...

[익명(landofooo)]

싹다 앙상블시켜.

[이 댓글은 게시물 작성자가 삭제하였습니다.]

이 댓글은 게시물 작성자가 삭제하였습니다.

[이 댓글은 게시물 작성자가 삭제하였습니다.]

이 댓글은 게시물 작성자가 삭제하였습니다.

[이 댓글은 게시물 작성자가 삭제하였습니다.]

이 댓글은 게시물 작성자가 삭제하였습니다.

[이 댓글은 게시물 작성자가 삭제하였습니다.]

이 댓글은 게시물 작성자가 삭제하였습니다.

[이 댓글은 게시물 작성자가 삭제하였습니다.]

이 댓글은 게시물 작성자가 삭제하였습니다.

[이 댓글은 게시물 작성자가 삭제하였습니다.]

이 댓글은 게시물 작성자가 삭제하였습니다.

[이 댓글은 게시물 작성자가 삭제하였습니다.]

이 댓글은 게시물 작성자가 삭제하였습니다.

[이 댓글은 게시물 작성자가 삭제하였습니다.]

이 댓글은 게시물 작성자가 삭제하였습니다.

[이 댓글은 게시물 작성자가 삭제하였습니다.]

이 댓글은 게시물 작성자가 삭제하였습니다.