[일반] 근데 병렬 추론이 뭐임?

[익명(211.55)]

gpt 모델은 구조상 현재의 입력을 받고 좌->우 순으로 순차적으로 문장을 생성하는데 어떻게 병렬적으로 추론할 수 있음?

[ㅇㅇ 1(124.111)]

추론을 여러개 돌려서 가장 좋은것 추려서 답변

[익명(aaq0010)]

스캐폴드 구조로 동시에 모델을 여러개 돌림

[ㅇㅇ 2(211.195)]

동시에 여러개의 cot를 해서 그중 제일 적합한거로 깊은추론을 해서 출력

[글쓴 ㅇㅇ(211.55)]

신기하네 ㄱㅅㄱㅅ