[일반] 이 글보고 생각해봤는데 LLM = 확률적 앵무새 맞는거 아님?

[익명(120.29)]

그리고 추론모델 가끔 추론하다가 딴짓하고 헛소리하는게 LLM의 구조적 문제와 관련있는거임?

Gpt는 샘플링 도중에 낮은 확률로 엉뚱한 토큰을 골라서 그렇다는데 

[갉달비(secure2924)]

ㅇㅇ 더하기도 좀 이상함 100자리 덧셈은 응용의 영역이라 그런지 정답률이 확 줄어듬

[냥쓰(kalstein)]

계산능력은 토큰이 언어랑 달라서 그런거아닐까요 - dc App

[Cohere(tonight0407)]

수학적으로 따져도 LLM은 확률론적 앵무새 맞음. 애초에 트랜스포머인 이상 어쩔 수 없음.

[익명(tragedy7204)]

초지능앵무새가 어때서

[익명(evidence2630)]

인간의 뇌도 베이지안 추론이 일반원리라는 가설이 있음

[도로시냥(slzpdnjsxnf)]