확률 예측이란건

저 많은 카테고리 정보에 대해 각각 어느정도의 가능성으로 존재할지를 예측한다는걸 뜻함

이건

1) 저 많은 카테고리 정보를 전부 고려해야 함

2) 각각을 정확한 확률로 예측해야함

이라는 조건이 붙으므로 생각보다 꽤 많은 정보를 정확하게 생산해내야 함

예를 들어 다국어가 가능한 언어모델은 매 토큰 생성 시마다 12만개 이상의 단어에 대해 확률을 계산함


사람조차 주어진 상황에 대해 두 세가지 경우의 수에 대해서만 대비하는데

확률 앵무새라고 폄하하는건 사람을 너무 씨게 올려치기 하는거임