[일반] 언어모델 간단한 질문..

[익명(59.25)]

언어모델은 문장 다음에 올 확률이 가장 높은 단어를 내놓는다고 알고있음

확률이 가장 높다는건 가장 자주 등장한다는 소리 맞지?

그런데 인간은 가장 자주 썼던 단어 말고도 다른단어도 말하잖음

이건 어떻게 설명함?

- dc official App

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(59.25)]

가장 연계되는게 가장 확률높은 단어잖아 근데 인간은 확률높은, 그러니까 자주등장한 말만 내뱉는건 아니잖아 - dc App

[익명(59.25)]

사람도 확률높은거 가져오는 방식임? - dc App

[부패하는유전자!!!(sansss2015)]

그건 아직 안 밝혀졌댔잖아

[익명(222.108)]

이전에 생성된 문장들을 참고해서 모든 단어(정확히는 토큰임)별로 다음에 올 확률을 계산하는거임 토큰집합이 50000개라고하면(쉽게 생각해서 50000개 단어) 50000개별로 다음에 올 확률을 다 계산함 그중에 확률값 제일 높은걸 보여줄뿐.. 이것도 top k 조절해서 확률높은 k개 중에 하나 가져오는 식으로 랜덤하게 할수있음 - dc App

[익명(59.25)]

그럼 사람도 그 랜덤식이야? - dc App

[익명(222.108)]

사람이 어떻게 다음 단어를 예측하는지에 대한 기전은 밝혀지지 않았음. 다만 아마도 경험적으로 언어모델처럼 이전에 경험했던게 기억 속에 저장되고 제일 확률적으로 높을만한걸 말하지 않을까? 라고 어떤 학자가 얘기하는건 봤음.

[초존도초(htr3c654r6ft)]

단어 벡터라고, 단어마다 의미라고 해야 할까 그런 유사도적 좌표가 있음. 그러니까 사과랑 바나나랑 과일이라는 면에서 비슷한 방향을 갖고, 사과랑 빨강이라는 것은 색깔면에서 비슷한 방향을 가짐. 즉 학습데이터 중에서 "사과는 노을과 같다"라는 문장이 일절 없었을지언정, 분명 색깔면에서 벡터가 일정부분 같기에 사과는 다음에 노을이라는 단어가 나올 확률은 분명히 있을 수도 있음

[익명(39.115)]

그렇게 단순한 알고리즘이 아님. 니가 말하는 건 그냥 DB 서치로도 가능한 부분이고.

[익명(59.25)]

그럼 확률로 하는게 아님? - dc App

[익명(39.115)]

확률이 이용되는 건 맞지만 님이 생각하는 그 알고리즘은 아닐 가능성이 99.9999%임

[익명(59.25)]

주어진 문장안에 특정한 단어들이 있으면 그 단어들과 같이 등장했던 단어들 불러오고 뭐 그런거 아님? - dc App

[초존도초(htr3c654r6ft)]

방금 자세한 글 올림