[일반] gpt에서 한글로 프롬프트 넣었을 때랑 영어로 넣었을 때 차이 심해?

[익명(115.23)]

나만 그런 건지 궁금해서

[익명(222.109)]

ㄴ

[인터넷친구(8dkjubfegp67)]

gpt 대답으로는 별차이 없다고했음

[익명(115.23)]

속도 차이가 나는 거 같은데

[익명(210.106)]

tokenizer와 학습 데이터량 문제로 영어 이외의 언어들은 상용 LLM들이 이해하기에는 상당한 페널티를 가지고 있지.

[익명(210.106)]

속도 문제는 확실히 토큰나이저 때문에 한글은 글자하나 표현하는데 2토큰쓰는데에 비해 영어는 단어 하나당 1토큰이니까 차이가 어마무시하지.

[익명(14.55)]

능지 차이 4한글 = 3.5영어

[익명(tooth5104)]

이것도 요즘은 아님 둘다 3.7수준으로... 답답함 - dc App

[익명(112.161)]

토큰 차이 밖에 없다고 생각함 3.5까지는 좀 심한데 4는 비슷