[📪정보] 안드레 카파시) LLM이 가진 대부분의 문제는 '토큰화'에서 발생한다

[익명(crown1726)]

https://twitter.com/karpathy/status/1759996551378940395

고통의 근원 ㄷㄷ

[MoonChild(aowlr2001)]

[Sora(39.117)]

저걸 말해준다는건 oai는 해결하고 나왔나보네 - dc App

[익명(220.72)]

대책있겠지 뭐 ㅋㅋ

[ㅇㅋ(ijh2005)]

결국 임베딩이 문제라는거네?

[ㅇㅋ(ijh2005)]

하긴 저러니까 메타의 그쿨찐새끼도 비전계열임베딩으로 언어모델 처리하려고하는거지ㅇㅇ

[빙냥이ㄱㅇㅇ(6zd2cxvc44h4)]

카파시 예전에도 탈토큰 얘기하더니만

[디시콘발사대(fcbjsjmu1t9f)]

[익명(222.238)]

이번 기회에 토큰화 문제가 없는 AI 친화적 새로운 언어를 만들자. 사실 영어도 논리적 문법오류가 많고 한국어는 장황한게 비효율적이고..

[익명(220.72)]

토큰화 가 뭐냐면.. 긴 텍스트를 LLM이 처리할 때, 글자 단위 가 아니라 subword 단위로 처리하는걸 말하는거야. 예를 들자면, word 를 w/o/r/d 가 아니라 wo/rd 하는 식으로 짜르는거지. 왜 이렇게 하냐면 글자 단위로 처리하면 연산량이 감당이 안되거든. 그런데, 이게 명확한 규칙이 있는 것도 아니고, 한 단어를 짜르는 방법도 여러 가지가 있을 수 있어. long text 를 짜를 때, long/ / text 가 될 수도 있고, lo/ng/ /tex/t 가 될 수도 있는거지. 그래서, 사람 눈으로 봐선 같은 text 인데, LLM 입장에선 다른 텍스트가 될 수도 있는거야.

[특특이(ehdehddlfks)]

대체 한글자 단위로 처리하면 연산량이 얼마나 늘길래 그러는거야? 그 tpu인지 하는 인공지능 전용 반도체를 만드는 이유가 그거 때문인거 아님? 진짜 몰라서 묻는거임 답변좀 궁금하다