[📪정보] 토큰 간단 설명

[토큰몬스터(hciii)]

1줄 요약

단어마다 숫자로 치환 한거임

설명

단어를 숫자로 치환 하여 압축하는거임

이때 하나의 숫자마다 1토큰이라 함

안녕하세요.

위 글을

1 안녕

2 하

3 세요

4 .

이렇게 한 후 만일 아래 문장이 나오면

해주세요

5 해

6 주

3 세요

이런식으로 반복적인 단어를 숫자로 치환해서 AI가 이해하기 쉽게 만드는 거임

방금 전 처럼 단어를 숫자로 할당하겟다고 써놓은건 VOCAB이라 함

즉 예시로 든 "해주세요" 문장은 3토큰인거지

이렇게 숫자로 치환해주는 애를 토크나이저라 하고 AI마다 방식이 달라.

또한 vocab은 변경이 불가능 하지만 새로운 단어를 추가할수는 있어

무튼 그럼

- dc official App

[gpt교주(pomcro)]

? 잘못 - dc App

[토큰몬스터(hciii)]

읭? 틀렸다고? - dc App

[gpt교주(pomcro)]

비유가 - dc App

[토큰몬스터(hciii)]

아 그건 인정해 - dc App

[gpt교주(pomcro)]

맛있긴 함 ㅋㅋ - dc App

[초존도초(htr3c654r6ft)]

토큰몬스터라 토큰 설명함 ?

[토큰몬스터(hciii)]

예스 - dc App

[초존도초(htr3c654r6ft)]

[익명(49.164)]

subword 토큰 설명하기 시작하면 BPE때문에 다들 멘붕할거라 걍 쉽게 1단어 1토큰이라 말하는게 현실적이지...

[익명(210.123)]

한글 토큰 효율 좀 높아질 방법 찾았으면 - dc App

[토큰몬스터(hciii)]

네이버가 공개한적있음 - dc App

[익명(114.201)]

한국어는 너무 효율 나빠보이는데 - dc App