감이 안잡히네
[일반] 100만 토큰이 어느정도임?
이세희(sehui96)
2024-03-23 02:57
추천 0
댓글 5
다른 게시글
-
그냥 모래 잔뜩 퍼서 GPU 존나게 만들면 안되나 [4][일반] 익명(59.4) | 24.03.23추천 0
-
클로드는 의역이 심한것 같다. [1][일반] 익명(121.144) | 24.03.23추천 0
-
클로드로 야한거 못함? [8][일반] 익명(bibimu) | 24.03.23추천 3
-
구글 하사비스 시대못따라온사람같음 [3][일반] 익명(1.243) | 24.03.23추천 5
-
얀르쿤 존나 띠껍네 이새끼 뭐됨? [4][일반] Dazbee(dazbeechan) | 24.03.23추천 2
-
그래도 카스는 안올려서 다행이다 [2][일반] 익명(223.39) | 24.03.23추천 0
-
제미나이보다도 더 잊혀져서 기억도 안나는 ai [2][일반] 어서와요(ieya114) | 24.03.23추천 2
-
GPT는 역노화 20년 본다는데. [4][일반] 익명(1.244) | 24.03.23추천 1
-
클로드3로 소시오패스, 싸이코패스 등장 소설 만들면 좀 잼있음[일반] 익명(58.236) | 24.03.23추천 0
-
siri나 빅스비할 때[일반] 익명(221.142) | 24.03.23추천 0
1토큰이 한 단어란 뜻이라고 하는 댓글을 봤었는데
보통 알파벳으로 하는 언어들은 단어 하나당 평균 1토큰인데 한글로 하면 매자마다 1토큰임 한자권도 마찬가지일듯.. 그래서 한글로 하면 영어보다 토큰 소모가 더 큼
ㄱㅅㄱㅅ
평범한 단행본책 글자수가 12만자라니까 한글 책 8권정도분량
어느 정도를 1토큰으로 볼 것이냐는 텍스트를 토큰화해주는 방식에 따라 다름. 윗댓처럼 아예 글자 하나를 1토큰으로 볼 수 있겠지만 한글은 그런 방식으로는 잘 하지 않음. 왜냐하면 한글은 한 글자가 가지는 정보가 많지 않기 때문임(영어 알파벳도 마찬가지). 한자의 경우는 글자마다 의미를 가지기 때문에 1글자를 1토큰으로 봐도 괜찮음.