[일반] 토큰이라는게 뭐야?

[익명(169.150)]

자세히 설명해줄사람있나

[칼로스쌀(calrose)]

글자수

[칼로스쌀(calrose)]

3토큰

[칼로스쌀(calrose)]

안녕하세요 <- 5토큰

[익명(103.125)]

안녕하세요는 14토큰임ㅋㅋㅋ 한글은영어와달리 글자한개에 3토큰~4토큰씩먹음

[익명(103.125)]

openai에서 공식공개한 토큰계산기로 14토큰임

[칼로스쌀(calrose)]

ㅎㄷㄷ

[시체새끼(sewol0829)]

대충 글자수 보다 쪼오끔 더 작은 단위라고 생각하면됨. 근데 언어마다 토큰수 다름 ㅋㅋ

[칼로스쌀(calrose)]

아마 한글은 한글자당 2토큰으로 칠거임

[익명(103.125)]

토큰높으면좋은점:소설쓴다고치면 더길게써줄수있음

[익명(103.125)]

output토큰 한도는 gpt3.5와 똑같아도 gpt4는 토큰이 배라 계속 continue하면 2배길게 소설을쓸수있음

[익명(103.125)]

GPT3.5는 4k토큰을다쓰는데 4편이라고치면 5편부터는 까먹음ㅋㅋㅋ

[익명(103.125)]

반면 gpt4는 8편까지쓸수있는거지 9편부터까먹고