토크나이저 이슈
글자 하나하나 따로(토큰) 인식할걸 그래서 9-11이 됨
지능이슈
그냥 9.9, 9.11이 아니라 9/./9, 9/./11로 인식해서
이제 3살인데 뭘 바라는거임
토크나이저 이슈. 소수점 아래를 뭉탱이로 하면서 발생한 문제. 이걸 바꾸면 아예 새로 학습해야 하는 것도 있고, 소수점 이하의 숫자들을 디테일하게 구별한다는 말은, 그만큼 단어갯수가 늘어난다는 말임. 용량, 학습 부담이 됨.
LLM은 그걸 수학 문제로 보고 있을까, 아니면 그저 텍스트로 보고 있을까?
그저 텍스트로만 보면 수학 문제는 어캐 품? - dc App
토크나이저 이슈
글자 하나하나 따로(토큰) 인식할걸 그래서 9-11이 됨
지능이슈
그냥 9.9, 9.11이 아니라 9/./9, 9/./11로 인식해서
이제 3살인데 뭘 바라는거임
토크나이저 이슈. 소수점 아래를 뭉탱이로 하면서 발생한 문제. 이걸 바꾸면 아예 새로 학습해야 하는 것도 있고, 소수점 이하의 숫자들을 디테일하게 구별한다는 말은, 그만큼 단어갯수가 늘어난다는 말임. 용량, 학습 부담이 됨.
LLM은 그걸 수학 문제로 보고 있을까, 아니면 그저 텍스트로 보고 있을까?
그저 텍스트로만 보면 수학 문제는 어캐 품? - dc App