[📜일지] 토큰화[0]

[겜린(glaura)]

상대 공격을 앞면 수비 표시로 대신 맞아 줄 대타출동 토큰을 만들기 위해

순수 텍스트로 이루어진 웹페이지 질의 및 색인하는 검색엔진을 만들기 위해

NPC 친구들 LLM 대화 능력 구현시 가능하면 보다 더 밑바닥까지 자작으로 만들기 위해

나는 문자열을 '이상적으로' 토큰화하는 함수를 작성하고 싶은 욕심이 있다.

일반적으로 C++은 문자열을 다룰 때 ::std::string, ::std::wstring 타입을 사용하며 해당 타입 내부에 어떤 방식으로 문자열을 인코딩해서 저장할지는, 프로그래머가 개발환경이나 저장 방식을 따로 명시하지 않는 이상 암묵적으로 IDE가 기본 제공해주는 인코딩으로 저장해.

::std::string : 암묵적 기본 인코딩, 명시적 기본 인코딩, 명시적 utf8. // MS Windows OS 한국어 MSVS IDE 기준으로 기본 인코딩은 CP949

::std::wstring : 암묵적 기본 인코딩, 명시적 기본 인코딩 // MS Windows OS MSVS IDE 기준으로 기본 인코딩은 unicode utf16

순수 텍스트의 토큰화는 보통 ascii code 32값 ' '에 해당되는 공백을 기준으로 하지만 unicode code표에서 ascii range를 넘어선 각 언어별 공백을 의미하는 코드 값도 있어.

이걸 단순하게 1바이트 단위 ascii code 32값 ' '만을 기준으로 토큰화 함수를 작성하게 되면 언젠가 엄청나게 크리티컬한 일이 생기게 될 거야. 지구가 평평해진다던가...

따라서 완벽하고 이상적인 토큰화 함수의 기능을 파편화해서 나열하면 아래와 같아.

// 구현 방법에 따라서는 필수 1 자체가 선택사항일 수도 있는데 지금 집중력이 부족해서 이 부분은 깊게 생각을 못하겠어.

선택 X. 토큰화시 필요한 구분문자(ex 공백) 청크 집합을 앱 실행시 static 상수던 싱글턴이든 뭐든 간에 중복없이 유일한 값으로 메모리에 잡아둘 것

필수 1. { 어떤 타입 어떤 인코딩 }으로 저장했던 이상적 토큰화를 준비하기 위해 ::std::u32string 타입으로 암묵적 명시적 utf32로 인코딩(기본 함수)

필수 2. 구분문자 청크 집합을 기준으로 토큰화하는 함수 작성(기본 함수)

필수 3. 구분문자 청크 집합을 기준으로 토큰화하는 총 몇 번의 중복 토큰이 있는지 세는 함수 작성(유틸 함수)

필수 4. 구분문자 청크 집항블 기준으로 토큰화시 토큰이 맨 앞인지 중간인지 맨 뒤인지 체크해 가중치를 설정하는 함수 작성(유틸 함수)

필수 5. ::std::string, :;std::wstring, ::std::u8string, ::std::u16string, ::std::u32string 타입별 n-gram 작성. // 다 작성하기 귀찮으면 ::std::string, ::std::wstring, ::std::u8string, ::std::u32string만

이게 맞나 나도 잘 모르겠다.

해보고 옴.

[이 댓글은 게시물 작성자가 삭제하였습니다.]

이 댓글은 게시물 작성자가 삭제하였습니다.

[불타는키보드(1bnmaker)]

[디시콘쓸려고만듦(kimmsssiu)]