[%] 토크나이저, 렉서, 파서 내가 이해한거 맞음?

[땔감(gcp24685)]

토크나이저는 의미단위로 나누는거

렉서는 토큰을 처음부터 읽어가면서 구조에 맞게 자료구조에 집어넣는거

파서는 렉서의 자료구조를 읽으면서 출력하는거

[익명(122.36)]

파서는 만들어봤는데 저렇게 체계적으로 분리해서 작업을 안해봐서 잘 모르겠네. 토큰화 한 다음 한번 더 읽기쉽게 정리해주고 마지막으로 파싱했으니 대충 맞는 것 같기는 하다.

[ㅇㅅㅇ(180.67)]

아니 토크나이저랑 렉서랑 사실상 같은 말이고, 파서가 토큰을 처음부터 읽어가면서 구조에 맞게 자료구조에 집어넣는거임

[익명(220.94)]

렉서가 토크나이저임

[익명(221.155)]

렉서 = 토크나이저 = 키워드를 다 따로따로 분리하는 작업 파서 = 렉서가 추출한 키워드들을 조합해서 실제 의미를 이해하는 작업

[땔감(gcp24685)]

ㅇㅎ 다들 감사영 이해했음