[질문] 토크나이저랑 렉서 원래 결합해서 구현함?

[익명(61.81)]

아님 따로따로 모듈로 구현함?

토크나이징하는 과정 자체가 존나 좆만해서 렉서모듈에 통합해서 구현했을때의 단점을 잘 모르겠음

대부분 글보면 아예 렉서에 토크나이저를 결합해서 일부인 것마냥 설명하던데 이거땜에 존나 헷갈리노; ㅆㅂ

[익명(223.62)]

굳이 분리할 이유가 있나 대부분 렉서가 토큰만든다고 퉁치는데 토크나이저랑 렉서랑 무슨 차이가 있는지 모르겠네

[익명(61.81)]

ㄹㅇ 나도 이게 궁금했음 ㅋㅋ

[Bubbler(bubbler)]

렉서 = 토크나이저 로 알고있음 - dc App

[익명(61.81)]

그럼 토크나이저는 렉서 기능의 일부라는거고 굳이 분리할 이유는 없는거네. ㄳ

[익명(118.235)]

렉서가 토크나이져임 ㅋㅋㅋ 토크나이져는 약간 좀 단순한 분리가능할때 주로 지칭하고 렉서는 좀 복잡할때

[익명(118.235)]

웹 스크래퍼 와 웹 크롤러 정도의 느낌으로 받아들이면 됨