오늘은 개발환경 설정을 80% 정도 마무리 했다

클라우드 환경, 코랩에는 위키 덤프데이터 json 으로 전처리 하는 오픈소스 박아넣었고

맥북엔 에는 도커를 깔아서 지금 보는 책의 저자가 만들어놓은 가상환경에 터미널로 접속해놨다



공부는 사실상 코딩보단 수학이랑 방법론적 공부를 많이 했다

NLP 방법론은 TF-IDF 라든지, N-gram, PMI 라든지,

수학은 최대우도추정법과 그와 관련된 수학지식이라든지 하는 것들



일단은 위키피디아 덤프 데이터를 WikiExtractor (아까 말한 전처리) 로


1. Plane Text(평문)

2. JSON


두 개로 뽑아내 봤는데

용량이 상당히 어마무시해서 매우 놀랐다

서식도 없고, 그저 오직 텍스트 파일만으로 50mb 를 찍어보는 건 살면서 처음이었다

(내가 50mb로 평문 파일 상한을 걸었기에 50mb 되는 파일들이 튀어나왔음)

그리고 그런 50mb 짜리 텍스트 파일이 2개, 3개, 4개... 계속 쏟아져 나와서 매우 놀랐다


형태소 분석도 아니고

그냥 위키피디아 html 태그 날리고 평문만 가져온건데

튜토리얼이 이런 스케일이면 진짜 내가 뭘 만들어 보려고 할 땐

AWS, 혹은 지금 쓰는 코랩같은 클라우드 컴퓨팅으론 절대로 안 될거 같고

(흙수저라 배보다 배꼽이 더 커지는 상황이 생길 수도 있다)

돈 좀 써서 리눅스 머신을 하나 산 뒤 개발 환경 세팅을 한 다음

포트포워딩 원격 접속, 그리고 구축한 환경은 도커로 이미지를 떠서 가지고 다녀야겠다는 생각을 하게 되었다



자, 내일부터는 이제

대망의 형태소 분석으로 돌입을 해 보려고 한다


하면 할 수록 부족한 게 많이 보이는 공부인 걸 보니

내가 공부를 제대로 하거나,

혹은 내 수준보다 훨씬 높은, 어려운 공부를 하고 있는 거 같다는 생각이 들지만

전자나 후자나 맘에 드는 현상이니 열심히 하는 것 밖엔 안 남았다고 본다


굿나잇!