PDF, 웹사이트 긁어놓은 글, 워드 문서로 쌓인 거 일일이 보면서 지식 습득하는게 물리적으로 한계라 지식 관리형 파이프라인 짬.
핵심은 PaddleOCR+GPU(CUDA)로 원문을 먼저 md/json으로 고정 추출.
그 다음 AI 후처리로 옵시디언에서 바로 탐색 가능하게 만들고, 문서 내용을 전부 취합해서 계층화 시킴
구현 계획서는 오푸스를 메인으로 작성하고, 제미나이, 코덱스랑 갑론을박 시켜서 완성도 높임
스크립트 작성이랑 리팩토링은 코덱스 시킴
최종 검수 의견은 오푸스가 내고, 수정 보완은 코덱스가 함
느낀 점:
1.OCR만 잘된다고 끝이 아님.
파싱 -> 구조화 -> 링크 정합 -> QA 자동검수까지 묶어야 실제로 쓸 수 있음.
2.한글 OCR 기능 되는 오픈소스류 중에서는 여러개 사용해보니깐PaddleOCR 품질이 압도적임. 제미나이도 밀림
3. 구현하고나서 수백건 문서를 내 뇌에 집어 넣을 필요가 없게 됨. 뇌를 대리로 맡겨 놓은 기분이 듦
나도 해봤는데 [QWEN 3.5 9B / 질문쌍 1,500개] . 그런데 그냥 그 파싱된 걸 FULLTEXT 로 넣는게 그나마 환각이 없고 제일 괜찮더라고... 근데 그러니까 왜 굳이 LORA 나 파인튜닝을 해야 할 지도 모르겠고... RAG 로 어떤 문서에서 참조하는 지 그 정보 가져온 이후, 해당 문서를 FULLTEXT 로 넣고 질문하는 것이 내 생각엔 그게 더 좋은 것 같아서 난 안쓰게 되더라
paddle ㄹㅇ 존나 가볍고 빠르고 성능좋음
그렇게 해서 어떻게 활용할 계획임? 나도 너랑 비슷하게 하는게 목표긴한데 그 다음에 어떻게 활용할지 감이 안옴 바로바로 찾아볼 수 있는 백과사전 같은 느낌인가
내 직무가 조직개발 관련 일이기도 해서 실무적인 것들 외에도 조직론, 인류학, 경영 일반 등과 같은 이론적인 아티클도 많이 보면서 서서히 지식을 축적해야하는 특성이 있어. 그동안 기록해왔던 것들 + HR관련한 논문, 기사, 칼럼 들을 싹다 백과사전화 시켰어. 초심자가 보기 쉽게 듀토리얼도 만들었고.