1월에 답변자판기 혼자 쓸라고 시행착오 겪으면서 이제 도커를 이용해서 노트북으로 셀프호스팅까지 왔다.


내가 하고 있는 일이 IEC나 KC규격에 따라 제품시험 후 시험성적서를 만드는 건데


규격이 A4용지로 보통 200-500페이지 정도 되니까 하나를 완전히 익히는데 시간도 오래 걸리고


신규분야가 나오면 그거 파악하는데도 오래 걸려서 이대로는 안되겠더라.



AI가 규격을 이해하고 올바르게 답을 주려면 아래의 3가지가 중요했어.


1. 규격 내 단계별 조항 추적과 검증을 위한 프롬프트 (18,000자 정도 나옴)

2. 1번의 충실한 실행을 위한 추론능력을 갖춘 똑똑한 AI

3. PDF의 전체인식 능력을 갖춘 AI


일단 1번은 아이디어만 제공해서 챗GPT(딥리서치), 잼2.0플띵, 마누스를 갖고 완성했고 (제미니 2.5 pro 나오기 전이라)


로컬에서 돌려볼라고 별짓을 다 해봤지만 결국 2번의 똑똑한 AI는 최소 잼2.0플띵은 되어야 하더라.


그 이하의 로컬에서 돌리려는 27b, 32b 모델들은 모두 프롬프트조차 제대로 따라하지 못함.


마지막으로 PDF 전체인식 능력은 로컬에서 rag를 쓰려고 이것저것 다 써봐도 결국 실패. 이것도 그냥 google 이용하는게 낫더라.



그래서 지금은 API (제미니 2.5 pro) + anything llm 을 이용해서 도커에서 돌리는데 대만족이다.


이럴꺼면 공홈 쓰는데 낫지 왜 이렇게 쓰나 싶지만 사내에서 소규모로 써볼려고 하느라 그렇슴.