https://kenkantzer.com/lessons-after-a-half-billion-gpt-tokens/

Lessons after a half-billion GPT tokens - Ken Kantzer's BlogMy startup Truss (gettruss.io) released a few LLM-heavy features in the last six months, and the narrative around LLMs that I read on Hacker News is now starting to diverge from my reality, so I thought I’d share some of the more “surprising” lessons after churning through just north of 500 million tokens, by my […]kenkantzer.com


GPT 사용에서 간결한 프롬프트가 더 나은 결과를 제공함
GPT는 이미 상식으로 알고 있는 내용을 프롬프트에 과도하게 명시하면 오히려 혼란스러워함
예를 들어, 텍스트에서 언급된 주(state)를 분류하는 작업에서 50개 주 목록을 제공하는 것보다 단순히 주 이름을 요청하는 것이 더 정확한 결과를 냄

OpenAI의 chat API만으로도 충분히 다양하고 강력한 기능 구현이 가능함
Langchain 등 추가적인 도구 없이 chat API만 사용하여 JSON 추출 등 필요한 기능을 간단히 구현
GPT 모델 업그레이드 시에도 코드베이스의 문자열 하나만 수정하면 됨
OpenAI API의 에러 처리와 입력 길이 제한 등을 위한 간단한 로직만 추가하면 됨

GPT가 아무것도 찾지 못하는 경우를 처리하는 것이 어려움
"아무것도 찾지 못하면 빈 값을 리턴하라"는 프롬프트에서 GPT는 종종 헛것을 만들어내거나 자신감이 부족해짐
입력이 비어있을 때 GPT에 프롬프트를 보내지 않도록 하는 것이 해결책

GPT는 제한된 길이의 출력만 생성할 수 있음
GPT-4의 입력 제한은 128k 토큰이지만 출력 제한은 4k 토큰에 불과함
JSON 객체 목록을 요청할 때 GPT는 10개 이상의 아이템을 안정적으로 생성하기 어려움

벡터 데이터베이스와 RAG/임베딩은 일반적인 용도에는 큰 도움이 되지 않음
검색 이외의 용도로는 RAG가 잘 동작하지 않음
관련성 판단의 어려움, 데이터 격리 문제, 사용자 만족도 저하 등의 이유로 실용성이 떨어짐
일반적인 검색에는 GPT를 사용한 패싯 검색이나 복잡한 쿼리 생성이 더 적합함

GPT는 사실상 환각(hallucination)을 만들어내지 않음
주어진 텍스트에서 정보를 추출하는 작업에서 GPT는 매우 신뢰할만한 결과를 제공함
다만 텍스트에 정보가 없는 경우에는 헛것을 만들어낼 수 있음
따라서 충분한 컨텍스트를 제공하고 GPT의 응답을 잘 다루는 것이 중요함

GN⁺의 의견
트랜스포머 모델과 웹 데이터, 대규모 인프라만으로는 AGI에 도달하기 어려울 것으로 보임
GPT-4는 분명 유용하지만, 그 이상의 발전을 위해서는 모델 아키텍처 자체의 혁신이 필요할 듯함
OpenAI 이외의 대안들은 아직 GPT에 미치지 못하는 것 같고, 결국 GPT의 버전업에 주목해야 할 것
GPT-5의 성능은 GPT-4 대비 혁신적인 수준은 아닐 것으로 예상됨. 비용 대비 효용이 한계에 다다른 듯함
따라서 당분간은 GPT-4를 활용하여 최적의 프롬프트 설계와 응용에 집중하는 것이 현실적인 선택으로 보임