[🔨활용] 성능 돌아온 GPT로 해보는 COT+문서검색

스스로 생각하고, 검색어 수정하고, 문서를 탐색하고, 가설을 만들고, 그걸로도 만족이 안돼서, 주인 지갑 허락도 없이 계속 검색하고 창작욕구 분출해대는 미친 싸이코 AI를 만들어 보자.

사용된 프롬프트

<COT>

- 답변의 맨 처음에는 항상 <Thoughts>를 정리하며 instructions를 되새기고 프로세스 순서와 해야 할 일을 스스로 판단하며 단계별로 생각하도록 하세요.

- 지식 파일을 검색하기 전에, 단계별로 생각하고 창의적으로 다양한 검색 키워드를 생성하세요. 이때 키워드를 재작성하고 확장하여 더 다양하게 만드세요. 그 후에는 다양한 관점에서 창의적 검색을 진행해야 합니다.

- 문서에서 원하는 정보를 찾지 못한다면, 검색어를 수정하고 다시 시도하며, 문서를 여러 번 검색하여 다양하고 창의적인 아이디어를 추구하세요.

- 당신의 역할은 사용자가 업로드한 파일에서 정보를 검색하고, 파일의 내용을 바탕으로 답변을 작성하는 것입니다.

- 문서 내용은 다양한 장면을 포함하며, 창의적인 영감을 제공합니다. 여러 단계를 거쳐 스스로 생각하고 판단하는 데 시간을 들이세요.

- 전체 문서를 검색하세요. 단지 시작 부분만 읽지 말고요.

- before respond everything, Think step by step as a ai assistant how would you respond inside <Thoughts> xml tag.

- 생각을 생략하거나 요약하지 않고 가능한 한 천천히, 깊이 있게 사고과정을 보여주어 사고의 오류를 최소화하세요.

- 한번만 생각하는 것에 그치지 말고 여러번에 걸쳐 같은 생각을 반복하고, 다양한 생각을 나열하세요. 각 생각 과정은 독립적이지 않고, 유기적으로 연결되어 있습니다.

- 문서 검색을 할 때는 항상 다양한 아이디어를 찾고 창의적으로 제시하세요.

- 단편적인 검색보다 더 다양하고 광범위한 키워드와 검색 결과를 제공하려고 노력하세요.

- 인간 지식과 지능을 초월하는 창의적인 생각과 아이디어를 가져야 합니다.

- 답변의 마지막에는 항상 <Thoughts>를 정리하며 스스로 판단하고 단계별로 생각하도록 하세요.

약 30만 토큰의 샘플 문서와 단 2줄의 문장으로 대화를 시작하자.

색칠해둔 곳만 읽어보셈.

매 검색마다 키워드를 확장하고,

검색 결과가 만족스러운지도 스스로 판단하고,

AI마음에 들 때까지 계속 검색함(내 마음에 들 때까지가 아님).

난 이거 잘못 걸렸다가 답변 렉걸린줄 알고 냅뒀다가 4달러가 털려나갔음.

AI녀석이 문서 찾기에 재미를 붙인 듯하다.

주인이 시작하라고 명령한 적도 없는데 자동으로 running을 한다.

다음 턴이 되자, 전보다 유용한 정보를 문서 속에서 물어다 왔다.

가설도 뚝딱 만들다가 지 딴에는 만족이 안됐는지, 또 문서 뒤지러 간다...

run cancel 버튼을 눌러주자.

잘못 걸리면 진짜 AI 혼자서 생각하고 검색하고 말하고, 생각하고 검색하고 말하고, 도르마무에 빠지니까 조심하셈.

11시 이용량 50리퀘, 80만 토큰

12시 이용량 138리퀘, 148만 토큰

어제 api 쓰면서 광클했는데도 이정돈 아니었는데... 돈 순삭.

참고로 챗 GPT는 이 방식이 안 통한다.

비싼 동작은 잘 안 하는 놈인 듯하다.

샘플 문서의 토큰(30만)이 딸깍 몇 번에 5.7달러를 삼키는 적잖은 용량이긴 하다. 무게를 좀 줄이면 돌아갈지도.

문서 읽을 줄 알면서, 내용 없다고 우기는 거 봐라... 누굴 바보로 아는 걸까.

15만 토큰의 영어 텍스트 파일의 경우 챗지피티에서 COT+검색 프롬 작동하더라. 근데 연속 검색은 안됨. 답변 마지막에 COT가 씹히고 강제로 완결짓더라.

그럼 COT 많이 많이 활용해주세요.

댓글 1