안녕, 

타지에서 코로나 걸려서 열 40도 찍고 개고생 하다가 

후유증으로 후각을 잃어서 우울해있었던 퇴물이가 죽지도 않고 또 왔다.


타국에 있으면서 리모트로 일을 하는데, 

좋은 모니터 + 좋은 의자가 있는 아무래도 제대로된 환경은 아니다보니 일하긴 좀 힘들긴 하다.

좀 더 오래있는다면 레지던스나 호텔에서 일하기 보다는 코워킹 스페이스를 찾는게 좋을듯.


여기 있으면서 평소 배워 보고 싶었던 LLM에 대해서 공부를 해보았음.


공부를 하게 된 계기는 

"OpenAI ChatGPT 플러그인을 만들기 위해서 API 연동을 보았는데 굉장히 신선했고 새로운 페러다임이었다"라는 페북 글을 봤기 때문임. 

잉 뭔데? 뭔데..? 

프롬프트 엔지니어링 뭐 그런게 글 지어내는거 말고 뭐 또 있나? 싶었음.


골빈해커라는 분의 패스트캠퍼스 강의,

니콜라스라는 노마드 코더(유튜버)의 풀스택 GPT 강의,

조코딩 LLM 강의 


이렇게 쉽게 접근할 수 있는 강의 들이 이미 잘 나와있었고 전부 가격대는 십몇 만원정도 함.

강사들이 수십시간의 시간을 들여서 강의 대본 쓰고, 예제를 만들었으니 이정도 비용이면 충분히 내시간을 아껴줄 수 있었음.


근데 어느 강의가 좋나 딱히 고를 필요가 없는게, 그냥 아무거나 하나사서 끝까지 보면 되는 경우가 많다. 

어깨 넘어로 어케하나 한번 슥 ~ 보고. 그 다음 부터는 Docs 를 보면서 해나가면 되는 거거든.

(대부분 공식 Docs에 나와 있는걸 토대로 하는데, 그래도 용어나 사용법은 배경지식이 없으면 좀 해메게 되니까 강의가 좋은 시작 포인트가 된다)


강의는 보통 열 몇시간 정도 분량인데 꽤 지루하긴 하다. 

보통은 인내심과 끈기가 없어서 끝까지 다 보는 사람이 정말 드물고, 예제까지 끝까지 다 해보는 사람은 더더욱 드물다.

그러므로 인내심과 끈기만 있으면 다른 개발자들에 비해 차별성을 가질 수 있는 부분도 있다고 본다.

취업할 때가 되었는데, 포폴도 없고 뭐도 없다면 대부분 위의 끈기 없는 케이스에 속하는 거거든. 

심지어 경력자들도 프레임워크 공식 메뉴얼을 끝까지 다 보는 경우도 드무니까 말이다.


아무쪼록 배워본 느낌은 오 역시나 신선한 느낌이었다.

LLM 이라는 녀석을 프롬프트로 조련해서 우리가 원하는 결과로 유도해내는데 

근데 과정이 특이했다.


질문을 한다면 이 질문과 관련된 문서들을 벡터DB라는 곳에서 찾고,

그걸 배경 정보로 제공해서 문서들을 읽게 만든 후 요약하고 이걸 토대로 답변을 만들어내게 했다. 


근데 막상 이게 개발이랑은 큰 상관이 없어보이는데. 이후에 나오는 LLM 조련과정이 재밌었다.

한 질문에 LLM을 여러번 실행하는 걸 보여주는데, 여러 스탭을 거치면서 나온 중간 답변을 가지고 파싱해서 

내가 제공한 Function에 넣어서 수행한 뒤 다시 배경정보 형태로 제공해주었다.

이때 어떤 Functions을 사용할지 LLM이 지가 판단해서 선택한다!!


이걸 보고 있으니 이런 느낌이 들었다.

기존의 개발은 정형화된 데이터의 입력을 가지고 연산을 해서 출력을 가지고 계산을 한다는 조건에 따른 펑션 콜 느낌이었다면.

LLM을 통한 개발은 비정형화된 데이터의 입력을 받아서, LLM이 판단해서 내가 원하는 정형화된 출력을 만들어주는 점이다.



이것의 활용의 예를 들자면, (강의에서는 이런 내용은 안나옴)

서버를 운용하다보면 장님 문고리 잡듯이 HTTP GET /admin/login.php 이런 류의 백도어를 찾는 호출이 많이 온다.

이런 Request Logs를 보고 백도어 호출인지 아닌지를 구분해내는 로직을 만든다면.

수많은 유사 URL을 모아서, DB에 넣던지 해시테이블에 넣어서 일일이 정규식을 쓰던 뭘 하던지 해서 비교를 해서 판단을 하게 된다.

그치만 조금만 변형이 되서 /admin/login2.php 로 들어온다면 검출이 안된다.


LLM을 활용한 봇을 만든다면

기존에 접근 시도했던 백도어 URL들을 몇 셋트로 만들고, "이런 패턴들을 참고해서 백도어 호출인지 판단해줘" 라고 명령을 내린다음 

URL을 전달하면 유사성을 판단해서 꽤 괜찮은 확률로 검출이 된다는 점이다.


기존의 정규식과 DB를 사용한 방식이 아니라 URL만 보고 유사성을 LLM이 알아서 판단해준다.

(화이트리스트 쓰면 되는데 바보임? 이라고 토달지 말자 그냥 예시다 예시)


비슷하게 각종 스팸,욕설 필터류, 분류등에도 쓸 수가 있겠다 싶었음. 

If나 정규식 없이도 문맥을 판단 할 수가 있기 때문에 

"쳐다 보*말라고" 라는 잘못된 필터적용들로 민망한 상황을 막을 수 있게 되는 것임.


그래서 쭉 배워본 소감은 그냥 LLM을 배웠다기보다는 

그동안 좀 까다로웟던 비정형 문제들에 대한 새로운 문제해결 방법을 배운 느낌이었음.


최종적인 답변을 다시 파싱해서 개발자가 만든 함수에 직접 넣어서 실행해서 Validate 해볼 수 있으니,

할루 뭐시기도 대응 가능하고, LLM과 펑션콜의 콜라보로 인한 반반무많이의 장점을 누릴 수가 있는 것임.


요즘 스팀 게임에 펠월드가 대유행하듯이 LLM 봇을 존나게 만들어서 개같이 착취를 할 수 있겠다 싶은 그런 느낌이 들었다.


PS나 알고리즘 같은거 깊게 파는건 이제 그 시대가 지나고 

펠이든 LLM이든 어떻게 조련을 하느냐. 그 조련술이 2024~2025년 개발 키워드가 될 듯.


퇴물이는 이걸로 또 3~4년 장사 해먹을 수 있을듯. 개꿀.


시간나면 2편 또 써봄.