[🔨활용] 개발 중간 작업기 공유

[아브소(mail6435)]

오늘은 혈당이 높아져서 센치한 관계로 존댓말을 씁니다.

AI를 이용해 코딩을 하다보면, 이 친구는 맥락을 참 많이 잃습니다.

예를들어 AI는 '태그 기능에 컬러피커를 추가해줘'라는 부탁을 하면 그런 기능을 새로 만듭니다.

다른 파일 뒤져보면 그런 기능이 있는데도 굳이 새로 만듭니다.

왜냐면 특정 기능이 이미 존재한다는 사실을 '굳이 명시적으로 알려주지 않는 이상'은,

AI가 모든 소스코드 베이스에 접근해서 관련 기능의 존재를 체크 하지는 않기 때문입니다.

언젠간 가능하겠지만, 지금은 컨텍스트의 용량 한계와 장기기억의 부재 때문에 어쩔 수 없는 상황이죠.

이를 극복하기 위해 중간 메모리 계층을 비슷하게 구현해주는 서드파티 라이브러리를 쓰거나,

IDE같은 경우는 Rulebook 등을 작성해서 이러한 위험성을 간접적으로 피해갑니다.

...아무튼 이와같이, 기본적으로 AI는 룰루랄라 신나서 작업을 하다보면 혼자서 폭주하는 경우가 많습니다.

그러면 '시킨 것' 자체는 잘 하는데, 전체적인 프로젝트의 관점에서 보면 혼자 삐죽 튀어나가 쓸데없는 짓을 하고 있습니다.

자, 그러면 다시 인간에게 돌아 와 보겠습니다.

인간 개발자의 두뇌에서는 개발을 하다보면 자연스럽게 아래와 같은 생각이 듭니다.

'아 컬러피커 저번에 만들어둔거 또 만들기 ㅈㄴ 귀찮은데 재활용할까?

 아니면 앞으로도 자주 쓸 것 같은데 모듈화 해서 앞으로 그거 불러다 쓸까?'라는 생각이 들겁니다.

사람의 뇌 속에서는 이 순간 아래와 같은 흐름이 이루어지고 있습니다.

위의 작업은 굳이 사람이 할 필요 없고, 저런 작업 또한 AI에게 명시적으로 위임하면 아주 잘 해냅니다.

물론 저런 간단한 기능의 분리는 문제가 별로 없지만... ( 대충 '야 AI 저거 모듈화해라잉~'하면 끝이니까요. )

저런게 좀 복잡하게 얽혀있으면 개발자도 AI에게 어떤 지시를 내려야 할지 잘 모르는 경우도 많아집니다.

위에서는 단순한 기능에 대해서만 단편적으로 이야기 했지만,

전반적인 레거시 기능/스키마들이 온갖 종속성들을 순환참조하고 있거나 하는 경우들이 그 예시가 되겠습니다.

인간은 전체적인 조망은 잘 하지만, 그게 또 너무 복잡해지면 뇌용량의 한계로 직관적 분석이 힘들어집니다.

사람들의 지능과 재능에 따라 다릅니다만, 지금까지는 대개 모든 코드베이스를 인간의 뇌속에 학습한 뒤에

프로젝트에 대한 전체적인 그림을 잘 알고 있는 사람을 일컫어 우리는 CTO혹은 PM이라고 부르곤 했습니다.

사람의 지능에 의존해야 하는 굉장히 원시적인 방법으로 프로젝트의 전체적 관리를 맡겨야 했던 것 입니다.

이 과정은 우리는 그럴싸한 용어로 [프로젝트 온보딩]한다 라고 부르곤 했습니다.

쉽게 말하면 [와 ㅆㅂ이게 뭐지.. 이거 언제 다 읽지?]라는 말로 번역 할 수 있겠습니다.

근데 여러분들, 소설책 한 권 읽는다고 그거 달달 외우지는 못하잖아요?

인간의 두뇌도 마찬가지입니다. 온보딩은 '끝'이 없는, 그냥 끝없이 익숙해 지는 과정 일 뿐입니다.

그 과정에서 실수도 당연히 많이 있고요.

기술적으로 이러한 과정을 돕기 위해 여러가지 장치들이 있습니다.

아주 마이크로 스코프한 영역에서는 저러한 시각화 기능으로 '코드 인텔리전스'라는게 있습니다.

'아 이거 어디서 또 쓰이지?'하면 무의식적으로 눌러대던 F12가(별로 도움도 안되는)

사실은 정말 개쩌는 '진짜 인텔리전스한'기능인데, 이걸 우리가 잘 못쓰고 있기도 합니다.

다양한 IDE ( Visual Studio 같은것들 )에서 보통 이런 기능을 지원하는데요, 진짜 사람의 뇌 속에서 연상되는 그런건 아니고...

컴파일러가 연결되는 기능들을, 컴파일러 레벨에서의 논리자원끼리의 추적을 가능하게 해 주는 기술입니다.

저러한 개념을 '언어 인덱싱 프로토콜'이라고 부르고, 이걸 실시간으로 서버를 통해 하거나 아니면 백그라운드에서 컴파일하듯 진행합니다.

그 중 LSF ( Language Server Protocol )를 기반으로한 LSIF ( Lanaugage Server Index Format )이 현재 가장 대중적으로 쓰이는 형태인데...

많이 알려진 언어 (ex. Typescript, C/C++, Go, Rust 등...)의 경우 Microsoft나 Sourcegraph라는 회사에서 주도적으로 LSIF 인덱서를 유지보수 하고 있습니다.

요새 LSIF 다음의 SCIP라는 것도 있는데, 지금 그런 인덱싱에 대해서 말하려는건 아니고...

아무튼 저러한 LSIF는 [프로그래밍 소스코드 베이스]를 나름대로 컴파일러 레벨까지 내려가서, 논리적 분석 관계를 그래프DB 형태로 덤프해 저장합니다.

보통 우리가 생각하는 Database는 왼쪽 (관계형 DB)인데, 이러한 LSIF는 오른쪽의 형태로 DB를 만들다보니, 소스코드의 관계 추적이 쉬운 셈이죠.

그러나 이런 LSIF만으로는 시각화 추출에 한계가 많습니다. 그래서 Codesee, Sonarsource같은 시각화 전문 기업들이 존재하고 있고요.

하지만 그들은 엔터프라이즈 환경, 혹은 GIT을 위한 특정 작업들에 뾰족한 서비스다보니,

지금과 같이 일반인들이 바이브코딩 하는데 전반적인 연결관계나, 소스코드의 상호작용을 실시간 분석하는데는 많은 무리가 따랐습니다.

그래서 이전에 썼던 글에서도 언급했던 것 처럼...

Graph DB기반으로 태그, 벡터 임베딩을 하고, LSIF가 어쩌고, RAG를 MCP가 어쩌고 했던게 이러한 이유 때문이었죠.

[인간의 설명 = AI가 이해하는 영역]이 동일 하다는 보장이 없으니까요.

기본적으로 '바이브 코딩'이라는건 저러한 '설명을 AI에게 잘 해야'하는 과정인데,

그 부분의 불편 때문에 바이브코딩의 한계론이 자주 언급되는 것이기도 합니다.

기존에 개발자로 뭔가를 만들거나 관리했던 사람들은 '전반적인 구조를 이해하고 언어화'하는게 가능하니까,

보다 AI의 사용을 원활하게 할 수 있는 것이기도 합니다.

근데... 이러한 '언어화 과정'은 개발자에게도 복잡하고 매우 귀찮고, 때로는 실수하는 과정이라는 사실 입니다.

실수 안하면 세상에 버그가 왜 있고, 커뮤니케이션 문제가 왜 있고, 시나리오 테스트가 왜 있겠습니까...?

근데 막상 만들다 보니, IDE 사이즈의 프로젝트를 최대한 목표한 기능에 맞게 경량화 하면서 만든다는게 쉽지는 않더군요.

다른 프로젝트들이 선택했던것과 같이 저도 중간중간 VScode를 포크해서 그 위에 제 기능들을 올려서 만들까 하는 유혹도 많았는데,

수십 수백만줄이 넘는 프로젝트를 선택한다는건 크나큰 기술부채를 떠 앉고 시작하는것과 마찬가지라 계속 이 형태를 밀어붙이고 있습니다.

저는 또 다른 버전의 IDE를 만들고 싶은게 아니니까요...

인간이 꿀빨 수 있는 인간<->인공지능을 위한 소스코드 시각화 번역기를 만들고 싶은거지... IDE는 그냥 VScode랑 Cursor 쓰면 되니까 말이죠.

그래서 일단 기능부터 구현을 하다보니 디자인이 매우 쒯인 상태인데... 나중에 차차 폴리싱 하기로 했습니다.

아무튼, 개발 도중 특히 상태 관리와 동기화 문제에서 가장 큰 문제들이 많았습니다.

소스코드라는 대상은 사용자들이 계속해서 수정하고, 업데이트하고, 리팩토링을 해야 하는데...

그 상태를 계속해서 동기화하면서 안전하게 DB를 업데이트 하고,

중간에 고아노드가 되는 데이터들을 꾸준히 정리하거나 재 지정 가능하게 해야하는 이슈들이 많았죠.

순서는 다음과 같았습니다.

1. MVP 구축을 위한 기술 플랫폼 제작. 물리자원 기반으로 태그 작성 및 자동화 기능. ( 6월 중순 ~ 6월 말 )

2. 그래프DB의 스키마 고도화. 관계형 DB에서 그래프 DB로 변환. ( 7월 초 )

3. LSIF탑재를 위한 관련 기능 정비. 그래프DB의 모듈화 작업. ( 7월 둘째 주)

그리고 지금 아래가 현재 진행중인 상황입니다. ( LSIF -> 벡터임베딩 )

지금은 LSIF로 모든 소스코드 베이스를 전부 태그화 후 연결관계를 만드는 작업을 하고 있지요.

이미 커스텀 파서 플러그인은 구현이 끝나서, 이제는 아주 정교한 프로그래머들을 위한 LSIF 기능을 구축중이라고 볼 수 있겠습니다.

* 아래 사진은 커스텀 파서(Tree sitter 베이스) 를 이용해 논리태그를 만들었습니다.

커스텀 파서는 커다란 기능(함수)부터, 아주 작은 기능(변수) 까지 커스텀해서 원하는 영역만큼 논리화가 가능합니다.

대신 일일히 지정해야 해서 매우 귀찮고, 디테일한 작업이 필요하지만....

저처럼 일반적인 언어가 아닌 인터프리터 레벨의 스크립트나 게임 제작자와 같이 빠른 시나리오 테스트가 필요한 영역,

혹은 프로그래밍 언어가 아닌, 소설가와 같이 자체적인 세계관 구축에서도 특정 구조/언어를 빠르게 파싱할 수 있다는 장점이 있습니다.

4. LSIF 탑재 및 벡터임베딩DB + api 연동 작업. (진행 중)

5. Langgraph가 탑재 된 시각화 그래프 기능(MVP) 구축 및 RAG, MCP 연결. (예정)

그리고 4번까지의 작업이 끝나면...!! 드디어 제가 만들고 싶었던 아래 기능을 올릴수가 있게 됩니다.

그럼 대체 일반적인 시각화 툴과 뭐가 다르냐고 물어볼 수 있겠죠.

아마 5번까지 만들게 되면,

사람이든 AI든 자신의 코드베이스에 접근하여 시각 탐색을 유기적으로 할 수 있는 상태가 될 것이라고 기대하고 있습니다.

사람의 입장에서는 -> 특정 기능끼리 선 하나 찍 긋고 '관계 있음'하고 연결 해두면,

AI의 입장에서도 -> 관계 있는 엣지들을 찾아보고 필요한 참조를 자의적으로 할 수 있게 됩니다.

명시적 Rulebook 작성이나 프롬프트 작성의 필요성이 매우 내려가게 되고,

작업 도중의 중복작업이나 전체적 통일성을 깨는 짓을 할 가능성이 매우 낮아지는 셈이죠.

따라서... 기존의 툴은 [코드 베이스 시각화]를 위한 프로그램 이지만,

제가 만드는건 [인간/인공지능의 탐색 및 편집이 가능한 시각화 상태]를 만들겠다 라는 차이점이 있겠습니다.

그게 코드가 되었건, 텍스트가 되었건 말이죠.

제가 프로그래밍을 좋아하다 보니, 프로그래밍을 염두에 두고 만들고 있지만... 

커스텀 파서 + 벡터임베딩의 개념으로 인해 소설가 혹은 역사가, 법률 등의 분야에도 모두 적용이 가능하다는 장점이 있겠습니다.

사실 마음 같아서는 저번주 쯤 5번을 진행하고 있어야 했는데...

생각보다 2-3번 작업에 엄청나게 오랜 시간이 소요되었습니다.

DB 스키마 재설계만 50번이 넘게하고, 수 많은 모의테스트와 테스트 시나리오를 돌리느라 많은 시간이 소모되었습니다.

스케일업을 고려하고, 현재 채택한 SQLite의 전환 가능성까지 모두 생각해야 하는데 지금 작업 가능한 범위에서 타협을 해야하니까 머리통이 뜨거워지더군요.

혼자서 작업하다 보니, 작업에 대해 의견 나누고 즐거워 할 사람이 없을 때 고독해지는데

특갤럼들과 함께 소식 나누고 싶어 글 올렸습니다.

한줄요약 : 흰쌀밥 먹으면 혈당 올라서 일 못함

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[아브소(mail6435)]

넹 감사합니다. api 비용을 어떻게할까 고민중이긴 한데, 기본적으로 멀티플랫폼 배포를 염두에 두고 잇습니다.

[익명(compact5711)]

[ㅇㅇ 1(121.174)]

Ai의 약점도 일반인보단 100배 낫긴 한데 특정 패턴에서 발췌독이 전체 프로젝트의 방향을 삼천리로 보내는 느낌이 있습니다. 안타깝지만 그래도 사람 이기자고 나온 AI인지라 학부 커리큘럼 열심히 탄 사람들은 99퍼는 대체당할 것 같긴 하더라고요.

[ㅇㅇ 1(121.174)]

조선말 유학생도 공자왈 맹자왈 하다 경쟁력을 잃은 것 처럼 한국도 이제 새로운 매커니즘을 받아드릴 때가 오지 않았나 합니다.

[아브소(mail6435)]

@ㅇㅇ1(121.174) 엉덩이가 무거우면 장점도 있지만 지금같은 사회에선 단점도 크죠...

[익명(afford5706)]

이거 며칠전 글 후속작이내. 태깅과 인간+ai의 시각적 탐색. - dc App

[아브소(mail6435)]

네 맞습니다. 한줄요약하면 AI agent만드는거고, 좀 더 자세히 설명하면 이런 글이 되겠습니다

[익명(unlocked11)]

크으 엄청난프로젝트입니다. 당장 깃허브 링크를 공유하십시오

[아브소(mail6435)]

감사합니다. 깃헙은 창피해서... 그리고 작업중이므로 아직은 공유하기가 쪼오금 그렇습니다. ㅋㅋ

[천사다천사(jjtheman999)]

[익명(lick5137)]

응원합니다 특붕쿤

[아브소(mail6435)]

감사합니다.

[익명(account9429)]

완전히 이해했어!

[아브소(mail6435)]

You got this !?

[ㅇㅇ 2(59.29)]

이열.........

[아브소(mail6435)]

다음에는 3열 4열로 돌아오겠습니다.

[ㅇㅇ 3(211.114)]

당뇨조심하세요~

[아브소(mail6435)]

이미 와버린 것 같기도 하고요... 어릴 때 컨디션이 아니네요.

[ㅇㅇ 4(220.70)]

ㅋㅋㅋㅋ 이런 생체지능 잡곡밥 주면서 갈구면 세상이 돌아가는데 인공지능 개발 대체 외핢? ㅋㅋㅋㅋㅋ

[ㅇㅇ 4(220.70)]

[ㅇㅇ 5(112.148)]

아아 이 세상에서 흰쌀밥과 밀빵을 없애면 발전이 10배 빨라지는 것인가

[아브소(mail6435)]

이젠 고기와 샐러드로 버텨야 합니다. 밥이 먹고 싶은데...

[castorp(tanteconan)]

이거 컴퓨터공학 뿐만 아니라, 경제학에서도 상당히 잘 쓰일 것 같은데요. 엄청난 작업을 하고 계십니다… ㄷㄷ

[아브소(mail6435)]

경제학은 잘 몰라서... 파일과 컨텍스트가 있다면 어디에든 쓰일 수는 있습니다. 다만 커스텀 파서 쿼리 짜는게 좀 귀찮아서, 첫 도입이 귀찮을 수는 있겠지만... 저도 유즈케이스가 궁금하니 나중에 필요한 분들은 그런것들은 직접 만들어 드릴 수 있을 것 같습니다.

[익명(liberal1385)]

멋지십니다

[아브소(mail6435)]

감사합니다.

[라ㅜ(210.96)]

현직이신가 대단하네요

[fewweekslater(slim4567)]

벡터임베딩 gemini api

[레알팜(lottohelp)]