진파야 너도 나처럼 RAG 개발에 착수해라

[ㅆㅇㅆ(124.216)]

니 어차피 돈 존나 많잖아

나는 개발하면서 사실상 오케스트레이터로 다중 에이전트 개발하면서 사실상 내 밑에 하위 AI가 5마리 정도 붙여놨는데

RAG가 없으니까 컨텍스트 유지를 못하더라

이거 유지할려면 RAG로 컨텍스트 요약하는 RAG가 필요하다 생각해서 나 RAG 만드는중

근데 감이 안잡히는데 니가 만들고 좀 공유좀 해봐

[뉴진파(newjeanpa)]

나도 오케스트레이터에 ai 10마리째 붙이는중.. 나는 rag로 안하고 jsonld로 데이터 일관성 보장해주면서 했는데 rag까지 써야되면 소설 한편 쓸때 너무많은 비용이 들거같은 느낌이..

[ㅆㅇㅆ(124.216)]

10마리나 쓰면 비용 감당되나? 나는 무료로 API 써서 하는데 어떤거 쓰길래 대단하구만

[뉴진파(newjeanpa)]

걍 task 단위를 쪼개서 하는거라 비용은 크게 차이 없는듯

[ㅆㅇㅆ(124.216)]

@뉴진파 흠 보통 병렬로 돌리니까 한번 입력할때마다 존나 나오지 않나? 너는 다르게 쓰나보네

[뉴진파(newjeanpa)]

@ㅆㅇㅆ(124.216) 코드쓰는거랑 소설 쓰는게 좀 다름. 소설은 전체 내용 기억할 필요 없음. 뭐 이미 뒤진캐릭터 정보 알 필요 없자나. 그래서 최신 상태 유지하는 ai가 전체 데이터에서 일부만 발췌함

[ㅆㅇㅆ(124.216)]

@뉴진파 보통 task 단위면 각 모델별로 컨텍스트 따로? 어차피 task 1 task2 하나씩 하는거니까. 그거 보통 동시에 실행하는데 그럼 순차 실행함?

[ㅆㅇㅆ(124.216)]

@뉴진파 흠 하긴

[뉴진파(newjeanpa)]

@뉴진파 task는 작업순서 정해져있음. 새로운 인물 등장한다 치면 인물먼저 생성하고 상태업데이트 한 다음 다음작업 함. 스토리 생성도 마찬가지. 병렬로 처리하면 스토리가 한 방향으로 안흘러감.

[ㅆㅇㅆ(124.216)]

@뉴진파 소설은 사실상 일관성 유지가 안되서 빡셀텐데, 코드도 개씨발이라서 결국 기능단위 구현시킨후에 검수해서 일관성 맞추는데

[뉴진파(newjeanpa)]

@ㅆㅇㅆ(124.216) 일관성 유지까지는 jsonld로 어느정도 커버하는데 네러티브 만들때 갑자기 퀄이 ㅈㄴ 떡락함. 오히려 걍 ai 하나한테 소설써봐 하는것보다 ㅎㅌㅊ 소설나옴. ai 피드백으로는 제한 사항이 너무 많아서 잘 못쓰는 거라고 하던데

[ㅆㅇㅆ(124.216)]

@뉴진파 흠, 그것까진 모르겠네. 너도 랭그래프로 하고 있는거지?

[뉴진파(newjeanpa)]

@ㅆㅇㅆ(124.216) 랭체인 함 ㅇㅇ

[ㅆㅇㅆ찡(srtdog64)]

@뉴진파 아 그럼 컨텍스트 유지 힘들다 랭그래프 써야지

[ㅆㅇㅆ찡(srtdog64)]

@뉴진파 둘다 써봤는데 랭그래프가 압도적잉