형은 니가 왜 화가 났는지 모르겠고 계속 공식 문서 타령하는데 형이 아무래도 너보다 transformers 공식 문서를 읽어도 몇배는 더 읽었고 몇배는 더 썼을 것 같다.
계속 말장난이라고 하는데 정작 니가 가지고 들이민 문서나 링크를 봐도 형은 이해가 안돼. 그냥 vllm의 출력값에 logprob가지고 충분히 조질수도 있고 내용을 봐도 내가 한 말이랑 뭐가 다른건지 모르겠다.
형이 처음부터 주장한 걸 정리하자면 파인튜닝이나 서빙은 이미 툴킷으로 많이 나와있기 때문에 굳이 파이썬을 알아서 쓸 필요없이 그냥 돌리면 되는거로 전처리든 후처리든 이런건 어차피 다른 어떤 언어를 써도 무관하다는거야. 왜냐하면 llm의 입력(vlm은 일단 제외하자)은 어차피 텍스트이고 출력도 텍스트야. (그안에 있는 logprob이나 이런건 있을 수 있음에도) 그렇다는 얘기는 텍스트 입/출력이 가능한 모든 언어는 llm을 다루는데 문제가 없다는 거임. (서빙에 문제가 없다면)
그리고 아래 글에도 달았지만 지나가면 물어봐라. 당신이 아는 RAG가 기술인지 아니면 transformers에서 구현한 모델의 하나인 RAG인지. 니가 준 공식이라는 문서 자체는 그냥 모델 사용법인데 거기에 대고 내가 뭐라고 해야할지 모르겠다. 정 안되면 해당 모델 서빙하면 돼. (물론 서빙하는 코드를 파이썬으로 짜야할 수는 있음. 이 경우는 아직 transformers.js에서 해당 모델을 지원 안해서 그럴 수 있음)
근데 모든 llm에 꼭 transformers의 RAG모델을 쓸 필요는 없겠지? 나도 첨 들어봄. 그리고 결국에 그 모델이 하는 역할을 내가 다른 코드로 짜서 할 수도 있는거임.
형이 영상처리, 컴퓨터 비전부터 시작해서 지금까지 17년을 이 바닥에서 굴렀는데 아무리 대충 알아도 너보다는 낫지 않을까? C#이나 게임쪽이야 내가 잘 모르는 분야라 할말은 없다만. 욕박고 맹탕이니 뭐니하는 말을 들으니 참 기분이 안 좋넹
어째튼 형은 너랑 얘기하면서 chatgpt나 hf 홈페이지에서 너를 공격할 뭔가를 찾거나 한건 하나도 없음을 밝힌다.
니가 말하는 꼭 파이썬으로 해야하는게 정확하게 어떤 작업인지 알려주면 (너는 알려준거라고 하는데 난 뭔지 모르겠어. 걍 뜬 구름 잡는 얘기인건지 내가 무식한건지. 예시를 들어서 설명해줬으면 좋겠다.)
니말이 맞다고 하거나 다른 언어로 할 수 있는 대안을 알려주도록 하겠음
그냥ㅆㅇㅆ
가 잘못했다가 맞음
아니 자기가 먼저 공격해놓고, 류독이 지랄해서 개빡쳐가지고 지랄했는데 거기에 대고 시비걸면 누가 기분 좋아하냐. 일단 말투 좋게 말했으니 나도 사과할 부분은 하고 우선 말해봄
내가 뭔 공격을 함? 아니다 악마야? 이게 공격이야? 디씨 특유의 농담 아니었냐?
ㅇㅋ 그럼 내가 류독 저새끼때문에 너무 날카롭게 말한거 같아서 그거 사과하겠음
1. RAG는 기본적으로 retriever + generator 파이프라인 기술임. 2. 너가 나보다 경력 길다는거 동의하는데, 애초에 자꾸 말 비튼건 너임 3. logprob는 출력 측정 도구이지, 오답 감지해서 자동으로 재프롬프트 하거나 정답 추론하는게 아님. 이거는 지금 파이썬 환경에서만 됨 가령 Json 깨지면 jsonrepair 하거나 금칙어도 그렇고 응답 구조 검증도 랭체인에는 없음. 결국 이 부분에 대해서 파이썬만 가능하다고 한거고.
가령 판타지 게임 TRPG 나는 만들어보려고 공부했는데, LLM에서 기대하는 답변들이 있음. 가령 데미지 제어 파트나 이런거 JSON 파싱하거나 이런거 정합성 검사하는거 지금 파이썬에 더 강하고, 키 정합성 검사도 파이썬에만 있음 값형식 보정에서 랭체인은 불가능함 결국 상태추적이 랭체인은 불가능하기때문임
니말이 더 이상한데? 파이썬 코드를 가져와봐.
@troublecoder pydantic, TypedDict 검색해보셈
에휴..너 임마 pydantic 가져올꺼면 삼촌이 만든 typia보고 와라.
@troublecoder ??이게 바로 전형적인 말비틀기지. 애초에 핵심 논점은 랭체인이 안되는거, 이야기잖음 그리고 tpyia 나도 아는데, 그거 타입 보장이라 동적 보정은 안됨. 약간 다른 이야기중인듯
@troublecoder 걍 시간 아까움. 계속 말싸움 이길라고 이딴식으로 말 비트는거 나는 상대 안할란다
말비틀기는 너임. 명확하게 예시를 제시해주거나 이러면 되는데 내가 반박하면 거기에 대해서 또 다른 개념을 끌고오는거잖아.
@troublecoder 뭘 반박을 함? 그냥 우리가 한 대화 아무 챗봇에 복붙하거나 다른 사람이 봤을때 말 비틀기는 너가 한거라 할듯 걍 나는 더 신경 안쓸란다. 백날 말해도 안통하는데
걍 코드를 까봐. 왜 파이썬이어야하는지.
@troublecoder 바닥부터 다 구현하면 그냥 AI도 C로 구현 할 수 있음 ㅇㅇ 이미 있는 라이브러리 유명한 라이브러리 예시로 드는데 왜 자꾸 그런 말 하는거임? 걍 자꾸 가능성이랑 생산성이 다르고, 애초에 내 말은 생산성 관점인데, 니 논리대로라면 그냥 C로 LLM 할 수 있다 이건데 뭐가 다름? 가능한거랑 실제 쓰는 생태계가 있다는 이 차이를 모르겠음? 자꾸 키배 이길라고 말 비틀기좀 그만해
아니 나는 니가 말하는게 꼭 굳이 파이썬이어야하고 랭체인은 안된다고 하는게 이해가 안되서 그래. 지금 니가 말한거 다 랭체인에서 지원하고 있는거임. 랭체인도 js를 지원하고 있고. 굳이 또 그걸 응용단인데 파이썬일 필요도 없고. 난 니가 정확하게 뭘 말하고자 하는지 모르겠다. 그래 그만 끝내자. 나는 니가 C#이나 겜글 쓸때보고 그냥 디씨식 농담으로 악마야 댓글 단거고 어째튼 나도 니가 말한게 궁금해서 계속 물어보는거임. 난 모르겠거든. 근데 말비틀기니 뭔 이렇게 하니까 걍 감정소모용이라 궁금하고 자시고 하는 것도 걍 그만할란다. 수고해라
@troublecoder 류독 저새끼가 시비걸고 있을땐 나도 예민하니까 타이밍 봐가면서 말해주셈. 니가 뭐라 하건 어지간하면 존중해주겠는데 류독 저새끼 글쓰는거보셈 저런 상황인데 내가 곱게 나오겠음? 말 좆같게 한건 어느정도 사과하겠는데, 나도 내 논리가 틀렸다 생각 안함. 너 말도 일리가 있지만 내 논리가 더 정교하다고 나는 생각함
아 난 류독이 뭔 상관이고 했는데 찾아보니 알 것 같다. 예민할만하다. 고생이많다. 뭐 딴건 얘기 안하련다. - dc App
일단 니가 생각하는 파이썬으로만 해야하는 과정을 정확하게 얘기해줘봐라. 솔직히 나도 궁금해서 그런다. LLM파인튜닝부터 서빙 기타 모든 부분에 나름 공부도 많이 했고 (모델 개발은 못함) 많이 쓰기도 해봤는데 꼭 그게 언어에 특화된 뭔가라고 생각해본적없어. DSPy도 까보면 알겠지만 굳이 파이썬 아니어도 구현 가능해
그럼 모든 언어로 스프링 구현할 수 있는데 왜 스프링은 자바만 함?
그래서 node에서는 nest라고 스프링이랑 판박이인걸 만들었어요.
@ㅆㅇㅆ(124.216) 애초에 근데 AI 붙일려면 결국 파이썬 쓸 줄 알아야하잖아에 대한 반박이었고. 난 굳이 아니라고 한거임. 그 얘기와 너의 답변은 그저 확대해석일뿐임
어케든 말싸움 이길려고 점유율타령은 참..
형이 얘기했지. 1. RAG는 기본적으로 langchain에서도 해줄 수 있음. 대체 langchain에서 왜 RAG를 못해준다고 생각하는지 모르겠다. 2. 내가 말 비튼 예시를 들어봐라. 니가 확대해석했다고 생각하지 않냐? 예시를 가져와라. 3. 니가 그때 든 예시를 보고 얘기한거임. logprob값으로 이걸 이용해서 후처리에 활용할 수 있다는 걸 얘기한거임. 재프롬프트나 정답추론이 파이썬에서만 된다고 하는데 어떤 걸 얘기하는지 코드로 가져와라. json깨지는건 어차피 알고리즘이라 어떤 언어도 상관없어
1. 엄연히 너는 파인튜닝 예시로 말 비틀고 시작함 2. logprob는 후처리가 아님. 후처리를 해야할지 말아야할지 따지자면 조건문 같은거임. 따로서 후처리 로직이 아님. 3. 파이썬에는 Json 깨지는거 보정하는 기술이 있음 ㅇㅇ 결국 현실적인 생태계에서 파이썬만 하는건데 모든 언어에서 다 구현할 수 있지. 근데 그럼 성능 구린 파이썬을 왜 쓰겠음?
진짜 확대해석 쩐다. 1번이 왜 말 비튼건지 솔직히 난 이해가 안되는데 포인트 아는 양반은 알려주십셔! 2. 내가 니가 준 후처리 링크를 보고 저정도는 logprob가져다가 쓰면서 만들수 있다로 logprob을 예로 든건지 logprob자체가 후처리라고 하진 않았다. 3. json깨지는거 보정하는 예시를 가져와봐. 그거 보고 내가 라이브러리 추천해줌. 다른 언어용
난 AI하는데 파이썬을 알아야 하냐?에 대한 답변은 응용레벨에서 아니오임. 그러나 연구자 관점에서는 must야. 그게 내가 파이썬을 하고 있는 이유임. 근데 니가 연구자도 아니고 응용인걸로 알고 있는데 얘기하니까 굳이? 라는 생각이 들었던거임
뜬금없이 cnn 얘기해서 미안한데 요즘 dlib 은 안씀?
dlib 그립다. ㅋㅋㅋ 존나 썼는데 일단 레이어 구현된게 좀 부족하기도하고 c++로 할거면 차라리 libtorch 바르는게 낫기도 하고 onnx runtime 나오고부터는 어차피 추론만 하니까 걍 pt나 tf로 학습해서 변환해서 쓰기때문에 쓸 이유가 거의 없어짐 - dc App