요즘 메타가 다 된 앱에 AI 뿌리기인데
파이썬 사실 AI 붙이는 방법때문에 공부하게 되는듯
아 진짜 이런글을 쓰니까 태글을 걸게된다.
아니다 악마야. 그냥 vllm같은걸로 호환서버 띄워서 서빙하고 아무 언어나 골라 잦으면 됨 - dc App
ㄴㄴ 전혀 다름
실제로 모델 로딩하고, 그렇게 쓸수 있지만 얕은 통합이고, 세부 제어 할려면 결국 파이썬에 붙여야함
출력 필터링, 커스텀 토크나이저는 어떻게 할건데?
출력 필터링이나 커스텀 토크나이저에 대해서 명확하게 정의해보세요.
파인튜닝이야 ms-swift같은 툴로 조지면 되고. 서빙이야 vllm이든 뭐든 조지면 되고. 타입가드나 이런건 어차피 프롬프트로 조지면 됨.
@troublecoder 자기 서비스에 맞는 패턴이랑 후처리 할려면 결국 파이썬 써야하잖아. 금지어 금칙어 설정이랑 서비스 레이어에 맞게 바꾸는건 엄연하게 말해서 파이썬 붙여야함. 그냥 지피티 붙이면 사실상 지피티일뿐임
@troublecoder 도메인이랑 서비스에 맞게 바꾸는걸 출력 필터링이라고 함
도메인이랑 서비스에 맞게 바꾸는걸 우리식 용어로는 파인튜닝이라고 한단다..
@troublecoder 그게 한계가 있잖아. 그리고 류독이 말하는거 아니고, 그걸 다 파인튜닝이라 안함
거기에는 데이터와 ms-swift같은 툴만 조지면 된단다. 물론 아직 지원안하는 모델이 있으면 아답터는 만들어줘야함. 그때는 파이썬이 필요하지. 나도 그렇게 해오고 있고
파인튜닝에 어떤 한계가 있고 대체 파이썬으로 어케하면 한계를 극복하는거임?
@troublecoder 애초에 파인튜닝은 후처리로 바꾸면 포스트 프로세싱, 모델을 바꿔야 파인튜닝이고 프롬프트 바꾸면 프롬프트 엔지니어링임
@troublecoder 걍 정의가 잘못된거같은데?
@troublecoder '한국' 커뮤니티는 파인튜닝이 그딴식으로 알려짐?
파인튜닝은 엄밀히 말해서 후처리가 아니고 파인튜닝의 한계를 어떻게 파이썬으로 극복할 수 있는지 알려주세요.
@troublecoder 뭔 소리임 대체 ㅋㅋㅋㅋ
도메인 서비스에 맞게 모델을 재조정하는걸 파인튜닝이라고 하지. 커스텀 토크나이저라고 하지 않음. 토크나이저가 뭔지나 알아보고 와라
@troublecoder 파인튜닝은 모델 자체를 바꾸는거고, 니가 말하는건 프롬프트 엔지니어링임 내가 말한건 포스트 프로세싱적 관점이고 오늘 아침에 uv 가르쳐줘서 제대로 알고 있나 했는데 순 맹탕이네
@troublecoder 아니라니까 그걸 씨발 한국에서만 파인튜닝이라하지 애초에 모델 정의가 그럼 뭔 개소리임
@troublecoder 당장 파인튜닝을 누가 그렇게 말하는데?
내가 위에서 언급한건 프롬프트엔지니어링과 파인튜닝을 둘다 말한거고. 대체 너가 뭐라고 한국에서 정의가 잘못되고 운운하는거임? 게임이나 C#은 내가 잘 몰라서 반박이 안되는데 토크나이저 정의나 알아보고 와라
파인튜닝을 다 그렇게 말함. 파운데이션 모델 가져다가 도메인에 맞게 미세조정하는거. 너만 이상한 커스텀 토크나이저(?) 들고 오는거임
@troublecoder ????? 내가 글 하나 씀
@troublecoderhttps://gall.dcinside.com/board/view/?id=programming&no=2854790&page=1
뭔 소리임? 어차피 입력단이나 출력은 모델에서 나오는거고 입력단이나 출력단 조작은 각각 프롬프트와 코드로 조지면 되는거임.
아 진짜 이런글을 쓰니까 태글을 걸게된다.
아니다 악마야. 그냥 vllm같은걸로 호환서버 띄워서 서빙하고 아무 언어나 골라 잦으면 됨 - dc App
ㄴㄴ 전혀 다름
실제로 모델 로딩하고, 그렇게 쓸수 있지만 얕은 통합이고, 세부 제어 할려면 결국 파이썬에 붙여야함
출력 필터링, 커스텀 토크나이저는 어떻게 할건데?
출력 필터링이나 커스텀 토크나이저에 대해서 명확하게 정의해보세요.
파인튜닝이야 ms-swift같은 툴로 조지면 되고. 서빙이야 vllm이든 뭐든 조지면 되고. 타입가드나 이런건 어차피 프롬프트로 조지면 됨.
@troublecoder 자기 서비스에 맞는 패턴이랑 후처리 할려면 결국 파이썬 써야하잖아. 금지어 금칙어 설정이랑 서비스 레이어에 맞게 바꾸는건 엄연하게 말해서 파이썬 붙여야함. 그냥 지피티 붙이면 사실상 지피티일뿐임
@troublecoder 도메인이랑 서비스에 맞게 바꾸는걸 출력 필터링이라고 함
도메인이랑 서비스에 맞게 바꾸는걸 우리식 용어로는 파인튜닝이라고 한단다..
@troublecoder 그게 한계가 있잖아. 그리고 류독이 말하는거 아니고, 그걸 다 파인튜닝이라 안함
거기에는 데이터와 ms-swift같은 툴만 조지면 된단다. 물론 아직 지원안하는 모델이 있으면 아답터는 만들어줘야함. 그때는 파이썬이 필요하지. 나도 그렇게 해오고 있고
파인튜닝에 어떤 한계가 있고 대체 파이썬으로 어케하면 한계를 극복하는거임?
@troublecoder 애초에 파인튜닝은 후처리로 바꾸면 포스트 프로세싱, 모델을 바꿔야 파인튜닝이고 프롬프트 바꾸면 프롬프트 엔지니어링임
@troublecoder 걍 정의가 잘못된거같은데?
@troublecoder '한국' 커뮤니티는 파인튜닝이 그딴식으로 알려짐?
파인튜닝은 엄밀히 말해서 후처리가 아니고 파인튜닝의 한계를 어떻게 파이썬으로 극복할 수 있는지 알려주세요.
@troublecoder 뭔 소리임 대체 ㅋㅋㅋㅋ
도메인 서비스에 맞게 모델을 재조정하는걸 파인튜닝이라고 하지. 커스텀 토크나이저라고 하지 않음. 토크나이저가 뭔지나 알아보고 와라
@troublecoder 파인튜닝은 모델 자체를 바꾸는거고, 니가 말하는건 프롬프트 엔지니어링임 내가 말한건 포스트 프로세싱적 관점이고 오늘 아침에 uv 가르쳐줘서 제대로 알고 있나 했는데 순 맹탕이네
@troublecoder 아니라니까 그걸 씨발 한국에서만 파인튜닝이라하지 애초에 모델 정의가 그럼 뭔 개소리임
@troublecoder 당장 파인튜닝을 누가 그렇게 말하는데?
내가 위에서 언급한건 프롬프트엔지니어링과 파인튜닝을 둘다 말한거고. 대체 너가 뭐라고 한국에서 정의가 잘못되고 운운하는거임? 게임이나 C#은 내가 잘 몰라서 반박이 안되는데 토크나이저 정의나 알아보고 와라
파인튜닝을 다 그렇게 말함. 파운데이션 모델 가져다가 도메인에 맞게 미세조정하는거. 너만 이상한 커스텀 토크나이저(?) 들고 오는거임
@troublecoder ????? 내가 글 하나 씀
@troublecoder
https://gall.dcinside.com/board/view/?id=programming&no=2854790&page=1
뭔 소리임? 어차피 입력단이나 출력은 모델에서 나오는거고 입력단이나 출력단 조작은 각각 프롬프트와 코드로 조지면 되는거임.