https://arca.live/b/alpaca/104690999?p=1일단 파운데이션 모델은 미국 빅테크와 그 외의 격차가 매우 큰 상태인건 명백한거 같은데특정 태스크에 대해서 파인튜닝 해도 파운데이션보다 성능이 오히려 구려짐? 제대로 파인튜닝해서 잘 쓰고 있는 사례 있나?RAG를 위한 Sentence embedding은 국내 모델이 있음?자연어쪽 현업자들 있으면 고견좀 ㅠㅠ
파인튜닝해도 구리면 그게 파인튜닝이냐?
링크 댓글이나, 우리 CTO, 몇몇 후기만 봐도 파인튜닝하면 오히려 멍청해진다고 많이들 말하더라구. 그만큼 파운데이션 모델이 잘 학습된거겠자
데이터질문제일듯