쓸만한 AI를 자체 개발하려면 최소 년단위에, 몇십조는 투자해야함.
그래서 오픈소스에 파인튜닝을 다양하게 하면서, 쓸만한 수준이 나오기를 기도하는 방법으로 갈 것 같음.
파인튜닝은 굳이 탑티어 AI연구원이 아니더라도 가능할거임.
핵심은 데이터인데, 카카오, 네이버처럼 배타적으로 데이터를 수집할 수 있는 기업이 아마 살아날거임.
쓸만한 AI를 자체 개발하려면 최소 년단위에, 몇십조는 투자해야함.
그래서 오픈소스에 파인튜닝을 다양하게 하면서, 쓸만한 수준이 나오기를 기도하는 방법으로 갈 것 같음.
파인튜닝은 굳이 탑티어 AI연구원이 아니더라도 가능할거임.
핵심은 데이터인데, 카카오, 네이버처럼 배타적으로 데이터를 수집할 수 있는 기업이 아마 살아날거임.
405b까진 국내에서 파인튜닝해서 쓰더라. 기존 모델 튜닝해서 쓰는 정도는 중소기업 선에서도 가능함
클로바 X가 175b 라는데 차라리 라마 3.2 70b를 한국어 파인튜닝해서 쓰는쪽이 훨씬 성능 좋아보임
오픈소스로 핵심기술 다 발전하고 경량화 될 때쯤에 하이재킹으로 뽑아먹자