[일반] 솔직히 지금 가성비챙기기에는 너무 이른거같음

[떼껄룩해적단(piracykitten)]

솔직히 지금 딥시크 ㅈㄴ 잘쓰기는 한데

일단 원자력 발전소를 통으로 쓰더라도

재귀개선 가능한 수준에 도달 하는게 우선이라고봄

o3 가성비 구리다고 굳이 깔필요는 없음

[익명(jazz8881)]

지금 중요한 사람들이 한둘이 아니라서

[익명(jazz8881)]

재귀개선만 오면 과도기 ㄹㅇ 바로 뒤질텐데

[익명(112.172)]

사실 본문과 같은 이유로 특갤에서는 경량화 모델이 별로 주목받지 못했지

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[떼껄룩해적단(piracykitten)]

Scale is all you need 알지 나 특갤 오래했어 그럼에도 불구하고 절대성능으로 도달하는게 더 중요해

[익명(112.172)]

ㄴ이론적으로는 분리해서 생각할 수 없다지만 실질적으로는 분리해서 생각하는게 맞음 경량화 모델들이 성능이 어느하나 나사빠진 경우가 많은데다 작은 모델이 높은 성능을 내게 만드는 것과 새로운 기능을 언락하는 sota 모델 개발 사이에 갭이 되게 큼 경량화가 증류로 구현되는 거다보니 이걸 쌓아서 더 큰 모델 만들기 이런 개념이 아니기 때문에