비추론 5 쓰다보면 이전보다 경량화 많이 한 느낌이 드는데, 거기에 추론만 좀 들어가면(medium 이상) 경량화 티 거의 안 나고 답변도 맘에 듬
전에 베이스 모델 사이즈가 어느 정도는 커야 추론도 효과적이라는 논문을 본 적이 있었는데, 오픈AI가 SOTA 성능에 필요한 베이스 모델의 사이즈를 줄이는데 성공했고 거기다 효율적인 추론까지 가능하게 한거 같음
문제는 공홈에서 쓰면 추론 정도가 복불복임