1년전 25년 1월 기준 30B 프론티어 모델
Qwen2.5-32B
Mistral Small 22B
Llama 3.1-8B
이수준임. 이거 써보고 gpt-oss 20B 써보면
1년~2년뒤에 스몰모델도 충분히 더 실사용 가능할만큼 발전할수 있다고 봄
gpt-oss보다 5개월뒤에 나온 glm-4.7 flash 코딩 시켜보면 소넷 4.0까진 아니여도 꽤 따라옴
그 1년동안 외부 oauth 쓰다 정지당하고 그러느니 그냥 병신 로컬이나 돌리다가 나중에 좀 발전하면 쓰면됨
그럼 그때사지 왜사냐고? 그냥 넌 맥미니 사고싶짆아 그냥 사고싶으니 사고 즐겨
근데 그때면 기업 api는 더 발전해서 지금이랑 비슷할수도 있잖아 솔까 내생각에 어느정도 올라온다고 만족하는게 아니라 옆에 더 쩌는거 있음 그때부터 불만족을 느끼는거라
그럼에도 무제한이라는건 많은 사람들의 니즈에 부합한다고 봄 물론 맛있는 삼겹살도 좋지만 누구는 고기뷔페만 가기도 하는걸
@글쓴 ㅇㅇ(59.6) 내가 4090으로 로컬 좀 돌려봤는데 발열 보면 이건 그냥 api돌리는게 낫겠드라 싶드라고 ㅇㅇ 전기세랑 글카 수명 깎아먹는거랑 생각하니까 로컬 맘대로 못돌리겠어
그래서 맥미니 사는거임 실리콘 되고나서 전성비가 좃되고 적당한 속도, 조용함 뭐 그런거때문에 쓰지 나도 집에 3090 로컬테스트 할때 쓰는데 몇시간 돌리면 시발 이렇게 돌리면 gpu 조지는거 아닌가 생각 들기도 함
@글쓴 ㅇㅇ(59.6) ㅇㅇㅇ 무서버;;