[일반] 근데 결국엔 추론 모델 버리긴 해야될듯

[익명(58.226)]

작동 방식의 한계로 입출력 속도가 너무 느림

글쓰기, 코딩 처럼 진득하게 기다릴 수 있는 분야는 상관 없는데

실시간 에이전트, 음성 비서, 로보틱스 이런 분야는 속도 느린게 너무 치명적임

명령 하나 내리면 몇 초동안 뇌정지 걸려서 생각중.... 할 거 생각 하면 많이 짜침

[익명(foil6511)]

o3 미니가 o1 미니보다 추론속도도 빨라진거 보면 추론속도도 차차 개선되지 않을까

[ㅇㅇ 1(203.247)]

사람이랑 똑같지. 빠른 판단이 필요할때는 베이스 모델 쓰고, 생각이 많이 필요한건 추론 모델 쓰고....

[ㅇㅇ 2(112.172)]

오히려 사람처럼 생각하는거같아서 재밌지않냐 - dc App

[익명(today0734)]

꼭 그렇진 않음. 질문을 들었을때 답변까지 사고깊이수준을 판단해서 가변적으로 정하면되고 토큰 출력속도가 충분히 빠르면 간단한 질문은 추론모델도 실제로 굉장히 빠르게 답할수 있음

[익명(59.14)]

추론속도가 개빨라진다는 생각은 왜못하노

[탈조선(reuse2097)]

개소리임 비서도 어려운거 질문하면 몇시간 텀잡고 미팅하고 그러는거모르노?

[익명(hyeongim264)]

음성모델은 추론 사용 안하잖아

[ㅇㅇ 3(114.204)]

사람도 어려운 질문 받으면 고민 존나하잖아ㅋㅋㅋㅋ 인간이랑 똑같지 뭐 - dc App

[ㅇㅇ 4(183.108)]

GPU 많아지면 되지....작동방식의 한계가 아니라 하드웨어의 제한이지.