추론은= CoT로 하는거고
테스트 타임 컴퓨팅은 별도로 추론시간을 추가로 할당해서 답을 검증하는 거임. 리워드 모델로 좋은 답변 나올때까지 n회를 답변 반복해서 뽑을 후도 n회 답을 만든 담에 제일 좋은 답을 선정해서 출력하던지 하는거임
추론용 CoT모델에 테스트 타임 컴퓨팅 적용하니 성능이 확 오른거지..
꾝 추론 모델이 아니여도 테스트 타임 컴퓨팅을 쓸 수 있기 때문에 일반모델들도 성능 팍 튀어오를거임..
테스트 타임 컴퓨팅은 별도로 추론시간을 추가로 할당해서 답을 검증하는 거임. 리워드 모델로 좋은 답변 나올때까지 n회를 답변 반복해서 뽑을 후도 n회 답을 만든 담에 제일 좋은 답을 선정해서 출력하던지 하는거임
추론용 CoT모델에 테스트 타임 컴퓨팅 적용하니 성능이 확 오른거지..
꾝 추론 모델이 아니여도 테스트 타임 컴퓨팅을 쓸 수 있기 때문에 일반모델들도 성능 팍 튀어오를거임..
일반모델에 적용하면 돈아까운거아냐?
뭔가 느낌으로는......추론 모델이 답변 하는 게, 약간 딥러닝 하나 돌리는 느낌? 에포크 늘려서 성능개선을 하는건데, 개선이 덜 되는 순간 멈추듯, 추론 모델도 그 순간에 그냥 답변. 그러면 이게 생각하는 시간인거고. 관련 논문 하나도 안 읽고 망상한거긴한데 만약 이게 맞는거면, 메인 모델 성능이 젤 중요한 듯. 일반 모델들도 에포크 늘리면 성능이 나아지긴 하겠지만, 추론 데이터가 없는 일반 모델은 에포크 늘려도 답변 품질이 드라마틱하게 개선되진 않을지도.