프롬프트 짜서 넣는게 되려 성능이 떡락하는 느낌임
뭔가 얘의 성능에 제약사항을 걸어서 말을 오히려 안 듣는 것 같다 해야하나?
최소한 'PDF에서 수학공식은 LATEX로 하고 번역해달라'는 일을 시킬때는 프롬프트 없는게 가장 결과물이나 내용도 안 빼먹고 잘 뽑히는 느낌
잼민이 플래시 띵킹 쓸때는 프롬프트 안 박는게 차라리 좀 더 나은 것 같기도 함
프롬프트 짜서 넣는게 되려 성능이 떡락하는 느낌임
뭔가 얘의 성능에 제약사항을 걸어서 말을 오히려 안 듣는 것 같다 해야하나?
최소한 'PDF에서 수학공식은 LATEX로 하고 번역해달라'는 일을 시킬때는 프롬프트 없는게 가장 결과물이나 내용도 안 빼먹고 잘 뽑히는 느낌
잼민이 플래시 띵킹 쓸때는 프롬프트 안 박는게 차라리 좀 더 나은 것 같기도 함
제한 거는거 맞음 thinking 할때도 그 프롬프트로 인해 토큰을 잡아먹으면서 추론시간이 더 길어지거나 제한된 추론내에서는 성능이 저하됨
다만 넓은 범위에서 데이터 스토리지의 특정 부분을 더 잘찾게 해주는 방식이니까 특화된 메모리 풀아웃이 가능해지는거지
해당 댓글은 삭제되었습니다.
아주 유용한! 고마운레후
추론모델은 어정쩡하게 쓰면 오히려 더 나쁜거 맞음