[일반] 근데 프롬프트로 성능 고점 뚫을 수 있는 건 당연한 듯

[익명(119.202)]

최근에 큰 도약점이었던 추론 기능도 따지고 보면 '자기 자신의 성능을 높일 수 있는 프롬프트를 스스로 생성하는 방법을 강화학습' 이런 느낌이잖음

[약팔이아님(vital7966)]

너 대학원 나옴?

[ㅇㅇ 1(119.202)]

AI 쪽은 아니라서 좆문가긴 한데 컴공 대학원생이긴 함

[익명(optional5837)]

추론 모델에 CoT 프롬프트가 달린거랑 별개로 추론 자체는 TTC라고 전혀 다른 기술로 나온거임

[익명(119.202)]

전혀 다른 기술이라기보단 CoT를 극한으로 확장해서 새로운 패러다임을 만든 거 아님? 물론 단순히 추론은 졸라 긴 CoT일 뿐이다 이렇게 말하려는 건 아니긴 한데

[익명(optional5837)]

@ㅇㅇ(119.202) CoT는 프롬프트딸이고 TTC는 연산 자원 분배 문제임

[익명(119.202)]

@ㅇㅇ 그 TTC의 축인 Test Time이란 게 결국 생각에 많은 토큰을 사용함으로써 스케일링되는 걸텐데

[익명(optional5837)]

@ㅇㅇ(119.202) 진짜 본문부터 댓글까지 전부 틀리고 핀트도 이상해서 좀 꼴받네 ㅇㅇ; 대체 언제부터 토큰 사용량 분배가 프롬프트의 영역이었음?

[익명(119.202)]

@ㅇㅇ 사용자 입력과 AI 출력을 엄격히 구분한다면 전혀 다른 차원의 얘기가 되겠지만 핵심이나 본질은 그게 아니라 LLM의 최종 답변 정확도를 높이는 방향으로 LLM의 출력을 유도하는 거잖아 그게 핀트임

[ㅇㅇ 1(119.202)]

@ㅇㅇ 그래서 강화학습을 통해 그 유도 패턴을 학습하고 LLM에 내재화함으로써 저점이 크게 올라가긴 했지만 여전히 남아 있는 빈틈을 프롬프트 엔지니어링으로 공략할 여지는 사라지지 않았다는 거

[약팔이아님(vital7966)]

@ㅇㅇ 맞는거같은데? 프롬프트로 생성 토큰량도 조절할수 있음 모델 종속적인건 맞지만 결국 프롬프트를 어떻게 짜느냐 -> 그럼 최적의 프롬프트가 뭐냐 -> 알아서 프롬프트를짜게 하자 이게 COT의 본질이고 현 추론 방식임

[익명(optional5837)]

다시 찾아보니까 내가 틀렸네 구글링 5분만 해도 나오는 것 가지고 아니라고 바락바락 화내고 시비 걸어서 미안하다;