연구진은 자체 개발한 ‘데이터알케미(DataAlchemy)’ 프레임워크를 활용해 작은 규모의 LLM을 통제된 환경에서 훈련했다. 이후 CoT 성능을 +새로운 유형의 문제에도 학습된 추론 과정을 적용할 수 있는지 +훈련 데이터보다 훨씬 길거나 짧은 추론 과정을 처리할 수 있는지 +프롬프트 문구나 구조가 조금만 바뀌어도 성능이 유지되는지 등 세가지를점검했다. 그 결과, 모델은 새로운 과제에서는 기존 패턴을 단순히 재현하는 수준에 머물렀고, 추론 길이가 달라지면 인위적으로 단계를 늘리거나 줄이려고 했다. 또프롬프트 형식이 조금만 바뀌어도 성능이 무너지는 취약성을 보였다. https://www.aitimes.com/news/articleView.html?idxno=201660
연구진은 자체 개발한 ‘데이터알케미(DataAlchemy)’ 프레임워크를 활용해 작은 규모의 LLM을 통제된 환경에서 훈련했다.
이후 CoT 성능을 +새로운 유형의 문제에도 학습된 추론 과정을 적용할 수 있는지 +훈련 데이터보다 훨씬 길거나 짧은 추론 과정을 처리할 수 있는지 +프롬프트 문구나 구조가 조금만 바뀌어도 성능이 유지되는지 등 세가지를점검했다.
그 결과, 모델은 새로운 과제에서는 기존 패턴을 단순히 재현하는 수준에 머물렀고, 추론 길이가 달라지면 인위적으로 단계를 늘리거나 줄이려고 했다. 또프롬프트 형식이 조금만 바뀌어도 성능이 무너지는 취약성을 보였다.
https://www.aitimes.com/news/articleView.html?idxno=201660
정보가 느려서 그래 - dc App