짧은 problem instance로부터 긴 instance를 외삽(extrapolate)하는 능력에 관해, 기존의 LLM에선 scale을 늘리거나 fine tuning해도 성능이 좋지 않았지만 scratchpad prompting(최종 답을 내기전 과정들을 출력시키게 묻는것)과 fine tuning, few-shot prompting을 결합하자 성능이 크게 오르는 것을 발견
[📪정보] scratchpad를 이용한 length generalization
특갤용(singularity45)
2022-07-12 12:05
추천 22
댓글 6
다른 게시글
-
Agi 이후의 인간관계는 잘 모르겠음 [2][일반] 익명(1.229) | 22.07.12추천 4
-
언어,시각,행동 pretrained model을 통한 로봇 네비게이션 [8][📪정보] 특갤용(singularity45) | 22.07.12추천 25
-
가토 미네르바 나오고 난 뒤로 선형 얘기하면 차단함[일반] 익명(121.170) | 22.07.12추천 7
-
삼성은 AI 뭐 없음? [4][일반] 익명(y3xxqs89b55t) | 22.07.12추천 1
-
여기서 특이점이 온다 책 완독한 사람 얼마나 됨? [4][일반] 익명(223.39) | 22.07.12추천 0
-
전유물충들은 내가 agi를 우선적으로 가질 수 있는 기득권이 아닌 걸 [3][일반] 익명(hffbpu3o3cib) | 22.07.12추천 1
-
agi 2025년은 [1][일반] Ba(180.66) | 22.07.12추천 0
-
all you need is scale [5][일반] 익명(58.231) | 22.07.12추천 11
-
선형춭들 논리는 결국에는 억지라니깐[일반] 익명(110.46) | 22.07.12추천 1
-
그래서 언제 오냐고[일반] 익명(y3xxqs89b55t) | 22.07.12추천 1
다시한번 생각해보라 했을때 정확도가 올라간다는 뜻이지? - dc App
ㅇㅇ
요즘 주딱 날뛰네 고맙다
2025