[📪정보] 엔비디아도 '지속 학습' 방식 공개. 긴 컨텍스트 처리 비용 방지

[회색(counsel8318)]

https://www.aitimes.com/news/articleView.html?idxno=205380

엔비디아 연구진은 6일(현지시간) 언어 모델을 사전 학습한 뒤 실제 활용 과정에서도 지속적으로 학습하는 과정의 효율성을 극대화할 수 있는 ‘엔드투엔드 테스트 타임 트레이닝(TTT-E2E)’을 온라인 아카이브에 공개했다.

연구진에는 엔비디아의 연구 선임 디렉터로 최근 범용 게임 에이전트 ‘나이트로젠’의 개발에도 참여했던 최예진 스탠포드대학교 교수가 포함됐다. 

이번 연구는 기존 대형언어모델(LLM)이 사전 학습 단계에서 방대한 데이터를 통해 사실과 패턴을 최대한 많이 암기한 뒤, 배포 이후에는 더 이상 학습하지 않고 가중치가 고정된 상태로 답변만 생성하는 한계를 넘기 위한 것이다. 

출처 : AI타임스(https://www.aitimes.com)

테크놀로지아!

[익명(enough2752)]

역시 2026 지속학습의 해 - dc App

[익명(gjtthf)]

저거 예전에 올라온 그건가

[익명(s5evlbd7gj51)]

[익명(1.218)]

가능만 하면 존나 빠르게 처리 가능하고 컨텍스트도 존나게 늘어나겠구만 가능만 하면

[천사다천사(jjtheman999)]

[익명(tragedy7204)]

게임오바

[ㅇㅇ 2(175.115)]

싹다 사형시켜

[ㅇㅇ 1(1.251)]

아니 엔비디아는 진짜 미친기업이다 ㅅㅂ