https://twitter.com/OriolVinyalsML/status/1760039126676500712


제미니 번역 사용.


Gemini 1.5 Pro가 지난주 출시되었으며, 커뮤니티에서 이미 장문 맥락(long context)을 활용한 놀라운 상호작용 사례들을 보고 있습니다. 아래는 얼리 액세스를 얻으신 분들께서 공유하신 몇 가지 주요 사례와 멋진 게시물입니다.


커뮤니티의 논의/반응에서 발견한 몇 가지 생각들:


RAG("retrieval-augmented generation")는 아직 사라지지 않았습니다. 비록 우리가 현재 100만 개 이상의 토큰을 문맥에 포함시킬 수 있더라도 말이죠. 사실, RAG는 장문 맥락을 향상시킬 수 있는(또는 그 반대로 향상될 수 있는) 훌륭한 특성을 가지고 있습니다. RAG를 통해 관련 정보를 찾을 수 있지만, 압축으로 인해 모델이 정보에 접근하는 방식이 지나치게 제한적일 수 있습니다. 장문 맥락은 현대 CPU에서 L1/L2 캐시와 메인 메모리가 함께 작동하는 방식과 유사하게 이러한 간격을 해소하는 데 도움이 될 수 있습니다.


사용자가 문맥(context)에 포함시킬 수 있는 문서가 Gemini 모델의 학습 데이터에 포함되었는지 여부와 그에 따른 인-컨텍스트 학습(in-context learning) 능력에 대한 질문과 관련하여, 저는 이러한 구분이 무의미하다고 생각합니다. (모델이 학습되었을 수 있는) 문서를 메모리에 저장함으로써 여러 가지 방법으로 모델을 지원할 수 있습니다: 관련 지식을 '새로 고침'하고, 문서와 관련된 복잡한 질문에 대해 추론하거나, 해당 지식을 통해 직접 복잡한 계산과 추론을 수행할 수 있습니다. 예를 들어, Kalamang 예시에서 봤듯이, Kalamang 문법서를 프롬프트에 직접 입력하는 것이 해당 지식을 네트워크 가중치에 완전히 내장하는 것보다 언어에 대해 더욱 강력하게 "문맥상" 추론할 수 있도록 지원합니다.


또한 우리는 모델의 속도를 크게 향상시킬 수 있는 많은 추론 최적화 작업을 진행하고 있습니다. 기대해 주세요!


Gemini 1.5 Pro와의 멋진 상호 작용 스레드입니다. 계속 공유해주세요!