[📪정보] GPT4 900% 추론향상 번역해옴

[익명(138.199)]

프린스턴 대학과 구글 딥마인드의 연구자들이 쓴 새로운 과학 논문이 나왔는데, '생각의 나무: 대규모 언어 모델로 의도적 문제 해결하기’라는 제목이다. 우리는 뇌의 10%만 사용한다는 말을 들어본 적이 있을 것이다. 이것이 사실인지 여부와 상관없이, 이 논문은 현재의 AI 모델에 대해서는 사실이라고 보여준다. 이 새로운 접근법은 챗 GPT의 복잡한 문제를 해결하는 능력을 4%에서 74%로 끌어올렸다. 그것은 '생각의 나무’라고 부르는 새로운 프롬프팅 방법 덕분이다. 논문에는 경고도 담겨 있다. “생각의 나무는 LM들이 다음 행동을 결정하고 문제를 해결하는 데 있어서 더 자율적이고 지능적으로 행동할 수 있도록 한다. 현재의 작업은 추론과 탐색 문제에 국한되어 있지만, 향후 외부 환경이나 인간과의 상호작용을 포함하는 응용 분야는 잠재적인 위험을 가져올 수 있다(예: LM들의 유해한 사용을 촉진함).” 간단히 말해서, 이 접근법은 이러한 LM들을 오버클럭하여 더 많은 지능을 발휘하도록 하는 해킹 같은 것이다. 하지만 핵심적인 부분으로 넘어가 보자. 이 생각의 나무란 무엇일까?

이것들은 다른 프롬프팅 접근법들이다. 챗 GPT에게 질문을 하고 답변을 받는 것을 입력-출력 프롬프팅(IO)이라고 한다. 많은 연구자들과 개별 사용자들이 LM들에게서 더 나은 결과를 얻기 위해서는 ‘생각의 연쇄’ 프롬프팅(CoT)을 사용하는 것이 좋다고 지적했다. 예를 들면, 말하고 싶은 세 가지 주제를 생각하고, 각 주제가 어디로 이어질 수 있는지 생각해보고, 가장 좋은 것을 고르고, 실제로 말할 단어들을 만들어내는 것이다. 같은 입력이지만, 가능한 주제들과 그 주제들로부터 만들어낼 수 있는 대화들에 대해 생각하고, 가장 좋은 것을 고르고, 실제 출력하는 것이다. 이것이 말하기 전에 생각하는 부분이다. 그보다 더 나은 결과를 내기 위해서는 '생각의 연쇄와 자기 일관성’을 사용하는 것이 좋다. 자기 일관성은 각 쿼리에 대해 여러 결과를 생성하고, 가장 많이 나타나는 결과(즉, 가장 일관성 있는 결과)를 찾는 것이다. 자기 일관성과 생각의 연쇄를 결합하면 이전의 프롬프팅 방법보다 더 나은 결과를 얻을 수 있다.

그러나 그보다 더 나은 것은 생각의 나무가 될 수 있다. 이 방법은 LM들에게 복잡한 추론 작업에 대해 훨씬 잘 작동한다. 논문의 초록에서 이렇게 말한다. “언어 모델들은 다양한 작업에 대해 일반적인 문제 해결을 위해 점점 더 배치되고 있지만, 추론 과정 동안 토큰 수준에서 왼쪽에서 오른쪽으로 결정을 내리는 과정에 여전히 제한되어 있다. 이것은 탐색, 전략적 전망, 초기 결정이 중요한 역할을 하는 작업에서 부족함을 보일 수 있다. 이러한 도전 과제를 극복하기 위해 우리는 '생각의 나무’를 소개한다. 이것은 인기 있는 ‘생각의 연쇄’ 접근법을 일반화한 것으로, LM 모델이 다음 행동을 결정하기 위해 자신의 선택을 자가 평가할 수 있게 하며 필요할 때 전망하거나 되돌아가거나 전체적인 선택을 하게 한다. 그리고 이것은 세 가지 테스트에서 언어 모델들의 문제 해결 능력을 크게 향상시킨다.” 이 연구자들이 시험한 세 가지 테스트에서 결과를 살펴보자.

첫 번째로 24 게임에서 시험해 보았다. 24 게임은 스도쿠와 비슷한 수학적 추론 도전 과제로, 네 개의 숫자와 기본적인 산술 연산을 사용하여 24를 얻는 것이 목표이다. 그들이 설정한 방식은 1300개가 넘는 게임을 사람들의 해결 시간에 따라 쉬운 것부터 어려운 것까지 정렬한 다음, 표준 입력-출력(IO)으로 시작하고 컨텍스트 예시 5개로 프롬프트한다. 그들은 또한 생각의 연쇄 프롬프팅도 한다. 각 반복에서 언어 모델은 이전의 모든 기록에 조건화되어 자신의 실수를 반성하고 수정된 답변을 생성한다. 출력이 정확하지 않으면 정답 여부에 대한 실제 피드백 신호를 사용한다는 점에 유의하라. 실제라는 것은 우리가 정답으로 알고 있는 답변으로 AI가 자신의 결과와 비교할 수 있는 것이다.

생각의 나무 접근법에서는 챗 GPT에게 가능한 모든 조합을 생각해보라고 요청하고, 언어 모델에게 각 생각 후보를 24(우리가 필요로 하는 답)에 도달할 수 있는지 여부에 따라 확실함, 아마도, 불가능함으로 평가하라고 프롬프트한다. 그리고 그들은 생각의 나무에서 너비 우선 탐색(breadth first search)을 수행한다. 각 단계에서 최상의 다섯 개 후보를 유지한다. 너비 우선 접근법에서는 깊게 파기 전에 시작점의 수를 확장한다.

여기 결과가 있다.

기본 입력-출력(IO) 프롬프트는7.3%이다. 생각의 연쇄는 4%이다. 그리고 그들은 오라클 설정을 사용했다. k는 100개의 샘플이다. 간단히 말해서, 그들은 이것이 얼마나 잘 작동하는지 테스트하기 위해 여러 번 시도하고 가장 좋은 결과를 평가하는 가장 유리한 조건에서 테스트한다. 기본적으로 여러 번 실행하고 가장 좋은 출력을 본다. 그 결과는 9%의 성공률이다. 그런 다음 우리는 생각의 나무와 너비가 1인 것을 가지고 있다. 결과는 45%이다. 엄청난 도약이다. 그리고 다시 실행한다. 이번에는 너비가 5인 것으로, 더 많은 시작점을 생각한다. 결과는 74%로 올라간다. 모든 다른 방법보다 훨씬 크다. 심지어 이전의 세 가지 방법에서도 100개 중 가장 좋은 것을 고르는 것과 비교해도 그렇다. 생각의 나무가 절대적으로 모든 것을 압도한다.

다음으로 창의적 글쓰기에 대해 살펴보자. 이 접근법은 창의적 글쓰기에 더 나을까? 다음으로 우리는 창의적 글쓰기 작업을 고안했다. 입력은 무작위로 생성된 네 개의 문장이고, 출력은 네 개의 입력 문장이 각각 끝나는 일관된 단락으로 구성된 글이어야 한다. 예를 들면, 다음과 같이 보일 수 있다.

네 개의 짧은 단락으로 구성된 일관된 글을 써라. 각 단락의 마지막 문장은 다음과 같아야 한다.

손으로 서면 핸드스탠드하기가 어렵지 않다.

우주가 구운 스테이크 냄새가 나서 그를 당황하게 했다.

그녀는 자신에게 꼬시려는 남자가 마음에 들지 않으면 수화를 사용하기 시작했다.

너를 아는 사람마다 너에 대한 다른 인식을 가지고 있고, 너는 누구인지에 대해 모양을 만들어준다.

이것은 일관된 스토리라인으로 묶기 어려울 것이다.

그래서 여러 계획을 만들어내고, 계획 2에서는 자기계발과 관련된 맥락에서 정리할 수 있었다.

핸드스탠드는 도전을 받아들이는 부분의 일부로 자기계발과 관련되어 있다.

우주 비행사들은 우주의 냄새를 포함한 도전을 받아들인다.

여자의 영리한 전략

자신에 대한 다른 인식이 자신의 정체성을 형성하는 방식에 대해 고민한다.

그것은 꽤 똑똑하다고 해야 할 것이다. 그것은 도전과 자기 개선이라는 주제로 단락들을 연결하며 일관된 글을 만든다.

입력을 받아서 여러 가지 계획을 세우고, 어떤 계획이 가장 좋은지 투표하고, 그 후에야 실제 최종 결과를 만들어낸다.

여기서 생각의 나무가 분명히 가장 좋은 것임을 볼 수 있다. 표준 입력-출력보다 훨씬 좋으며, 생각의 연쇄와 함께 작업하는 것보다도 훨씬 좋다.

그러나 만약 당신이 정교화 기능을 사용한다면, 즉 기본적으로 괜찮아질 때까지 계속해서 정교화하라고 요청하는 것이라면, 입력-출력 방법은 생각의 나무와 거의 비슷한 수준으로 작동할 것이다.

그리고 사람들은 물론 생각의 나무를 가장 높게 평가할 것이다.

그 다음으로 우리는 미니 크로스워드를 살펴본다.

24 게임과 창의적 글쓰기에서 tot는 상대적으로 얕으며 대부분 세 단계의 생각 단계만 필요하다.

여기서 우리는 자연어를 포함하는 더 어려운 탐색 문제인 5x5 미니 크로스워드를 탐구한다.

tot 설정에서 우리는 가장 유망한 후속 단어/단서를 계속 탐색하는 깊이 우선 접근법(depth first approach)을 활용한다.

상태가 더 이상 유망하지 않으면 부모 상태로 되돌아가서 다른 생각들을 탐색한다.

결과는 표 3에 나와 있다.

입력-출력(IO)과 생각의 연쇄(CoT) 프롬프팅 방법은 낮은 단어 수준 성공률(60% 미만)로 성능이 나쁘며,

생각의 나무(tot)는 모든 지표를 크게 향상시켜 단어 수준 성공률 60%, 20개 게임 중 4개를 완성한다.

여기 표 3이 있다.

여기서도 볼 수 있듯이 tot가 다른 모든 것을 압도한다.

그 다음으로 그들은 제한 사항에 대해 간단히 다룬다.

tot와 같은 탐색 방법들은 더 많은 자원을 필요로 한다.

만약 당신이 gpt4 API를 사용한다면, 넓고 깊게 작동하는 것보다 샘플링 방법을 사용하는 것이 비용이 저렴할 것이다.

작업 성능을 향상시키기 위해서는 샘플링 방법을 사용하는 것이 좋지만,

tot의 모듈식 유연성은 사용자가 이러한 성능-비용 트레이드오프를 맞춤화할 수 있게 해준다.

그리고 가까운 장래에 오픈 소스 노력들은 이러한 비용을 줄여줄 것이라고 한다.

그런데 만약 당신이 오픈 소스가 어떻게 AI 개발 분야에서 가장 잘 지원되는 회사들보다 훨씬 잘 해내고 있는지 들어보지 못했다면,

우리가 아직 모드가 없습니다라는 비디오를 확인해보세요. 오른쪽 상단의 화면이나 쇼 노트에 링크를 걸어 두었습니다.

이 논문의 광범위한 영향은 저에게 매우 흥미롭습니다.

생각의 나무는 LM들이 더 자율적이고 지능적으로 결정을 내리고 문제를 해결할 수 있도록 한다.

현재의 작업은 추론과 탐색 문제에 국한되어 있지만,

향후 외부 환경이나 인간과의 상호작용을 포함하는 응용 분야는 잠재적인 위험을 가져올 수 있다(예: LM들의 유해한 사용을 촉진함).

이것은 경고다.

사람들은 이것으로부터 훨씬 더 많은 힘과 지능을 추출할 수 있을지도 모른다는 것이다.

반면에 생각의 나무는 모델 결정의 해석 가능성을 개선하고 인간 정렬의 기회를 제공한다.

결과적인 표현들은 암묵적인 저수준 토큰 값이 아니라 읽을 수 있는 고수준 언어 추론이기 때문이다.

그래서 우리는 LM들의 암묵적인 시스템 1을 문제 해결에 대한 고전적인 통찰력을 현대적인 LM들에게 적용할 수 있는 실행 가능한 방법으로서의 시스템 2로 보완할 수 있다.

그들은 램의 연관 시스템 1이 문제 해결에 대한 고전적인 통찰력을 현대적인 LM들에게 적용할 수 있는 실행 가능한 방법으로서의 시스템 2로 보완될 수 있다고 말한다.

당신은 무엇을 생각하나요?

댓글을 남겨주세요.

만약 당신이 매일 AI 뉴스를 원한다면,

저는 무료 뉴스레터가 있습니다.

natural20.com에서 확인하세요.

그리고 다시 말씀드리겠습니다.

[슈퍼130클럽(y3xxqs89b55t)]

요약 "해줘"

[익명(221.144)]

GPT야 요약해줘. 프린스턴 대학교와 구글 딥마인드의 논문에서 인공지능의 문제 해결 능력을 향상시킬 수 있는 새로운 방법을 제시했습니다. 연구진은 '생각의 나무' 프롬프트 기법을 사용하여 채팅 GPT의 문제 해결 능력을 4%에서 74%까지 향상시켰습니다. 이 방법을 사용하면 AI가 스스로 결정을 평가하여 자율 기능을 향상시킬 수 있습니다. 하지만 이러한 자율성은 잠재적인 오용 위험을 수반합니다. 이 연구는 효과적인 문제 해결을 위해 AI의 연상 및 추론 시스템을 결합하는 방법에 대한 인사이트를 제공합니다.

[익명(221.144)]

핵심 내용도 정리해줘 언어 모델에게 토큰 수준에서 좌우로 결정을 내리는 한정된 방식을 벗어나, 더 전략적이고 탐색적인 접근법을 가능하게 하는 새로운 프롬프팅 방식입니다. 이는 언어 모델에게 자신의 선택 사항을 자가 평가하고 필요할 때 앞으로, 뒤로, 또는 전체적으로 결정을 내리는 능력을 부여합니다. 기본적으로, 트리는 여러 경로를 탐색하면서 문제를 해결하는 방식을 구현합니다. 모델은 가능한 모든 결정의 '트리'를 만들어 낸 다음, 각 결정의 가능성을 평가합니다. 이 평가를 통해 모델은 'Definite'(확정적), 'Probable'(가능성이 있는), 'Impossible'(불가능한)이라는 카테고리를 사용하여 각 후보를 평가합니다.

[익명(221.144)]

가장 높은 점수를 받은 후보들은 더욱 심층적으로 탐색되고, 이 과정이 반복되어 문제 해결의 효율성과 정확성이 향상됩니다. 이 연구는 AI가 복잡한 문제를 해결하는 능력을 획기적으로 향상시킬 수 있다는 증거를 제공합니다. 그러나 동시에, 이러한 기술의 잠재적인 부작용에 대한 경고도 담고 있습니다. AI가 더욱 자율적이고 지능적으로 행동할 수록, 그것을 악용하는 데 활용될 가능성도 커집니다. 이러한 가능성을 고려하면서 AI 기술의 발전을 촉진해야 할 필요성을 강조하고 있습니다.

[익명(210.106)]

오용 위험이 커진다는것도 성능이 너무 뛰어나서 위험하다는거임?ㄷㄷ

[ㅇㅋ(ijh2005)]

ㅇㅇ (221.144)의 요약을 한번더 요약하자면 이런거네 : 특정 문제상황에서 선택할수있는 문제풀이의 경우의 수를 최대한 전부 도출하게끔 한다음 각각의 경우의수에 대해 될거같다 애매하다 안될거같다 3가지 값으로 분류하게끔 지시하고 그중에서 될거같다로 분류된것들만 추려서 다시 그안에서 디테일에대한 경우의수를 도출하여 같은방법을 반복하는거임 한마디로 강화학습이나 체스엔진같은거에서 쓰는 탐색알고리즘 그대로 쓰는거