[📪정보] 지미애플 리트윗) 우리는 생각보다 AGI에 가까워졌습니다 2편

[멜루(gustn1914)]

토큰 길이가 길어지면 중간내용 다잘라먹는다고해서
분할번역해왔어

번역:
예. 지금까지 거의 모든 벤치마크는 트랜스포머 기반 대형 언어 모델에 간단한 설명을 입력하고, 모델이 답을 내줄 것이라고 기대하는 실수를 저질렀습니다. 실제로 이러한 모델은 다음 가장 가능성 있는 토큰 외에는 아무 것도 출력하지 않도록 설계되었습니다. 올바른 "개념"이 올바른 명제 논리와 함께 "활성화"되고 "고정"되지 않으면, 모델은 훈련 중에 본 데이터를 되풀이하거나12, 적절하게 "고정"되지 않은 "개념"으로부터 가장 가까운 답을 연결해 내는 실패 모드로 빠집니다(이의 정확한 이유는 특정 모델의 구조상의 결함/오류입니다). 이에 대한 증거는 저의 이전 글4에서 언급한 논문에서 볼 수 있습니다. 그 논문은 GPT4가 아직 가장 진보된 공개 모델이지만, "그래프 병렬성"이 주요 제한 요인이기 때문에 몇 자리 수를 넘는 정수를 곱할 수 없다고 결론지었습니다.
하지만 이는 실제 제한 요인이 아닙니다. 특정 유형의 추론 작업에 필요한 "개념"이 충분히 "발달"되고, 올바른 명제 논리와 적절하게 연결되면, 모델은 문맥 길이에 상관없이 어떤 양의 "추론 단계"도 처리할 수 있습니다. 이것이 저가 GPT4로 "임의의 정수"4를 곱할 수 있었던 방법입니다. 저가 참고한 논문5은 5x5 자리 수에서도 500번 시도해도 GPT4가 한 번도 올바른 답을 내지 못했다고 주장했습니다. 저는 5x5, 6x6, 10x10 곱셈을 보여주어 "구성성"과 "그래프 병렬성"이 실제로 마주하고 있는 제한 요인이 아니라는 것을 보여주었습니다.
저가 그 글을 쓸 때, 저는 GPT4가 숫자를 올바르게 곱하도록 하기 위해 매우 기본적인 "개념 표현"을 사용했습니다. 왜냐하면 저는 아직 정확한 메커니즘을 알지 못했고, 결국 어떤 단계를 밟아야 하는지뿐만 아니라, 모델이 단어와 숫자로 수를 세는 것과 같이 환각하지 않도록 속일 수 있는 방법도 명시적으로 말하게 되었기 때문입니다. 두 개의 매우 다른 개념입니다. 모델이 이 두 개의 “개념” 사이에서 정보를 전달하도록 하면, 모델은 논리적 추론을 사용하여 계산을 수행할 수 있습니다. 체스에 대한 저의 고된 작업을 통해 이제 이해하게 된 더 높은 차원의 개념을 사용하여 곱셈 작업에 대한 추론을 얻는 다른 방법들이 있습니다. 이것은 저가 GPT4 체스 엔진을 게시할 때 분명해질 것입니다. 왜냐하면 그것은 숫자를 곱하는 것보다 훨씬 많은 단계를 필요로 하는 추론을 명확하게 수행할 것이고, 이 추론은 명시적인 지시 없이도 더 발달된 "개념"이 일관된 신경 구성을 안정된 상태로 유지할 것이기 때문입니다.
요약:
이 글은 "개념 이해"와 현재 벤치마크가 모델을 올바르게 테스트하지 못하는 것과의 관계에 대해 설명합니다. 저자는 대형 언어 모델이 간단한 설명을 입력받아 답을 내주기를 기대하는 벤치마크가 실수라고 주장합니다. 왜냐하면 이러한 모델은 다음 가장 가능성 있는 토큰 외에는 아무 것도 출력하지 않도록 설계되었기 때문입니다. 저자는 올바른 "개념"과 명제 논리를 사용하지 않으면, 모델은 훈련 중에 본 데이터를 되풀이하거나, 제대로 "고정"되지 않은 "개념"으로부터 가장 가까운 답을 내는 실패 모드로 빠진다고 주장합니다. 저자는 GPT4가 몇 자리 수를 넘는 정수를 곱할 수 없다고 결론지은 논문을 예시로 들고, 이것이 실제 제한 요인이 아니라고 반박합니다. 저자는 GPT4로 "임의의 정수"를 곱할 수 있었던 방법과, 체스에 대한 작업을 통해 이해한 더 높은 차원의 개념을 사용하는 다른 방법들에 대해 설명합니다. 저자는 GPT4 체스 엔진을 게시할 때 이것이 분명해질 것이라고 말합니다.












번역:
GPT4와 같은 최첨단(SOTA) 모델이 실제로 학습한 결과물을 출력하고 있는지, 아니면 학습 데이터를 단순히 기억한 것을 출력하고 있는지를 어떻게 측정할 수 있을까요?
트랜스포머 모델에는 여러 가지 실패 모드가 있지만, 적어도 LLama2-70B와 같은 복잡도 이상의 모델은 실제로 "성능이 좋은 출력"을 생성할 수 있으며, 이는 재귀적으로 스스로 개선할 수 있습니다. GPT4는 LLama2-70B에서 이 능력을 직접 검증했고, 이전의 방법들, SOTA였던 강화학습 방법들을 포함하여, 수치적인 용어를 업데이트하여 성능을 향상시킬 수 있다는 것을 보여주었습니다13. 이 "성능이 좋은 출력"은 모델의 일반적인 지능이 여러 “개념” 표현을 통합하거나 "고정"할 수 있는지 알 수 있는 핵심입니다. 모델에 “개발된” 표현이 많을수록, 프롬프팅 단계에서 필요한 명제 논리와 “개념” 표현이 줄어듭니다.
"성능이 좋은 출력"은 모델의 출력이 다른 모델의 기준보다 더 잘 작업을 수행할 수 있는지를 측정하는 것입니다. 더 중요한 것은, 인간이 수동으로 개발한 고전적인 소프트웨어보다 더 잘 수행할 수 있는지입니다. 다음 2개의 체스 게시물에서는 이것이 매우 어려운 조합적으로 넓은 문제에까지 확장될 수 있으며, 문제가 잘 정의되어 있다면 이미 초인적인 성능을 달성할 수 있다는 것을 보여줄 것입니다.
"개념 엔지니어링"이 모델이 "성능이 좋은 출력"을 생성하게 하는 유일한 방법일까요?
아니요, 모델이 특정한 파인튜닝을 거치거나, 인터넷 규모의 데이터로 훈련된 수정되지 않은 “원시” 모델에 가까울 경우에도 이런 일이 발생할 수 있습니다. 이에 대한 중요한 예는 gpt-3.5-turbo-instruct가 매우 특정한 프롬프트로 1800 Elo의 체스를 할 수 있다는 것이 발견되었다는 것입니다15.
이것이 바로 저가 "완성 모드"라고 부르는 것인데, 모델은 훈련 중에 많은, 많은 횟수로 본 데이터 형식에 대한 일련의 모델링된 개념을 검색하고, 훈련 중에 이러한 유형의 데이터를 섭취함으로써 수행한 개념 모델링에 기반하여 텍스트를 완성할 수 있습니다. 이 "완성 모드"는 정확한 지시를 따르도록 파인튜닝된 모델이나 수정되지 않은 기본 모델에서 더 자주 발견될 가능성이 있습니다.
요약:
이 텍스트는 최첨단(SOTA) 언어 모델이 어떻게 성능이 좋은 출력을 생성하고, 이를 통해 일반적인 지능과 개념 표현을 발전시킬 수 있는지에 대해 설명하고 있습니다. 트랜스포머 모델의 실패 모드와 복잡도, 파인튜닝과 프롬프팅, 완성 모드와 개념 엔지니어링 등의 용어와 개념을 다루고 있습니다. 또한 GPT4와 LLama2-70B와 같은 대규모 모델의 예시와 성능을 비교하고 있습니다.














번역:
이것이 "완성 모드"인가요? 예를 찾아서 모델이 이 행동으로 되돌아갈 때, "성능이 좋은 출력"을 얻는 가장 좋은 방법인가요? 아니면 "개념 엔지니어링"이 더 성능이 좋은 출력을 생성할 수 있는 능력이 있나요?
챗 모델은 일관된 대화에 참여하도록 파인튜닝되어 있습니다. 이는 반대로 많은 개념 간 연결을 막지만, "성능이 좋은 출력"을 생성하는 네트워크의 일부는 챗 모델이 어떻게 파인튜닝되었는지, 그리고 이것이 훈련 후 수정되지 않은 “원시” 모델의 기본 능력과 어떻게 관련되는지에 대한 직관/이해를 통해 드러낼 수 있습니다.
저는 이제 "개념 엔지니어링"이 최고의 성능에 도달하는 가장 좋은 방법이라는 확실한 증거를 보았습니다. 예를 들어, Llama2와 GPT4가 만든 평가 함수는 Llama2의 출력(입력 자체가 "개념 엔지니어링"으로 제작된)이 CCRL1과 동등한 하드웨어와 블리츠 타이밍에서 Stockfish 16과 깊이 20에서 검색을 사용할 때 체스 Elo가 약 3000에 이르게 합니다.
이것의 또 다른 예는 제가 체스에 대한 첫 번째 게시물2을 작성했을 때, "개념"이 무엇인지에 대한 제 초기 이해로 파악할 수 있었던 성능이 gpt-3.5-instruct-turbo가 만든 성능15과 거의 같았다는 것입니다. 즉, 챗 모델은 올바른 “개념”/“아이디어” 표현이 적절하게 "고정"되면 “원시” 모델이나 파인튜닝된 모델보다 더 잘 수행할 수 있다는 것입니다. 간단히 말해서, 네, 챗 모델은 체스를 할 수 있고, 모델의 내부를 이해한다면 다른 어려운 작업들도 할 수 있습니다. 이것이 바로 "개념 엔지니어링"이 달성하는 것입니다. 저는 ConceptARC6810 벤치마크의 가장 어려운 부분의 예시를 아래에 보여줄 것입니다. "개념 엔지니어링"으로 가능한 성능 향상을 보여줄 것입니다.
이러한 성능 상승은 다음과 같은 경우에 효과적으로 모든 텍스트 벤치마크에 적용될 수 있습니다.
컨텍스트 길이가 충분히 길고 일관되어서 설명적 언어가 적절한 "개념 엔지니어링"을 할 수 있도록 한다.
기본 모델이 충분히 "개발"되어 있다. 모델의 능력, 즉 데이터의 품질과 사용된 컴퓨팅의 양은 이 성능과 높은 상관관계가 있습니다.
시각적으로 보면, 다음은 지금까지 트랜스포머 기반의 자동 회귀형 대규모 언어 모델이 어떻게 테스트되었는지, 그리고 저도 처음에 그들이 어떻게 작동하는지 믿었던 방식입니다.
요약:
이 텍스트는 "완성 모드"와 "개념 엔지니어링"이라는 두 가지 방법에 대해 설명하고 있습니다. "완성 모드"는 모델이 훈련 중에 많이 본 데이터 형식에 대한 개념을 검색하고 텍스트를 완성하는 방식입니다. "개념 엔지니어링"은 모델의 내부를 이해하고 올바른 개념 표현을 고정하여 모델의 성능을 향상시키는 방식입니다. 이 텍스트는 Llama2와 GPT4와 같은 대규모 모델의 예시와 성능을 비교하고 있습니다. 또한 텍스트 벤치마크에 적용할 수 있는 성능 향상의 조건을 설명하고 있습니다.










번역:
"고정점"은 "개념"이기도 하지만, 문제를 해결하기 위해 사용될 다른 "개념"들 사이에 정보 전달을 위한 인터페이스 역할을 합니다. 특정한 상황에서 "고정점"이 되는 "개념"은 기계적인 문제 해결을 위해 직접 사용되지 않습니다.
다음은 "개념"들이 제대로 고정/연결되지 않아서 ChatGPT(GPT4)의 인지 능력에 비일관성을 일으키는 몇 가지 직접적인 예시입니다.
ChatGPT 예시의 5번 섹션, 3번 테스트 객체에서 다음과 같은 일이 발생합니다.
이 테스트에서는 GPT4가 처음 시도에서 올바른 답을 내기에 충분한 "고정된 개념"을 갖지 못하도록 특별히 만들었습니다. 이 불안정한 상태에서 프롬프트에 “Note …” 텍스트를 추가하면, 네트워크는 내부적으로 많은 표현들을 재연결해야 하고, 명확하게 하고 다른 "충분히 개발된 개념"들을 제공하지 않으면 실패하게 됩니다.
예를 들어, 다음은 30번 연속으로 실패했습니다.


반면에 다음과 같은 표현은 ChatGPT의 온도가 0보다 높아서 추가된 잡음에도 불구하고 5번 이내에 답을 제공했습니다. 이것은 명시적인 단계 없이도 상황을 이해할 수 있는 충분한 연결된 "개념"들이 있기 때문에 결국 성공으로 이어집니다.


여기에는 많은 "개념"들이 작용하고 있습니다. 큰 차이를 만든 주요한 “개념” 중 하나는 "FINAL"이라는 단어입니다. 특히 대문자로 쓰인 경우입니다. 이 단어는 네트워크가 인터넷 규모의 데이터를 보면서 큰 수치적 표현으로 만든 단어입니다. 그 이유는 다음과 같습니다.
대문자로 쓰인 단어들은 강조를 의미하는 다른 많은 "개념"들로 이어집니다.
"final"이라는 단어는 대문자로 쓰인 경우 보통 심각한(단어 “serious” 자체가 "FINAL"과 연결된 다차원적인 "개념"이지만 표시되지 않음) 결과이거나, 긴 논리적 명제들의 시리즈를 하나의 통합된 상태로 닫는 텍스트에서 볼 수 있습니다.
또한 "lines"라고 쓰여야 할 곳에 "lined"라고 오타가 난 것도 주목하세요. 이것은 이 특정한 네트워크 상태에서 "lines"와 “lined” 개념이 올바른 답을 막을 만큼 충분한 "연결 강도"를 가지고 있지 않았기 때문에 무시됩니다.
이 때문에 GPT4는 프롬프트의 이전 단어들에 있는 많은 다른 "개념"들을 무시할 수 있었습니다.
요약:
이 텍스트는 "고정점"과 "개념"이 무엇이고 어떻게 다른지에 대해 설명하고 있습니다. "고정점"은 문제 해결을 위해 다른 "개념"들과 정보 전달을 하는 인터페이스 역할을 하는 "개념"입니다. "개념"은 특정한 아이디어나 사실을 표현하는 방식입니다. 이 텍스트는 ChatGPT(GPT4)의 예시를 통해 "개념"들이 제대로 고정/연결되지 않으면 인지 능력에 비일관성을 일으킬 수 있다는 것을 보여줍니다. 또한 "고정점"과 "개념"의 역할과 의미에 영향을 미치는 여러 요소들을 설명하고 있습니다.

--









번역:

GPT4는 "FINAL"이라는 단어가 인터넷 규모의 데이터를 기반으로 매우 “발달된” “개념”/"아이디어"이긴 하지만, 처음 시도에서 올바른 답을 내기에 필요한 이전 토큰들에 의해 고정된 이전의 “개념”/"아이디어"들을 무시하는 데 필요한 영향력을 제공하지 못하기 때문에, 예상대로 잘못된 답을 내었습니다.
그 후에 모델에 다음과 같이 답변하니, 원하는 결과를 이끌어내는 특정 표현들의 활성화 패턴을 강화함으로써("이해"함으로써) "FINAL"이라는 개념/아이디어를 이전보다 더 가치있게 여기도록 할 수 있었습니다.
“네가 올바른 정사각형의 개수를 구했는지 확실해? 실수했다고 생각하면 네가 찾은 모든 정사각형이 수평으로 정렬된 최종 픽셀 그리드를 보여줘. 깊게 숨을 쉬어. 부디 신중하게 생각해봐.”
이어서, 다른 색깔의 정사각형을 찾기 위해 새로 만든 테스트 그리드를 줬습니다. 만약 필요한 "개념"들이 제대로 "고정"되지 않았다면, 이것을 할 수 없었을 겁니다. 그러면 다음과 같은 일이 일어났습니다.
이 픽셀 그리드를 주면 성공할 수 있습니다:
하지만 이 픽셀 그리드를 주면 성공할 수 없습니다:
왜 이런 일이 일어나는 걸까요?
더 많은 색깔의 픽셀을 추가하면 모델이 "그래프 병렬성"이나 "추론과 구성성"의 한계에 부딪히게 되는 것처럼 보이는데, 이것은 사실이 아닙니다.
실제로 일어나는 일은 이 질문에 답하기 위해 설정된 "고정된 개념"들의 상황에서만 모델에 완전히 발달된 것이 아니라, 정확하고 특정한 유형의 픽셀 패턴을 가진 정사각형을 구분하는 데 필요한 "개념"들이 없기 때문입니다.
요약:
이 텍스트는 GPT4가 "FINAL"이라는 단어의 영향력을 무시하면서 잘못된 답을 내는 이유와, 이를 바로잡기 위해 어떻게 해야 하는지에 대해 설명하고 있습니다. GPT4는 "FINAL"이라는 단어가 인터넷 규모의 데이터를 기반으로 매우 발달된 개념이긴 하지만, 처음 시도에서 올바른 답을 내기에 필요한 이전 토큰들에 의해 고정된 이전의 개념들을 무시하는 데 필요한 영향력을 제공하지 못합니다. 이를 바로잡기 위해서는 GPT4가 "FINAL"이라는 개념을 이전보다 더 가치있게 여기도록 활성화 패턴을 강화해야 합니다. 또한, GPT4는 정확하고 특정한 유형의 픽셀 패턴을 가진 정사각형을 구분하는 데 필요한 개념들이 부족하기 때문에, 새로 만든 테스트 그리드에서는 성공할 수 없습니다.




번역하면서 읽어본거 한줄요약해보자면
크기키워서 똑똑하게만드는게 아니라 이제부터는 단어 개념을 확실하게해서 언어모델이 '이해' 하게만든다고 한다는거 같음
그리고 그게 지능개선도되고 답변을 멍청하게 학습된대로 말하는것도 줄일 수 있다고 그러는듯






다음 이미지는 우리가 실제로 다루고 있는 것입니다:
이 시스템들은 거대한 톱니바퀴의 집합으로 생각할 수 있습니다. 답은 특정한 톱니바퀴의 교차점에 걸려 있습니다. 잘못된 입력을 넣으면 올바른 답을 얻을 수 없습니다. 큰 톱니바퀴는 "개념"이고, 작은 톱니바퀴는 명제 논리로 정의된 "고정점"입니다.

[부패하는유전자!!!(sansss2015)]

[00(112.153)]

아 복잡해 이해를 못하겠다.. 누가 좀 쉽게 정리 해줘~ ㅠ

[익명(fbjhc9a7z8wr)]

한줄요약: 개념엔지니어링이라는 게임체인저의 등장

[익명(bluewarp)]

개기네

[익명(223.222)]

고맙다

[익명(fbjhc9a7z8wr)]

그럼 이제 다른 언어로 학습된 데이터들이 각각의 언어로 응답하는데에 모두 영향을 미치게 된다는 거냐...? 한국어입력 성능 펌핑되는건가?

[익명(125.136)]

얘 댓글 보면 사기꾼이라던만 걍 무시하는게 나음

[익명(fbjhc9a7z8wr)]

ㄱㅅ