https://www.metaculus.com/notebooks/8329/human-level-language-models/


최근에는 언어 모델, 특히 OpenAI의 GPT-3와 Codex가 많은 주목을 받고 있습니다. 인간 수준의 언어 모델의 가능성은 아직 도달할 수 없지만 언제쯤 도착할 수 있을까요? 이 질문에 답하기 위해 Claude Shannon이 개척한 정보 이론의 몇 가지 기본 개념을 살펴보겠습니다.

Shannon은 영어 텍스트가 얼마나 많은 정보를 전달하는지 이해하는 데 관심이 있었습니다. 그의 주요 통찰력은 텍스트가 더 예측 가능하면 예측할 수 없는 텍스트에 비해 기호당 더 적은 정보가 전달된다는 것입니다. 그는 엔트로피의 개념을 도입하여 이 진술을 보다 정확하게 만들었습니다. 대략적으로 말하면, 엔트로피는 완벽한 예측 능력의 한계에서 텍스트 시퀀스의 예측 가능성을 측정합니다.

Shannon의 작업 이후로 컴퓨터 언어학자들의 인기 있는 취미는 영어의 엔트로피를 측정하는 새로운 방법을 발명하는 것이었습니다. 이러한 추정치를 영어 텍스트 예측 작업에서 언어 모델의 실제 성능과 비교함으로써 인간 수준의 언어 모델링 목표를 향한 진행 상황을 차트로 표시할 수 있습니다. 또한 SuperGLUE와 같은 외부 작업에 대한 성능 메트릭과 비교할 때 엔트로피가 일반 언어 모델링 성능을 추적하는 데 더 유용한 메트릭이라고 믿을 만한 강력한 이유가 있습니다.

내 결과는 매우 짧은 일정입니다. 구체적으로, 내 모델은 인간 수준의 언어 모델이 2020년대 중반에 개발될 것이며 그 예측에 상당한 불확실성이 있을 것으로 예측합니다.

나는 내 모델을 테스트하기 위해 몇 가지 Metaculus 질문을 제공하고 인간 수준 언어 모델의 가능한 영향에 대해 추측함으로써 결론을 내립니다. 앨런 튜링(Alan Turing)에 이어 자연어 숙달은 인공 일반 지능(AGI)의 발전을 알리는 획기적인 업적으로 오랫동안 여겨져 왔습니다. 나는 이 관점에서 크게 벗어나지 않지만 AGI가 개발된 후 기대해야 할 사항에 대해 몇 가지 주의 사항을 제시합니다.