[📪정보] [컴퓨터 입문 칼럼] 8. GPT-n series

[Navy(211.195)]

4~7편은 아직 안 썼다. 못 찾는 게 정상이다.

사실 5~7편에서는 AI 관련 개념들을 AI, 머신러닝, 딥러닝 등등이 뭔지부터 차근차근 소개할 생각이다.

근데 솔직히 어디부터 어디까지 써야 할지 감을 못 잡겠다.

그래서 일단 응용 사례들부터 칼럼을 쓰고, 이것들을 이해하기 위해 필요한 지식들을 모아서 5~7편을 쓰겠다.

처음의 칼럼 구상과는 좀 달라지고 있는 것 같지만 AI가 그만큼 중요하니까 많이 다루겠다.

따로 용어 설명을 자세하게 하지는 않는다. 개념을 모르는 입문자들은 추후 5~7편이 나오면 몰아서 보기를 추천한다.

7편을 쓸 때 거기에 링크를 달아서 올려드리겠다. 근데 어지간한 특갤러들은 이 정도는 이해할 수 있으리라 생각한다. 나도 딱히 전문가는 아니고.

I. GPT란?

미국 샌프란시스코에 있는 인공지능 연구기관 openAI가 만든 언어 모델이다.

 

openAI사는 일론 머스크와 샘 알트만이 2015.12.11.에 공동설립한 인공지능회사이며, 인공지능의 정보를 오픈소스(open source, 소프트웨어 등을 무상으로 공개함)화 하여 더 안전한 인공지능의 발전을 추구한다.

 

이 회사는 GPT-n 시리즈, OpenAI, Codex 등의 인공지능을 만들었는데, 여기서는 GPT-n 시리즈만 다뤄보겠다.

(주의: GPT 모델을 어떻게 사용하는지는 이 칼럼의 영역이 아니다.)

 

GPT는 Generative Pre-trained Transformer을 뜻하며, 검색하면 나오는 또다른 하나의 GPT(GUID Partition Table)와는 다른 개념이니 착오가 없도록 하자.

 

II. 변천

(1) GPT (2018.06.~): ‘언어의 Generative Model이, 길고 다양한 글을 이용한 사전 훈련을 토대로, 어떻게 세계의 지식을 습득하고 광범위한 종속성(long-range dependencies)을 처리할 수 있는지 보여주었다.’

 

......위키백과 영문판의 내용을 해석해놓은 것인데, 아무래도 전문성을 요구하다 보니 말이 복잡복잡하다.

 

당장 Generative Model이라는 것도 ‘관찰가능한 변수 X와 목표 변수 Y가 주어진 결합확률분포 P(X,Y)로 표현되는 통계학적 모델’이 설명이랍시고 나와 있다. 나는 통계학을 조금이나마 배워서 뭔 소리인지는 알겠다만 그래도 비전공자에게는 여러모로 잔혹한 전문성의 영역이다;;

어쨌든 대충 무슨 소리인지는 이해했으리라 믿고 넘어가겠다.

(2) GPT-2 (2019.02.~): 일단 몇몇 우려 때문에 제한적으로 공개되었고, 2019.11.부터 완전히 공개되었다. 비지도학습과 트랜스포머(딥러닝의 일종)를 활용한 언어 모델(Language Model)이다.

 

8백만 개의 문서 내용 등을 학습했으며, 글을 써준다거나... 뭐 그런 일들을 할 수 있다.

(3) GPT-3 (2020.05.~): 파라미터(parameter, 매개변수)의 숫자가 GPT-2에서는 고작 15억 개 정도였으나, GPT-3에서는 1750억 개에 달한다! 특정한 메타학습에 성공하기도 하고, 하나의 입력-출력 짝의 의도를 보편화할 수 있다. 예를 들어, 영어-독일어를 번역하고 교차하여 학습할 수 있다.

 

GPT-3은 GPT-2에 비하여 엄청난 발전을 보였는데, 각종 언어 관련 문제풀이, 랜덤 글짓기, 간단한 사칙연산, 번역, 주어진 문장에 따른 간단한 웹코딩이 가능하다. (괜히 ‘엄청난 발전’에 밑줄 쳐놓은 게 아니다. 나보다 글을 더 잘 쓴다.)

 

다만 속도, 자원 소비, 인터넷의 편향된 정보 흡수 등에 있어서는 오히려 단점을 보이기도 한다. 그리고 ‘기억’, ‘이해’ 등 인간의 영역에 들어오지 못했다는 비판도 있지만, 인공지능이 일만 잘하면 되지 자아가 뭐가 중요하냐고 생각하는 사람도 있긴 하므로 독자 분들의 판단에 맡기겠다.

2020.10.부터 openAI사는 GPT-3를 Microsoft Azure를 통해서 독점공급할 것이라고 밝혔다. 위에 서술했던 오픈소스 원칙과는 어긋나는 것. 나무위키에 따르면 비용 때문에 어쩔 수 없다는 공감대도 있는 듯 하다.

(4) GPT-4 (아직 없음, 산업연구가들에 따르면 2023년 초반으로 추정): openAI 공동대표 샘 알트만의 인터뷰(2021.09.13.)에 따르면 GPT-4는 GPT-3에 비해 더 커지지는 않을 것이며, 단지 컴퓨터 리소스를 더 많이 쓸 뿐이라고 한다. 그리고 코딩 영역에 더 집중할 것이라고 하는데, 최근 GPT-3을 기반으로 하는 Codex(2021.08.10.~)를 활용하는 듯 싶다.

 

(5) GPT-5 (아직 없음): 샘 알트만은 GPT-5에 대한 이야기도 꺼냈는데, GPT-5는 튜링테스트를 통과할 것이라고 한다. 튜링테스트는 인간처럼 생각할 수 있는지를 판별하는 방법이다. 이 절차가 궁극적으로 AGI에 도달하는 길에 있다고 openAI의 연구소는 바라보고 있다.

 

다만 나는 GPT-5 = AGI라고까지 해석하기는 섣부르지 않나 생각하고 있다. GPT는 일단은 언어 모델이고, (최소한 현재에는) 집안 청소를 해준다거나 바둑을 둔다든가 하는 건 아니다. 다만 AGI가 어디서부터냐라는 논쟁에서 “GPT-5부터다!”라고 생각하는 것이 100% 틀리다고까지는 못하겠다. 그때쯤이면 다른 기술과 시너지를 낼 수도 있는 거고, 어쨌든 인간의 언어를 기계가 습득한다는 것 자체가 대단한 발전인 것은 사실 아닌가?

 

cf) 그와 별개로 GPT-3의 업데이트 버전인 DALL.E(2021.01.~)라는 것도 있다. 텍스트로 그림을 만들어내고, 이미지 인식을 통해 텍스트를 이해하는 점에서 차세대 언어 모델들의 모습을 일부 엿볼 수 있다.

저 트랜스포머라는 게 어떻게 작동하는지 등등은 7편에 다룰 수 있으면 다뤄보겠다.

입문 칼럼이라서 부담감 없게 읽을 수 있는 글을 목적으로 했는데, 뭔가 이도저도 아닌 글이 된 것 같기도 하고...

내용이 너무 부족하다는 피드백이 들어오면 추후 보충할 것이고, 번역이나 내 지식에 이상한 게 있다 싶으면 지적 환영이다. 사실 이 부분은 그렇게 자신감이 넘치지는 않는다.

[작아비(jtlsa)]

[익명(116.37)]

첨언을 하자면 1. GPT는 self-supervised learning으로 자연어를 학습하는 모델임 2. 기존 RNN, LSTM의 한계를 극복한 Transformer를 사용하였음 3. GPT는 위키피디아 같은 넷상의 수많은 자연어를 '학습'하는거임 4. 그래서 GPT의 목적은 뭐냐, 저렇게 수 많은 데이터로 pre-train된 모델을 다른 목적(task)에 적용(downstream)하는것임 5. 가장 직관적인 예시는 번역 기능이겠고, 본문에 나온 DALL:E와 같이 비전 생성 모델에 접목해서 사용할수도 있음 6. 그래서 GPT가 뭐냐, 넷상의 수 많은 자연어를 self-supervised learning을 통해 효과적으로 학습한 대규모 모델인거임

[익명(116.37)]

7. 이렇게 학습된(pre-trained) 모델은 정말 다양한 분야에 쉽게 사용할 수 있어서 매우 도움이 됨 8. 그래서 네이버 클로바를 필두로 한 국내 기업들이 한국형 GPT를 만드려는거임. 한국어 데이터를 학습한 똑똑한 모델이 있으면 어디든지 쉽게 사용 가능하니깐 9. 근데 당연하게도 얘네는 학습된 데이터에서 벗어난 결과물을 만들 수 없음. 뭐 약간 다르게 모방은 가능하지만 아예 창의적으로 뭔가를 생성하는건 불가능함 10. 그래서 이 GPT는 뭐 강인공지능 그런거랑 전혀 상관없는 모델임. 얘는 그냥 엄청나게 많은 데이터를 효과적으로 학습한 모델일 뿐임 11. 근데 GPT-5 나올때쯤에는 뭔가 나올지도 모르겠지. 그게 무엇이고 언제 나올지는 전세계 누구도 모를껄

[Navy(211.195)]

깔-끔 굿굿

[익명(223.33)]

잘 읽었다 다음편도 기다릴께