Language Is The Next Great Frontier In AI (forbes.com)

μ–Έμ–΄λŠ” AI의 λ‹€μŒ μœ„λŒ€ν•œ κ°œμ²™μžμž…λ‹ˆλ‹€


λ‘­ ν† μš°μ¦ˆ 2022λ…„ 2μ›” 13일, 05:00pm 동뢀 ν‘œμ€€μ‹œ


μ–Έμ–΄λŠ” 인간 μ§€λŠ₯의 μ΄ˆμ„μž…λ‹ˆλ‹€.


μ–Έμ–΄μ˜ μΆœν˜„μ€ 우리 μ’…μ˜ μ—­μ‚¬μ—μ„œ κ°€μž₯ μ€‘μš”ν•œ 지적 λ°œλ‹¬μ΄μ—ˆμŠ΅λ‹ˆλ‹€. μ–Έμ–΄λ₯Ό 톡해 μš°λ¦¬λŠ” 생각을 κ³΅μ‹ν™”ν•˜κ³  μ„œλ‘œ μ˜μ‚¬ μ†Œν†΅ν•©λ‹ˆλ‹€. μ–Έμ–΄λ₯Ό 톡해 μš°λ¦¬λŠ” μΆ”μƒμ μœΌλ‘œ μΆ”λ‘ ν•˜κ³ , 세계가 무엇인지, 그리고 μ–΄λ–»κ²Œ 될 수 μžˆλŠ”μ§€μ— λŒ€ν•œ λ³΅μž‘ν•œ 아이디어λ₯Ό κ°œλ°œν•˜κ³ , μ„ΈλŒ€μ™€ 지역에 걸쳐 μ΄λŸ¬ν•œ 아이디어λ₯Ό ꡬ좕할 수 μžˆμŠ΅λ‹ˆλ‹€. ν˜„λŒ€ λ¬Έλͺ…에 κ΄€ν•œ 거의 λͺ¨λ“  것은 μ–Έμ–΄ μ—†μ΄λŠ” λΆˆκ°€λŠ₯ν•©λ‹ˆλ‹€.


λ”°λΌμ„œ μ–Έμ–΄λ₯Ό 이해할 수 μžˆλŠ” 기계λ₯Ό λ§Œλ“œλŠ” 것은 μ΄ˆμ°½κΈ°λΆ€ν„° 인곡 μ§€λŠ₯ λΆ„μ•Όμ˜ 쀑심 λͺ©ν‘œμ˜€μŠ΅λ‹ˆλ‹€.


그것은 미친 듯이 μ°ΎκΈ° νž˜λ“  κ²ƒμœΌλ‘œ μž…μ¦λ˜μ—ˆμŠ΅λ‹ˆλ‹€.


μ΄λŠ” μ–Έμ–΄λ₯Ό λ§ˆμŠ€ν„°ν•˜λŠ” 것이 "AI-μ™„μ „ν•œ" 문제 둜 μ•Œλ €μ§„ 문제이기 λ•Œλ¬Έ μž…λ‹ˆλ‹€. 즉, 인간이 μ•”μ‹œμ μœΌλ‘œ λ§ν•΄μ„œ ν•  수 μžˆλŠ” λ°©μ‹μœΌλ‘œ μ–Έμ–΄λ₯Ό μ§„μ •μœΌλ‘œ 이해할 수 μžˆλŠ” AIκ°€ λ‹€λ₯Έ 인간 μˆ˜μ€€μ˜ 지적 ν™œλ™μ„ ν•  수 있기 λ•Œλ¬Έμž…λ‹ˆλ‹€. κ°„λ‹¨νžˆ λ§ν•΄μ„œ μ–Έμ–΄λ₯Ό ν‘ΈλŠ” 것은 AIλ₯Ό ν‘ΈλŠ” 것이닀.


이 μ‹¬μ˜€ν•˜κ³  λ―Έλ¬˜ν•œ 톡찰λ ₯은 AI κ°œμ²™μž Alan Turing 이 획기적인 1950λ…„ λ…Όλ¬Έ μ—μ„œ μ†Œκ°œν•œ "Turing test" 의 ν•΅μ‹¬μž…λ‹ˆλ‹€ . μ’…μ’… λΉ„νŒμ„ λ°›κ±°λ‚˜ μ˜€ν•΄λ₯Ό 받기도 ν•˜μ§€λ§Œ Turing ν…ŒμŠ€νŠΈλŠ” 언어와 μ§€λŠ₯에 λŒ€ν•œ 근본적인 ν˜„μ‹€ 을 ν¬μ°©ν•©λ‹ˆλ‹€. 75번째 생일에 κ°€κΉŒμ›Œμ§€λ©΄μ„œ Turing이 처음 μƒκ°ν–ˆμ„ λ•Œμ™€ λ§ˆμ°¬κ°€μ§€λ‘œ μ—¬μ „νžˆ 관련성이 μžˆμŠ΅λ‹ˆλ‹€.


인λ₯˜λŠ” 아직 인간 μˆ˜μ€€μ˜ μ–Έμ–΄ μˆ™λ‹¬λ‘œ 기계 μ§€λŠ₯을 κ΅¬μΆ•ν•˜μ§€ λͺ»ν–ˆμŠ΅λ‹ˆλ‹€. (즉, 아직 튜링 ν…ŒμŠ€νŠΈλ₯Ό ν†΅κ³Όν•œ 기계 μ§€λŠ₯은 μ—†μŠ΅λ‹ˆλ‹€.) κ·ΈλŸ¬λ‚˜ μ§€λ‚œ λͺ‡ λ…„ λ™μ•ˆ μ—°κ΅¬μžλ“€μ€ μžμ—°μ–΄ 처리(NLP)라고도 ν•˜λŠ” μ–Έμ–΄ AIμ—μ„œ λ†€λžκ³  νŒλ„λ₯Ό λ°”κΎΈλŠ” 획기적인 λ°œμ „μ„ μ΄λ£¨μ—ˆμŠ΅λ‹ˆλ‹€.


이 κΈ°μˆ μ€ 이제 학문적 μ—°κ΅¬μ—μ„œ κ΄‘λ²”μœ„ν•œ μ‹€μ œ 적용으둜 도약할 νƒœμ„Έλ₯Ό κ°–μΆ˜ μ€‘μš”ν•œ 변곑점에 μžˆμŠ΅λ‹ˆλ‹€. κ·Έ κ³Όμ •μ—μ„œ λΉ„μ¦ˆλ‹ˆμŠ€ 세계와 우리의 일상 μƒν™œμ˜ 넓은 λ²”μœ„κ°€ λ°”λ€” κ²ƒμž…λ‹ˆλ‹€. μ–Έμ–΄μ˜ νŽΈμž¬μ„±μ„ κ°μ•ˆν•  λ•Œ 기술의 일뢀 μ˜μ—­μ€ μ•žμœΌλ‘œ μ‚¬νšŒμ— 더 κ΄‘λ²”μœ„ν•œ 영ν–₯을 λ―ΈμΉ  κ²ƒμž…λ‹ˆλ‹€.


트랜슀포머: ν•œ μ„ΈλŒ€μ— ν•œ 번뿐인 ν˜μ‹ 

μ˜€λŠ˜λ‚ μ˜ μ΅œμ²¨λ‹¨ μ–Έμ–΄ AI의 κΈ°λŠ₯을 μ„€λͺ…ν•˜λŠ” κ°€μž₯ κ°•λ ₯ν•œ 방법은 λͺ‡ κ°€μ§€ ꡬ체적인 μ˜ˆμ—μ„œ μ‹œμž‘ν•˜λŠ” κ²ƒμž…λ‹ˆλ‹€.


μ˜€λŠ˜λ‚ μ˜ AI λŠ” λ³΅μž‘ν•œ μ˜ν•™μ  μ§ˆλ¬Έμ— μ •ν™•ν•˜κ²Œ λ‹΅ ν•˜κ³  근본적인 생물학적 λ©”μ»€λ‹ˆμ¦˜μ„ μ„€λͺ…ν•  수 μžˆμŠ΅λ‹ˆλ‹€. 효과적인 μ΄μ‚¬νšŒ 회의λ₯Ό μš΄μ˜ν•˜λŠ” 방법에 λŒ€ν•œ λ―Έλ¬˜ν•œ λ©”λͺ¨λ₯Ό μž‘μ„±ν•  수 μžˆμŠ΅λ‹ˆλ‹€ . μžμ‹ μ˜ λŠ₯λ ₯κ³Ό ν•œκ³„λ₯Ό λΆ„μ„ν•œ 글을 μ“°λ©΄μ„œλ„ 인간 κ΄€μ°°μžλ₯Ό 섀득λ ₯ 있게 μ“Έ 수 μžˆλ‹€. 독창적이고 λ•Œλ‘œλŠ” μ•„λ¦„λ‹€μš΄ μ‹œμ™€ 문학을 생산할 수 μžˆμŠ΅λ‹ˆλ‹€ .


(μž μ‹œ μ‹œκ°„μ„ λ‚΄μ–΄ μ΄λŸ¬ν•œ 예λ₯Ό 직접 쑰사해 λ³Ό κ°€μΉ˜κ°€ μžˆμŠ΅λ‹ˆλ‹€.)


뢈과 5λ…„ μ „λ§Œ 해도 상상도 ν•  수 μ—†μ—ˆλ˜ 이 λ†€λΌμš΄ μƒˆλ‘œμš΄ AI λŠ₯λ ₯의 μ΄λ©΄μ—λŠ” 무엇이 μžˆμŠ΅λ‹ˆκΉŒ?


κ°„λ‹¨νžˆ λ§ν•΄μ„œ, 인곡지λŠ₯의 μƒˆλ‘œμš΄ κ°€λŠ₯성을 μ—΄μ–΄μ€€ μƒˆλ‘œμš΄ 신경망 μ•„ν‚€ν…μ²˜μΈ λ³€μ••κΈ°μ˜ 발λͺ…μž…λ‹ˆλ‹€.


Google 연ꡬ원 그룹은 2017λ…„ 말 ν˜„μž¬ 고전이 된 연ꡬ λ…Όλ¬Έ μ—μ„œ λ³€μ••κΈ°λ₯Ό μ†Œκ°œν–ˆμŠ΅λ‹ˆλ‹€ .


λ³€μ••κΈ° 이전에 NLP의 μ΅œμ‹  기술(예: LSTM 및 널리 μ‚¬μš©λ˜λŠ” Seq2Seq μ•„ν‚€ν…μ²˜ )은 μˆœν™˜ 신경망을 기반으둜 ν–ˆμŠ΅λ‹ˆλ‹€. μ •μ˜μ— λ”°λ₯΄λ©΄ μˆœν™˜ 신경망은 데이터λ₯Ό 순차적으둜, 즉 단어가 λ‚˜νƒ€λ‚˜λŠ” μˆœμ„œλŒ€λ‘œ ν•œ λ²ˆμ— ν•œ 단어씩 μ²˜λ¦¬ν•©λ‹ˆλ‹€.


Transformers의 μœ„λŒ€ν•œ ν˜μ‹ μ€ μ–Έμ–΄ 처리λ₯Ό 병렬화 ν•˜λŠ” κ²ƒμž…λ‹ˆλ‹€. 즉, μ£Όμ–΄μ§„ ν…μŠ€νŠΈ 본문의 λͺ¨λ“  토큰이 μˆœμ„œλŒ€λ‘œκ°€ μ•„λ‹ˆλΌ λ™μ‹œμ— λΆ„μ„λ©λ‹ˆλ‹€. 이 병렬화λ₯Ό μ§€μ›ν•˜κΈ° μœ„ν•΄ λ³€ν™˜κΈ°λŠ” 주의라고 ν•˜λŠ” AI λ©”μ»€λ‹ˆμ¦˜μ— μ˜μ‘΄ν•©λ‹ˆλ‹€. μ£Όμ˜λŠ” λͺ¨λΈμ΄ ν…μŠ€νŠΈμ—μ„œ 멀리 λ–¨μ–΄μ Έ μžˆλŠ” κ²½μš°μ—λ„ 단어 μ‚¬μ΄μ˜ 관계λ₯Ό κ³ λ €ν•˜κ³  κ΅¬μ ˆμ—μ„œ "주의λ₯Ό κΈ°μšΈμ΄λŠ”" κ°€μž₯ μ€‘μš”ν•œ 단어와 ꡬλ₯Ό κ²°μ •ν•  수 μžˆλ„λ‘ ν•©λ‹ˆλ‹€.


λ³‘λ ¬ν™”λŠ” λ˜ν•œ λ³€ν™˜κΈ°λ₯Ό RNN보닀 훨씬 더 κ³„μ‚°μ μœΌλ‘œ 효율적으둜 λ§Œλ“­λ‹ˆλ‹€. μ˜€λŠ˜λ‚  λ³€μ••κΈ° λͺ¨λΈμ˜ νŠΉμ§• 쀑 ν•˜λ‚˜λŠ” κ±°λŒ€ν•œ ν¬κΈ°μž…λ‹ˆλ‹€.


졜초의 트랜슀포머 νŽ˜μ΄νΌμ— 이어 세계 졜고의 AI 연ꡬ원듀이 이 근본적인 돌파ꡬλ₯Ό 기반으둜 ꡬ좕함에 따라 ν˜μ‹ μ˜ 물결이 λ’€λ”°λžμŠ΅λ‹ˆλ‹€.


획기적인 트랜슀포머 λͺ¨λΈ BERT 의 μΆœνŒμ€ 2018년에 μ΄λ£¨μ–΄μ‘ŒμŠ΅λ‹ˆλ‹€. Googleμ—μ„œ λ§Œλ“  BERT의 큰 κ°œλ…μ  λ°œμ „μ€ μ–‘λ°©ν–₯ κ΅¬μ‘°μž…λ‹ˆλ‹€(BERT의 BλŠ” "μ–‘λ°©ν–₯"을 λ‚˜νƒ€λƒ„). 이 λͺ¨λΈμ€ μ£Όμ–΄μ§„ 단어λ₯Ό 뢄석할 λ•Œ "μ–‘λ°©ν–₯으둜 λ΄…λ‹ˆλ‹€". μ™Όμͺ½μ—μ„œ 였λ₯Έμͺ½μœΌλ‘œ 단방ν–₯으둜 μž‘μ—…ν•˜λŠ” λŒ€μ‹  μ•žμ— μ˜€λŠ” 단어와 뒀에 μ˜€λŠ” 단어λ₯Ό λͺ¨λ‘ κ³ λ €ν•©λ‹ˆλ‹€. 이 μΆ”κ°€ μ»¨ν…μŠ€νŠΈλ₯Ό 톡해 더 ν’λΆ€ν•˜κ³  λ―Έλ¬˜ν•œ μ–Έμ–΄ λͺ¨λΈλ§μ΄ κ°€λŠ₯ν•©λ‹ˆλ‹€.


BERTλŠ” μ‚¬μš© 쀑인 κ°€μž₯ μ€‘μš”ν•œ λ³€μ••κΈ° 기반 λͺ¨λΈ 쀑 ν•˜λ‚˜λ‘œ 남아 있으며 μ΅œμ‹  λͺ¨λΈμ„ λΉ„κ΅ν•˜λŠ” κΈ°μ€€μœΌλ‘œ 자주 μ·¨κΈ‰λ©λ‹ˆλ‹€. 예λ₯Ό λ“€μ–΄ Facebook의 영ν–₯λ ₯ μžˆλŠ” RoBERTa λͺ¨λΈ (2019) κ³Ό 같은 변압기에 λŒ€ν•œ 후속 μ—°κ΅¬λŠ” BERT의 μ •μ œλ₯Ό 기반으둜 ν•©λ‹ˆλ‹€.


μ˜€λŠ˜λ‚  Google의 전체 검색 μ—”μ§„ 은 λ³€ν™˜κΈ°μ˜ μ‹€μ œ 영ν–₯에 λŒ€ν•œ κ°€μž₯ κ΄‘λ²”μœ„ν•œ 예 쀑 ν•˜λ‚˜μΈ BERT에 μ˜ν•΄ κ΅¬λ™λ©λ‹ˆλ‹€ .


λ³€μ••κΈ° μ„Έκ³„μ˜ 또 λ‹€λ₯Έ 핡심 연ꡬ λΆ„μ•ΌλŠ” OpenAI의 GPT λͺ¨λΈ μ œν’ˆκ΅°μž…λ‹ˆλ‹€. OpenAIλŠ” 2018λ…„ 6μ›” 에 원본 GPT λ₯Ό, 2019λ…„ 2μ›” 에 GPT-2 λ₯Ό, 2020λ…„ 5월에 GPT-3 을 κ²Œμ‹œν–ˆμŠ΅λ‹ˆλ‹€. GPT-J 및 GPT-Neo와 같은 μ΄λŸ¬ν•œ λͺ¨λΈμ˜ 인기 μžˆλŠ” μ˜€ν”ˆ μ†ŒμŠ€ 버전 이 λ’€λ₯Ό μ΄μ—ˆμŠ΅λ‹ˆλ‹€.


μ΄λ¦„μ˜ "G"μ—μ„œ μ•Œ 수 μžˆλ“―μ΄ GPT λͺ¨λΈμ€ μƒμ„±μ μž…λ‹ˆλ‹€. μž…λ ₯된 ν…μŠ€νŠΈ μž…λ ₯에 λŒ€ν•œ μ‘λ‹΅μœΌλ‘œ 원본 ν…μŠ€νŠΈ 좜λ ₯을 μƒμ„±ν•©λ‹ˆλ‹€. 이것은 λͺ¨λΈμ˜ GPT ν΄λž˜μŠ€μ™€ λͺ¨λΈμ˜ BERT 클래슀 κ°„μ˜ μ€‘μš”ν•œ μ°¨μ΄μ μž…λ‹ˆλ‹€. BERTλŠ” GPT와 달리 μƒˆ ν…μŠ€νŠΈλ₯Ό μƒμ„±ν•˜μ§€ μ•Šκ³  λŒ€μ‹  κΈ°μ‘΄ ν…μŠ€νŠΈλ₯Ό λΆ„μ„ν•©λ‹ˆλ‹€(검색, λΆ„λ₯˜ λ˜λŠ” 감정 뢄석과 같은 ν™œλ™μ„ 생각해 λ³΄μ„Έμš”).


GPT의 생성 κΈ°λŠ₯으둜 인해 μ΄λŸ¬ν•œ λͺ¨λΈμ€ 특히 주의λ₯Ό 끌게 λ©λ‹ˆλ‹€. κΈ€μ“°κΈ°κ°€ 창의적인 ν–‰μœ„λ‘œ 보이고 좜λ ₯이 λ†€λΌμšΈ μ •λ„λ‘œ 인간과 μœ μ‚¬ν•  수 있기 λ•Œλ¬Έμž…λ‹ˆλ‹€. ν…μŠ€νŠΈ 생성을 "NLP의 νŒŒν‹° 트릭"이라고도 ν•©λ‹ˆλ‹€. (μœ„μ— 링크된 4κ°€μ§€ μ˜ˆλŠ” λͺ¨λ‘ GPT-3의 ν…μŠ€νŠΈ 생성 μ˜ˆμž…λ‹ˆλ‹€.)


μ•„λ§ˆλ„ GPT μ•„ν‚€ν…μ²˜μ˜ κ°€μž₯ μ£Όλͺ©ν• λ§Œν•œ μš”μ†ŒλŠ” μˆœμ „ν•œ 크기일 κ²ƒμž…λ‹ˆλ‹€. OpenAIλŠ” 무엇보닀도 더 λ§Žμ€ μ»΄ν“¨νŒ…, 더 큰 ν›ˆλ ¨ 데이터 λͺ¨μŒ, 더 큰 λͺ¨λΈκ³Ό 같은 μ›μ‹œ 규λͺ¨λ₯Ό 톡해 κ³ κΈ‰ μ–Έμ–΄ AI κΈ°λŠ₯을 μΆ”κ΅¬ν•˜λ €λŠ” μ „λž΅μ— λŒ€ν•΄ μ˜λ„μ μ΄κ³  투λͺ…ν–ˆμŠ΅λ‹ˆλ‹€.


15μ–΅ 개의 λ§€κ°œλ³€μˆ˜κ°€ μžˆλŠ” GPT-2λŠ” μΆœμ‹œ λ‹Ήμ‹œ μ œμž‘λœ κ°€μž₯ 큰 λͺ¨λΈμ΄μ—ˆμŠ΅λ‹ˆλ‹€. 1년도 채 λ˜μ§€ μ•Šμ•„ 곡개된 GPT-3은 1,750μ–΅ 개의 λ§€κ°œλ³€μˆ˜λ‘œ 100λ°° 더 μ»€μ‘ŒμŠ΅λ‹ˆλ‹€. GPT-4κ°€ λŒ€λž΅ 100μ‘° 개의 λ§€κ°œλ³€μˆ˜ λ₯Ό 포함할 κ²ƒμ΄λΌλŠ” μ†Œλ¬Έμ΄ 돌고 μžˆμŠ΅λ‹ˆλ‹€ (μš°μ—°ν•˜κ²ŒλŠ” μ•„λ‹ˆμ§€λ§Œ, λŒ€λž΅ 인간 λ‘λ‡Œ 의 μ‹œλƒ…μŠ€ 수 와 동일함). 비ꡐ 포인트둜 κ°€μž₯ 큰 BERT λͺ¨λΈμ—λŠ” 3μ–΅ 4천만 개의 λ§€κ°œλ³€μˆ˜κ°€ μžˆμ—ˆμŠ΅λ‹ˆλ‹€.


μ˜€λŠ˜λ‚ μ˜ λͺ¨λ“  기계 ν•™μŠ΅ λ…Έλ ₯κ³Ό λ§ˆμ°¬κ°€μ§€λ‘œ μ΄λŸ¬ν•œ λͺ¨λΈμ˜ μ„±λŠ₯은 무엇보닀도 ν•™μŠ΅λœ 데이터에 따라 λ‹¬λΌμ§‘λ‹ˆλ‹€.


μ˜€λŠ˜λ‚ μ˜ λ³€μ••κΈ° 기반 λͺ¨λΈμ€ 기본적으둜 전체 인터넷을 μˆ˜μ§‘ν•˜μ—¬ μ–Έμ–΄λ₯Ό λ°°μ›λ‹ˆλ‹€. BERTλŠ” Wikipedia 전체λ₯Ό μ œκ³΅λ°›μ•˜μŠ΅λ‹ˆλ‹€(수천 ꢌ의 미곡개 μ±…μ˜ λ””μ§€ν„Έν™”λœ ν…μŠ€νŠΈμ™€ ν•¨κ»˜). RoBERTaλŠ” μΈν„°λ„·μ—μ„œ 훨씬 더 λ§Žμ€ μ–‘μ˜ ν…μŠ€νŠΈλ₯Ό ν•™μŠ΅ν•˜μ—¬ BERTλ₯Ό κ°œμ„ ν–ˆμŠ΅λ‹ˆλ‹€. GPT-3의 ν›ˆλ ¨ 데이터 μ„ΈνŠΈλŠ” 50μ–΅ 개의 μ–Έμ–΄ ν† ν°μœΌλ‘œ κ΅¬μ„±λœ 훨씬 더 μ»ΈμŠ΅λ‹ˆλ‹€. λ”°λΌμ„œ μ΄λŸ¬ν•œ λͺ¨λΈμ˜ 언어적 좜λ ₯κ³Ό 행동은 ꢁ극적으둜 인간이 이전에 μ˜¨λΌμΈμ— κ²Œμ‹œν•œ λͺ¨λ“  ν…μŠ€νŠΈμ˜ 톡계적 νŒ¨ν„΄μ„ 좔적할 수 μžˆμŠ΅λ‹ˆλ‹€.


μ΄λŸ¬ν•œ λŒ€κ·œλͺ¨ ν›ˆλ ¨ 데이터 μ„ΈνŠΈκ°€ κ°€λŠ₯ν•œ μ΄μœ λŠ” λ³€ν™˜κΈ°κ°€ λ ˆμ΄λΈ”μ΄ μ§€μ •λ˜μ§€ μ•Šμ€ λ°μ΄ν„°μ—μ„œ ν•™μŠ΅ν•˜λŠ” 자체 지도 ν•™μŠ΅μ„ μ‚¬μš©ν•˜κΈ° λ•Œλ¬Έμž…λ‹ˆλ‹€. 이것은 μ˜€λŠ˜λ‚ μ˜ μ΅œμ²¨λ‹¨ μ–Έμ–΄ AI λͺ¨λΈκ³Ό λ ˆμ΄λΈ”μ΄ μ§€μ •λœ λ°μ΄ν„°λ‘œ ν›ˆλ ¨ν•΄μ•Ό ν–ˆλ˜ 이전 μ„ΈλŒ€μ˜ NLP λͺ¨λΈ κ°„μ˜ 결정적인 μ°¨μ΄μ μž…λ‹ˆλ‹€. μ˜€λŠ˜λ‚ μ˜ 자체 지도 λͺ¨λΈμ€ 이전에 κ°€λŠ₯ν–ˆλ˜ 것보닀 훨씬 더 큰 데이터 μ„ΈνŠΈμ—μ„œ ν›ˆλ ¨ν•  수 μžˆμŠ΅λ‹ˆλ‹€. κ²°κ΅­ λ ˆμ΄λΈ”μ΄ μ§€μ •λ˜μ§€ μ•Šμ€ ν…μŠ€νŠΈ 데이터가 λ ˆμ΄λΈ”μ΄ μ§€μ •λœ ν…μŠ€νŠΈ 데이터보닀 μˆ˜μ‹­ λ°° 더 λ§ŽμŠ΅λ‹ˆλ‹€.


일뢀 κ΄€μ°°μžλ“€μ€ 트랜슀포머 μ•„ν‚€ν…μ²˜μ˜ λ‹€λ₯Έ μ–΄λ–€ κΈ°λŠ₯보닀 졜근 λͺ‡ λ…„ λ™μ•ˆ NLP의 극적인 μ„±λŠ₯ ν–₯μƒμ˜ κ°€μž₯ μ€‘μš”ν•œ 단일 λ™μΈμœΌλ‘œ 자기 지도 ν•™μŠ΅κ³Ό 이 기술이 잠금 ν•΄μ œν•˜λŠ” 훨씬 더 큰 ν›ˆλ ¨ 데이터 μ„ΈνŠΈλ₯Ό μ§€μ ν•©λ‹ˆλ‹€.




기초 λͺ¨λΈ

수백만 λ˜λŠ” μˆ˜μ‹­μ–΅ 개의 λ§€κ°œλ³€μˆ˜κ°€ μžˆλŠ” λŒ€κ·œλͺ¨ 데이터 μ„ΈνŠΈμ—μ„œ λͺ¨λΈμ„ ν›ˆλ ¨ν•˜λ €λ©΄ λ°©λŒ€ν•œ 계산 λ¦¬μ†ŒμŠ€μ™€ μ—”μ§€λ‹ˆμ–΄λ§ λ…Έν•˜μš°κ°€ ν•„μš”ν•©λ‹ˆλ‹€. 이것은 큰 μ–Έμ–΄ λͺ¨λΈμ„ μ—„μ²­λ‚˜κ²Œ λΉ„μ‹Έκ³  κ΅¬μΆ•ν•˜κΈ° μ–΄λ ΅κ²Œ λ§Œλ“­λ‹ˆλ‹€. 예λ₯Ό λ“€μ–΄ GPT-3은 ν›ˆλ ¨μ— μ΄ˆλ‹Ή 수천 νŽ˜νƒ€ν”Œλ‘­μ΄ ν•„μš”ν–ˆμœΌλ©° μ΄λŠ” μ—„μ²­λ‚œ μ–‘μ˜ 계산 λ¦¬μ†ŒμŠ€μž…λ‹ˆλ‹€.


μ „ μ„Έκ³„μ—μ„œ λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈμ„ μ²˜μŒλΆ€ν„° ꡬ좕할 수 μžˆλŠ” μžμ›κ³Ό 재λŠ₯이 μžˆλŠ” 쑰직은 거의 μ—†κΈ° λ•Œλ¬Έμ— μ˜€λŠ˜λ‚  거의 λͺ¨λ“  μ΅œμ²¨λ‹¨ NLP λͺ¨λΈμ€ BERT, RoBERTa, GPT-2, BART와 같은 μ†Œμˆ˜μ˜ κΈ°λ³Έ λͺ¨λΈμ—μ„œ μ±„νƒλ©λ‹ˆλ‹€. 거의 μ˜ˆμ™Έ 없이 μ΄λŸ¬ν•œ λͺ¨λΈμ€ Google, Facebook, OpenAI(Microsoftκ°€ μžκΈˆμ„ 지원함), Nvidia와 같은 세계 μ΅œλŒ€ 기술 νšŒμ‚¬μ—μ„œ μ œκ³΅ν•©λ‹ˆλ‹€.


아무도 κ³„νšν•˜μ§€ μ•Šκ³  NLP 기술 κ°œλ°œμ„ μœ„ν•œ μ™„μ „νžˆ μƒˆλ‘œμš΄ νŒ¨λŸ¬λ‹€μž„μ„ κ°€μ Έμ™”μŠ΅λ‹ˆλ‹€. μ΄λŠ” 초기 AI κ²½μ œμ— μ€‘λŒ€ν•œ 영ν–₯을 λ―ΈμΉ  κ²ƒμž…λ‹ˆλ‹€.


이 νŒ¨λŸ¬λ‹€μž„μ€ 사전 ν›ˆλ ¨κ³Ό λ―Έμ„Έ μ‘°μ •μ΄λΌλŠ” 두 κ°€μ§€ κΈ°λ³Έ λ‹¨κ³„λ‘œ 생각할 수 μžˆμŠ΅λ‹ˆλ‹€.


첫 번째 λ‹¨κ³„μ—μ„œ 기술 거물은 Google의 BERT λ˜λŠ” Facebook의 RoBERTa와 같은 λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈμ„ λ§Œλ“€κ³  κ³΅κ°œν•©λ‹ˆλ‹€.


κ°œλ³„ μ–Έμ–΄ μž‘μ—…μ„ μœ„ν•΄ λͺ¨λΈμ„ ꡬ좕해야 ν–ˆλ˜ 이전 μ„ΈλŒ€μ˜ NLP와 달리 μ΄λŸ¬ν•œ λŒ€κ·œλͺ¨ λͺ¨λΈμ€ νŠΉμ • ν™œλ™μ— νŠΉν™”λ˜μ–΄ μžˆμ§€ μ•ŠμŠ΅λ‹ˆλ‹€. κΈ°λŠ₯ 및 주제 μ˜μ—­ μ „λ°˜μ— 걸쳐 κ°•λ ₯ν•˜κ³  μΌλ°˜ν™”λœ μ–Έμ–΄ κΈ°λŠ₯이 μžˆμŠ΅λ‹ˆλ‹€. 기본적으둜 μ–Έμ–΄ λΆ„λ₯˜, μ–Έμ–΄ λ²ˆμ—­, 검색, 질문 λ‹΅λ³€, μš”μ•½, ν…μŠ€νŠΈ 생성, λŒ€ν™”μ™€ 같은 μ–Έμ–΄ λŠ₯λ ₯을 κ΅¬μ„±ν•˜λŠ” λͺ¨λ“  ν™œλ™ μ˜μ—­μ—μ„œ 잘 μˆ˜ν–‰λ©λ‹ˆλ‹€. μ΄λŸ¬ν•œ 각 ν™œλ™μ€ κ·Έ 자체둜 λ§€λ ₯적인 기술 및 경제적 기회λ₯Ό μ œκ³΅ν•©λ‹ˆλ‹€.


νŠΉμ • μ΅œμ’… μš©λ„μ— 맞게 μ‘°μ •ν•  수 있기 λ•Œλ¬Έμ— μ΄λŸ¬ν•œ κΈ°λ³Έ λͺ¨λΈμ„ "사전 ν•™μŠ΅"이라고 ν•©λ‹ˆλ‹€.


두 번째 λ‹¨κ³„μ—μ„œ λ‹€μš΄μŠ€νŠΈλ¦Ό μ‚¬μš©μž(μ Šμ€ 신생 κΈ°μ—…, ν•™μˆ  연ꡬ원, NLP λͺ¨λΈμ„ κ΅¬μΆ•ν•˜λ €λŠ” λͺ¨λ“  μ‚¬λžŒ)λŠ” μ΄λŸ¬ν•œ 사전 ν›ˆλ ¨λœ λͺ¨λΈμ„ μ„ νƒν•˜κ³  μžμ‹ μ˜ νŠΉμ • λͺ¨λΈμ— 맞게 μ΅œμ ν™”ν•˜κΈ° μœ„ν•΄ μ†ŒλŸ‰μ˜ μΆ”κ°€ ν›ˆλ ¨ λ°μ΄ν„°λ‘œ μˆ˜μ •ν•©λ‹ˆλ‹€. μ‚¬μš© 사둀 λ˜λŠ” μ‹œμž₯. 이 단계λ₯Ό "λ―Έμ„Έ μ‘°μ •"이라고 ν•©λ‹ˆλ‹€.


페이슀뢁 RoBERTa μž‘μ—…μ˜ μ£Όμ €μžμ΄μž ν˜„μž¬ 의료 NLP μŠ€νƒ€νŠΈμ—… BirchAI의 곡동 μ„€λ¦½μž/CTO인 Yinhan LiuλŠ” "μ˜€λŠ˜λ‚ μ˜ 사전 ν›ˆλ ¨λœ λͺ¨λΈμ€ 맀우 κ°•λ ₯ν•˜λ©° λ”μš± μ€‘μš”ν•˜κ²ŒλŠ” 곡개적으둜 μ‚¬μš©ν•  수 μžˆμŠ΅λ‹ˆλ‹€."라고 λ§ν–ˆμŠ΅λ‹ˆλ‹€. "λ³€μ••κΈ°λ₯Ό μš΄μš©ν•  수 μžˆλŠ” λ…Έν•˜μš°κ°€ μžˆλŠ” νŒ€μ˜ 경우 μ§ˆλ¬Έμ€ λ‹€μŒκ³Ό κ°™μŠ΅λ‹ˆλ‹€. 이 κΈ°μˆ μ„ μ μš©ν•  수 μžˆλŠ” κ°€μž₯ μ€‘μš”ν•˜κ±°λ‚˜ 영ν–₯λ ₯ μžˆλŠ” μ‚¬μš© μ‚¬λ‘€λŠ” λ¬΄μ—‡μž…λ‹ˆκΉŒ?"


이 "사전 ν›ˆλ ¨ ν›„ λ―Έμ„Έ μ‘°μ •" νŒ¨λŸ¬λ‹€μž„μ—μ„œλŠ” 사전 ν›ˆλ ¨λœ λͺ¨λΈ 생성과 ν•¨κ»˜ 무거운 μž‘μ—…μ„ 미리 μˆ˜ν–‰ν•©λ‹ˆλ‹€. λ―Έμ„Έ μ‘°μ • 후에도 μ΅œμ’… λͺ¨λΈμ˜ λ™μž‘μ€ 사전 ν›ˆλ ¨λœ λͺ¨λΈμ˜ λ§€κ°œλ³€μˆ˜μ— μ˜ν•΄ 크게 μ’Œμš°λ©λ‹ˆλ‹€.


이것은 μ΄λŸ¬ν•œ 사전 ν›ˆλ ¨λœ λͺ¨λΈμ„ μ—„μ²­λ‚˜κ²Œ 영ν–₯λ ₯ 있게 λ§Œλ“­λ‹ˆλ‹€. μ‹€μ œλ‘œ 영ν–₯λ ₯이 λ„ˆλ¬΄ μ»€μ„œ Stanford UniversityλŠ” μ΅œκ·Όμ— "기초 λͺ¨λΈ"μ΄λΌλŠ” μƒˆλ‘œμš΄ 이름을 λ§Œλ“€κ³  이λ₯Ό 더 잘 μ΄ν•΄ν•˜κΈ° μœ„ν•œ 전체 ν•™μˆ  ν”„λ‘œκ·Έλž¨μΈ CRFM( Center for Research on Foundation Models )을 μ‹œμž‘ν–ˆμŠ΅λ‹ˆλ‹€. μŠ€νƒ ν¬λ“œ νŒ€μ€ 기초 λͺ¨λΈκ³Ό 이λ₯Ό 생산할 수 μžˆλŠ” μžμ›μ„ λ³΄μœ ν•œ μ†Œκ·œλͺ¨ 기술 λŒ€κΈ°μ—…μ΄ μ „ 세계 인곡 μ§€λŠ₯의 미래 행동에 μ—„μ²­λ‚œ 영ν–₯을 λ―ΈμΉ  것이라고 λ―ΏμŠ΅λ‹ˆλ‹€.


μ—°κ΅¬μžλ“€μ€ λ‹€μŒ κ³Ό 같이 λ§ν–ˆμŠ΅λ‹ˆλ‹€. μ΄λŸ¬ν•œ κ· μ§ˆν™”λŠ” 맀우 높은 λ ˆλ²„λ¦¬μ§€λ₯Ό μƒμ„±ν•˜μ§€λ§Œ(κΈ°λ³Έ λͺ¨λΈμ˜ κ°œμ„ μ€ λͺ¨λ“  NLPμ—μ„œ 즉각적인 이점으둜 μ΄μ–΄μ§ˆ 수 있음), μ΄λŠ” λ˜ν•œ μ±…μž„μž…λ‹ˆλ‹€. λͺ¨λ“  AI μ‹œμŠ€ν…œμ€ λͺ‡ κ°€μ§€ κΈ°λ³Έ λͺ¨λΈμ˜ λ¬Έμ œκ°€ μžˆλŠ” λ™μΌν•œ 편ν–₯을 상속할 수 μžˆμŠ΅λ‹ˆλ‹€.”


μ΄λŸ¬ν•œ μŠ€νƒ ν¬λ“œμ˜ λ…Έλ ₯은 큰 μ–Έμ–΄ λͺ¨λΈμ— λŒ€ν•œ κ±°λŒ€ν•œ μ–΄λ ΄ν’‹ν•œ 문제인 μ‚¬νšŒμ  νŽΈκ²¬μ— μ£Όλͺ©ν•˜κ³  μžˆμŠ΅λ‹ˆλ‹€.


AI λͺ¨λΈμ—μ„œ μ‚¬νšŒμ  편견의 원인은 μš”μ•½ν•˜κΈ°λŠ” κ°„λ‹¨ν•˜μ§€λ§Œ κ·Όμ ˆν•˜κΈ°λŠ” κ΅ν™œν•˜κ²Œ μ–΄λ ΅μŠ΅λ‹ˆλ‹€. λŒ€ν˜• μ–Έμ–΄ λͺ¨λΈ(λ˜λŠ” μƒˆλ‘œμš΄ λΈŒλžœλ“œλ₯Ό μ‚¬μš©ν•˜κΈ° μœ„ν•œ 기초 λͺ¨λΈ)은 인간이 μ˜¨λΌμΈμ—μ„œ μž‘μ„±ν•œ 것을 μ„­μ·¨ν•˜μ—¬ μ–Έμ–΄λ₯Ό 배우기 λ•Œλ¬Έμ— λΆˆμ™„μ „ν•œ 인간 μ‘°μƒμ˜ 편견, 잘λͺ»λœ κ°€μ • 및 μœ ν•΄ν•œ λ―ΏμŒμ„ λΆˆκ°€ν”Όν•˜κ²Œ λ¬Όλ €λ°›μŠ΅λ‹ˆλ‹€. GPT-3의 λ°©λŒ€ν•œ ν›ˆλ ¨ 데이터 μ½”νΌμŠ€μ— ν¬ν•¨λ˜μ–΄μ•Ό ν•˜λŠ” λͺ¨λ“  λΆ€μˆ˜μ μΈ ν•˜μœ„ λ ˆλ”§κ³Ό νŽΈν˜‘ν•œ λΈ”λ‘œκ·Έλ₯Ό 상상해 λ³΄μ‹­μ‹œμ˜€.


λ¬Έμ œλŠ” κ΄‘λ²”μœ„ν•˜κ²Œ λ¬Έμ„œν™” λ˜μ–΄ μžˆμŠ΅λ‹ˆλ‹€ . μ˜€λŠ˜λ‚  κ°€μž₯ μ €λͺ…ν•œ μž¬λ‹¨ λͺ¨λΈμ€ λͺ¨λ‘ 인쒅차별, 성차별, 외ꡭ인 혐였 및 기타 λ°˜μ‚¬νšŒμ  κ²½ν–₯을 λ‚˜νƒ€λƒ…λ‹ˆλ‹€. 이 λ¬Έμ œλŠ” μž¬λ‹¨ λͺ¨λΈμ΄ μ‚¬νšŒμ—μ„œ 점점 더 영ν–₯λ ₯이 μ»€μ§€λ©΄μ„œ λ”μš± μ‹¬κ°ν•΄μ§ˆ κ²ƒμž…λ‹ˆλ‹€. 일뢀 κ΄€μ°°μžλ“€μ€ AI 편ν–₯이 데이터 ν”„λΌμ΄λ²„μ‹œλ‚˜ 사이버 λ³΄μ•ˆκ³Ό 같은 λ””μ§€ν„Έ μœ„ν˜‘κ³Ό λ§ˆμ°¬κ°€μ§€λ‘œ κ²°κ΅­ μ†ŒλΉ„μž, κΈ°μ—… 및 μ •λΆ€μ˜ 문제둜 λ‘λ“œλŸ¬μ§€κ²Œ 될 것이라고 λ―ΏμŠ΅λ‹ˆλ‹€. λ³€ν™”λŠ” μ‚¬νšŒκ°€ μ μ ˆν•˜κ²Œ μ μ‘ν•˜λŠ” λŠ₯λ ₯을 λŠ₯κ°€ν•©λ‹ˆλ‹€.


AI 편견과 독성 λ¬Έμ œμ— λŒ€ν•œ silver bulletΒ μ†”λ£¨μ…˜μ€ μ—†μŠ΅λ‹ˆλ‹€. κ·ΈλŸ¬λ‚˜ λ¬Έμ œκ°€ 더 널리 인식됨에 따라 μ—¬λŸ¬ μ™„ν™” μ „λž΅μ΄ μΆ”κ΅¬λ˜κ³  μžˆμŠ΅λ‹ˆλ‹€.


μ§€λ‚œλ‹¬ OpenAI λŠ” μΈκ°„μ˜ κ°€μΉ˜μ— "더 μ•ˆμ „ν•˜κ³ , 더 μœ μš©ν•˜κ³ , 더 μΌμΉ˜ν•˜λŠ”" GPT-3의 μƒˆ 버전을 개발 ν–ˆλ‹€κ³  λ°œν‘œ ν–ˆμŠ΅λ‹ˆλ‹€. 이 νšŒμ‚¬ λŠ” 인간 ν”Όλ“œλ°±μ—μ„œ κ°•ν™” ν•™μŠ΅μœΌλ‘œ μ•Œλ €μ§„ κΈ°μˆ μ„ μ‚¬μš© ν•˜μ—¬ μ›λž˜ GPT-3보닀 편ν–₯이 적고 μ§„μ‹€ν•˜λ„λ‘ λͺ¨λΈμ„ λ―Έμ„Έ μ‘°μ •ν–ˆμŠ΅λ‹ˆλ‹€. InstructGPTλΌλŠ” μƒˆ 버전은 이제 OpenAIκ°€ κ³ κ°μ—κ²Œ μ œκ³΅ν•˜λŠ” κΈ°λ³Έ μ–Έμ–΄ λͺ¨λΈμž…λ‹ˆλ‹€.


μ—­μ‚¬μ μœΌλ‘œ Alphabet의 DeepMindλŠ” μ–Έμ–΄ AIλ₯Ό μ£Όμš” 초점 μ˜μ—­μœΌλ‘œ λ§Œλ“€μ§€ μ•Šμ€ μ„Έκ³„μ—μ„œ κ°€μž₯ μ•žμ„  AI 연ꡬ 쑰직 쀑 ν•˜λ‚˜μ˜€μŠ΅λ‹ˆλ‹€. μ΄λŠ” 2021λ…„ 말에 λ³€κ²½λ˜μ—ˆμœΌλ©° DeepMind λŠ” λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈμ— λŒ€ν•œ μ€‘μš”ν•œ μž‘μ—… λͺ¨μŒμ„ λ°œν‘œ ν–ˆμŠ΅λ‹ˆλ‹€.


DeepMindκ°€ λ°œν‘œν•œ 3개의 NLP λ…Όλ¬Έ 쀑 1κ°œλŠ” μ–Έμ–΄ AI의 윀리적, μ‚¬νšŒμ  μœ„ν—˜μ— μ „μ μœΌλ‘œ μ „λ…ν•©λ‹ˆλ‹€. 이 λ…Όλ¬Έ 은 차별, 배제, 독성 및 잘λͺ»λœ 정보λ₯Ό ν¬ν•¨ν•˜μ—¬ μ–Έμ–΄ λͺ¨λΈμ΄ μ œκΈ°ν•˜λŠ” 6κ°€μ§€ 주제 μ˜μ—­κ³Ό 21κ°€μ§€ νŠΉμ • μœ„ν—˜μ— λŒ€ν•œ 포괄적인 λΆ„λ₯˜λ₯Ό μ œμ•ˆ ν•©λ‹ˆλ‹€. DeepMindλŠ” μ–Έμ–΄ AI의 ν˜μ‹ μ„ μ±…μž„κ° 있게 좔ꡬ할 수 μžˆλ„λ‘ μ΄λŸ¬ν•œ μœ„ν—˜μ„ NLP μ—°κ΅¬μ˜ 쀑심 초점으둜 μ‚Όκ² λ‹€κ³  μ•½μ†ν–ˆμŠ΅λ‹ˆλ‹€.


μ΅œκ·ΌκΉŒμ§€ λŒ€λΆ€λΆ„μ˜ 세계 NLP 연ꡬ원듀이 λ‚˜μ€‘μ— κ³ λ €ν•˜κ±°λ‚˜ λ¬΄μ‹œν•΄ μ™”λ˜ μ–Έμ–΄ AI μ—°κ΅¬μ˜ μ΄λŸ¬ν•œ 차원이 졜근 DeepMind의 μ–Έμ–΄ AI μ§„μΆœμ—μ„œ 핡심적인 역할을 ν–ˆλ‹€λŠ” 사싀은 이 λΆ„μ•Όμ˜ μš°μ„  μˆœμœ„κ°€ μ•žμœΌλ‘œ λ‚˜μ•„κ°€κ³  μžˆλ‹€λŠ” μ‹ ν˜ΈμΌ 수 μžˆμŠ΅λ‹ˆλ‹€.


AI λͺ¨λΈμ—μ„œ 편ν–₯κ³Ό λ…μ„±μ˜ 피해에 λŒ€ν•œ 규제 초점 μ¦κ°€λŠ” μ΄λŸ¬ν•œ λ³€ν™”λ₯Ό 가속화할 λΏμž…λ‹ˆλ‹€. 그리고 μ‹€μˆ˜ν•˜μ§€ λ§ˆμ‹­μ‹œμ˜€. 이 μ „μ„ μ—μ„œ 규제 μ‘°μΉ˜λŠ” μ–Έμ œκ°€ μ•„λ‹ˆλΌ μ–Έμ œμ˜ λ¬Έμ œμž…λ‹ˆλ‹€.


μžμ—°μ–΄ λ„ˆλ¨Έ

ν₯λ―Έλ‘­κ²Œλ„ μ˜€λŠ˜λ‚  NLP의 κ°€μž₯ 창의적인 μ‚¬μš© μ‚¬λ‘€μ—λŠ” μžμ—°μ–΄κ°€ μ „ν˜€ ν¬ν•¨λ˜μ§€ μ•ŠμŠ΅λ‹ˆλ‹€. 특히, μ˜€λŠ˜λ‚ μ˜ μ΅œμ²¨λ‹¨ μ–Έμ–΄ AI κΈ°μˆ μ€ μ½”λ”©κ³Ό μƒλ¬Όν•™μ΄λΌλŠ” 두 κ°€μ§€ λ‹€λ₯Έ μ˜μ—­μ—μ„œ λ†€λΌμš΄ 돌파ꡬλ₯Ό μ œκ³΅ν•˜κ³  μžˆμŠ΅λ‹ˆλ‹€.


Python, Ruby λ˜λŠ” Java와 상관없이 컴퓨터 ν”„λ‘œκ·Έλž˜λ°μ€ μ–Έμ–΄λ₯Ό 톡해 λ°œμƒν•©λ‹ˆλ‹€. μ˜μ–΄λ‚˜ μŠ€μ™€νžλ¦¬μ–΄μ™€ 같은 μžμ—°μ–΄μ™€ λ§ˆμ°¬κ°€μ§€λ‘œ ν”„λ‘œκ·Έλž˜λ° μ–Έμ–΄λŠ” μƒμ§•μ μœΌλ‘œ ν‘œν˜„λ˜κ³  κ·œμΉ™μ μΈ κ·œμΉ™μ„ λ”°λ₯΄λ©° κ°•λ ₯ν•œ λ‚΄λΆ€ 논리λ₯Ό κ°€μ§€κ³  μžˆμŠ΅λ‹ˆλ‹€. 청쀑은 λ‹€λ₯Έ μ‚¬λžŒμ΄ μ•„λ‹ˆλΌ μ†Œν”„νŠΈμ›¨μ–΄ 컴파일러일 λΏμž…λ‹ˆλ‹€.


λ”°λΌμ„œ AIμ—κ²Œ μžμ—°μ–΄μ— λŒ€ν•œ λ†€λΌμš΄ μœ μ°½ν•¨μ„ λΆ€μ—¬ν•œ λ™μΌν•œ κ°•λ ₯ν•œ μ‹ κΈ°μˆ μ„ ν”„λ‘œκ·Έλž˜λ° 언어에도 λ§ˆμ°¬κ°€μ§€λ‘œ μ μš©ν•  수 있으며 μœ μ‚¬ν•œ κ²°κ³Όλ₯Ό 얻을 수 μžˆμŠ΅λ‹ˆλ‹€.


μ§€λ‚œ 여름 OpenAI λŠ” 컴퓨터 μ½”λ“œλ₯Ό λ†€λΌμšΈ μ •λ„λ‘œ 잘 μž‘μ„±ν•  수 μžˆλŠ” 트랜슀포머 기반 λͺ¨λΈμΈ Codexλ₯Ό λ°œν‘œν–ˆμŠ΅λ‹ˆλ‹€ . 이와 λ™μ‹œμ— GitHub(λͺ¨νšŒμ‚¬μΈ Microsoftλ₯Ό 톡해 OpenAI와 제휴)λŠ” Copilotμ΄λΌλŠ” μ œν’ˆν™”λœ Codex 버전을 μΆœμ‹œν–ˆμŠ΅λ‹ˆλ‹€ .


Codexλ₯Ό κ°œλ°œν•˜κΈ° μœ„ν•΄ OpenAIλŠ” GPT-3을 가져와 GitHubμ—μ„œ 곡개적으둜 μ‚¬μš© κ°€λŠ₯ν•œ λ°©λŒ€ν•œ μ–‘μ˜ μž‘μ„±λœ μ½”λ“œλ‘œ λ―Έμ„Έ μ‘°μ •ν–ˆμŠ΅λ‹ˆλ‹€.


Codex의 λ””μžμΈμ€ κ°„λ‹¨ν•©λ‹ˆλ‹€. 인간 μ‚¬μš©μžλŠ” λͺ…λ Ήμ΄λ‚˜ κΈ°λŠ₯에 λŒ€ν•œ 일반 μ˜μ–΄ μ„€λͺ…을 μ œκ³΅ν•˜κ³  CodexλŠ” 이 μ„€λͺ…을 μž‘λ™ν•˜λŠ” 컴퓨터 μ½”λ“œλ‘œ λ°”κΏ‰λ‹ˆλ‹€. 예λ₯Ό λ“€μ–΄ μ‚¬μš©μžλŠ” Codex에 "이 이미지λ₯Ό μ›ν˜•μœΌλ‘œ 자λ₯΄κΈ°" λ˜λŠ” "μ™Όμͺ½ 및 였λ₯Έμͺ½ λ²½μ—μ„œ νŠ€μ–΄ λ‚˜μ˜€λ„λ‘ 이 이미지λ₯Ό μˆ˜ν‰μœΌλ‘œ μ• λ‹ˆλ©”μ΄μ…˜"ν•  수 있으며 CodexλŠ” μ΄λŸ¬ν•œ μž‘μ—…μ„ κ΅¬ν˜„ν•˜κΈ° μœ„ν•œ μ½”λ“œ μŠ€λ‹ˆνŽ«μ„ 생성할 수 μžˆμŠ΅λ‹ˆλ‹€. (이 μ •ν™•ν•œ μ˜ˆλŠ” OpenAI μ›Ήμ‚¬μ΄νŠΈ μ—μ„œ 확인할 수 μžˆμŠ΅λ‹ˆλ‹€ .) CodexλŠ” Pythonμ—μ„œ κ°€μž₯ 유λŠ₯ν•˜μ§€λ§Œ 12개 μ΄μƒμ˜ ν”„λ‘œκ·Έλž˜λ° 언어에 λŠ₯μˆ™ν•©λ‹ˆλ‹€.


그리고 뢈과 2μ£Ό μ „ DeepMind λŠ” AlphaCodeλ₯Ό λ°œν‘œ ν•˜μ—¬ AI μ½”λ”©μ˜ ν•œκ³„λ₯Ό λ”μš± λ°œμ „μ‹œμΌ°μŠ΅λ‹ˆλ‹€ .


AlphaCodeλŠ” ν”„λ‘œκ·Έλž˜λ° λŒ€νšŒμ—μ„œ 인간 μˆ˜μ€€μ—μ„œ κ²½μŸν•  수 μžˆλŠ” AI μ‹œμŠ€ν…œμž…λ‹ˆλ‹€. λ§€λ…„ μˆ˜μ‹­λ§Œ λͺ…μ˜ μ°Έκ°€μžκ°€ μ°Έκ°€ν•˜λŠ” 이 λŒ€νšŒμ—μ„œ μ°Έκ°€μžλŠ” μ˜μ–΄λ‘œ 된 κΈ΄ 문제 μ„€λͺ…을 λ°›κ³  이λ₯Ό ν•΄κ²°ν•˜λŠ” μ™„μ „ν•œ 컴퓨터 ν”„λ‘œκ·Έλž¨μ„ ꡬ성해야 ν•©λ‹ˆλ‹€. 예제 λ¬Έμ œμ—λŠ” λ§žμΆ€ν˜• λ³΄λ“œ κ²Œμž„μ„ μœ„ν•œ μ „λž΅ κ³ μ•ˆ λ˜λŠ” μ‚°μˆ  기반 λ‘λ‡Œ 자극 문제 해결이 ν¬ν•¨λ©λ‹ˆλ‹€.


OpenAI의 CodexλŠ” ꡬ체적인 μ„€λͺ…에 λŒ€ν•œ μ‘λ‹΅μœΌλ‘œ 짧은 μ½”λ“œ μŠ€λ‹ˆνŽ«μ„ 생성할 수 μžˆμ§€λ§Œ DeepMind의 AlphaCodeλŠ” 훨씬 더 λ‚˜μ•„κ°‘λ‹ˆλ‹€. μ‹€μ œ ν”„λ‘œκ·Έλž˜λ°μ˜ μ™„μ „ν•œ λ³΅μž‘μ„±μ— μ ‘κ·Όν•˜κΈ° μ‹œμž‘ν•©λ‹ˆλ‹€. λͺ…ν™•ν•œ μ†”λ£¨μ…˜ 없이 좔상적인 문제λ₯Ό ν‰κ°€ν•˜κ³ , 이λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•œ κ΅¬μ‘°ν™”λœ μ ‘κ·Ό 방식을 κ³ μ•ˆν•œ λ‹€μŒ, μ΅œλŒ€ 수백 μ€„μ˜ μ½”λ“œλ‘œ ν•΄λ‹Ή μ ‘κ·Ό 방식을 μ‹€ν–‰ν•©λ‹ˆλ‹€. AlphaCodeλŠ” 높은 μˆ˜μ€€μ˜ 좔둠인 AIμ—μ„œ 거의 찾아보기 νž˜λ“  속성을 ν‘œμ‹œν•˜λŠ” 것 κ°™μŠ΅λ‹ˆλ‹€.


DeepMind의 AlphaCode νŒ€ 은 λ‹€μŒκ³Ό 같이 λ§ν–ˆμŠ΅λ‹ˆλ‹€. 인곡 μ§€λŠ₯이 인λ₯˜λ₯Ό 돕기 μœ„ν•΄μ„œλŠ” 우리 μ‹œμŠ€ν…œμ΄ 문제 ν•΄κ²° λŠ₯λ ₯을 κ°œλ°œν•  수 μžˆμ–΄μ•Ό ν•©λ‹ˆλ‹€. AlphaCodeλŠ” λΉ„νŒμ  사고, 논리, μ•Œκ³ λ¦¬μ¦˜, μ½”λ”© 및 μžμ—°μ–΄ μ΄ν•΄μ˜ 쑰합이 ν•„μš”ν•œ ν”„λ‘œκ·Έλž˜λ° λŒ€νšŒμ˜ μƒˆλ‘œμš΄ 문제λ₯Ό ν•΄κ²°ν•©λ‹ˆλ‹€.”


μ˜€λŠ˜λ‚ μ˜ μ΅œμ²¨λ‹¨ NLPκ°€ λ†€λΌμš΄ 톡찰λ ₯을 μƒμ„±ν•˜κΈ° μ‹œμž‘ν•œ 또 λ‹€λ₯Έ "μ–Έμ–΄"λŠ” μœ μ „μ²΄ν•™μ—μ„œ λ‹¨λ°±μ§ˆμ— 이λ₯΄κΈ°κΉŒμ§€ μƒλ¬Όν•™μž…λ‹ˆλ‹€.


μœ μ „μ²΄ν•™μ€ 개인의 전체 μœ μ „μ  νŠΉμ„±μ΄ A(μ•„λ°λ‹Œμ˜ 경우), C(μ‹œν† μ‹ μ˜ 경우), G(κ΅¬μ•„λ‹Œμ˜ 경우), T(κ΅¬μ•„λ‹Œμ˜ 경우)λΌλŠ” κ°„λ‹¨ν•œ 4자 μ•ŒνŒŒλ²³μœΌλ‘œ μΈμ½”λ”©λ˜μ–΄ 있기 λ•Œλ¬Έμ— λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈμ˜ μ μš©μ— 맀우 μ ν•©ν•©λ‹ˆλ‹€. ν‹°λ―Ό). λͺ¨λ“  μΈκ°„μ˜ DNAλŠ” νŠΉμ • μˆœμ„œλ‘œ μˆ˜μ‹­μ–΅ 개의 A, C, G 및 T(λ‰΄ν΄λ ˆμ˜€ν‹°λ“œλ‘œ μ•Œλ €μ§)의 λ¬Έμžμ—΄λ‘œ μ •μ˜λ©λ‹ˆλ‹€.


λ§Žμ€ λ©΄μ—μ„œ DNAλŠ” μΌμ’…μ˜ μ–΄νœ˜, 문법, 의미둠과 μœ μ‚¬ν•œ κ·œμΉ™μ μΈ νŒ¨ν„΄μ„ λ‚˜νƒ€λ‚΄λŠ” μ—ΌκΈ°μ„œμ—΄κ³Ό ν•¨κ»˜ 언어와 같은 κΈ°λŠ₯을 ν•©λ‹ˆλ‹€. 이 μ–Έμ–΄λŠ” 무엇을 λ§ν•©λ‹ˆκΉŒ? ν‚€μ—μ„œ 눈 색깔, 심μž₯λ³‘μ΄λ‚˜ μ•½λ¬Ό λ‚¨μš© μœ„ν—˜μ— 이λ₯΄κΈ°κΉŒμ§€ μš°λ¦¬κ°€ λˆ„κ΅¬μΈμ§€μ— λŒ€ν•΄ λ§Žμ€ 것을 μ •μ˜ν•©λ‹ˆλ‹€.


큰 μ–Έμ–΄ λͺ¨λΈμ€ ν˜„μž¬ DNA의 μ–Έμ–΄, 특히 "λΉ„μ½”λ”©" μ˜μ—­μ„ ν•΄λ…ν•˜λŠ” 데 κΈ‰μ†ν•œ λ°œμ „μ„ 이루고 μžˆμŠ΅λ‹ˆλ‹€. 이 λΉ„μ•”ν˜Έν™” μ˜μ—­μ€ μœ μ „μžλ₯Ό ν¬ν•¨ν•˜μ§€ μ•Šκ³  였히렀 μ œμ–΄ μœ μ „μž: μ£Όμ–΄μ§„ μœ μ „μžκ°€ μ–Όλ§ˆλ‚˜, μ–Έμ œ, μ–΄λ””μ„œ λ°œν˜„λ˜λŠ”μ§€λ₯Ό μ‘°μ ˆν•˜μ—¬ 생λͺ… μœ μ§€μ— 쀑심 역할을 λΆ€μ—¬ν•©λ‹ˆλ‹€. λΉ„μ•”ν˜Έν™” μ˜μ—­μ€ 전체 DNA의 98%λ₯Ό κ΅¬μ„±ν•˜μ§€λ§Œ μ§€κΈˆκΉŒμ§€ μ œλŒ€λ‘œ μ΄ν•΄λ˜μ§€ μ•Šμ•˜μŠ΅λ‹ˆλ‹€.


λͺ‡ 달 μ „ DeepMind λŠ” μ „λ‘€ μ—†λŠ” μ •ν™•λ„λ‘œ DNA μ„œμ—΄μ„ 기반으둜 μœ μ „μž λ°œν˜„μ„ μ˜ˆμΈ‘ν•  수 μžˆλŠ” μƒˆλ‘œμš΄ λ³€μ••κΈ° 기반 μ•„ν‚€ν…μ²˜λ₯Ό λ„μž… ν–ˆμŠ΅λ‹ˆλ‹€. 이전보닀 훨씬 더 λ¨Ό κ±°λ¦¬μ—μ„œ μœ μ „μžμ™€ λΉ„μ•”ν˜Έν™” DNA μ„œμ—΄ κ°„μ˜ μƒν˜Έμž‘μš©μ„ κ³ λ €ν•¨μœΌλ‘œμ¨ κ·Έλ ‡κ²Œ ν•©λ‹ˆλ‹€. Harvard의 ν•œ νŒ€μ€ μ˜₯수수의 μœ μ „μž λ°œν˜„μ„ 더 잘 μ΄ν•΄ν•˜κΈ° μœ„ν•΄ μœ μ‚¬ν•œ λ°©μ‹μœΌλ‘œ μž‘μ—… 을 μ™„λ£Œν–ˆμŠ΅λ‹ˆλ‹€(λͺ¨λΈ 이름을 "CornBERT"둜 μ μ ˆν•˜κ²Œ μ§€μ •).


μ–Έμ–΄ AI의 λΉ„μ˜₯ν•œ κΈ°λ°˜μ„ λ‚˜νƒ€λ‚΄λŠ” μƒλ¬Όν•™μ˜ 또 λ‹€λ₯Έ ν•˜μœ„ λΆ„μ•Ό λŠ” λ‹¨λ°±μ§ˆ μ—°κ΅¬μž…λ‹ˆλ‹€ . λ‹¨λ°±μ§ˆμ€ νŠΉμ • μˆœμ„œλ‘œ ν•¨κ»˜ μ—°κ²°λœ μ•„λ―Έλ…Έμ‚°μœΌλ‘œ μ•Œλ €μ§„ λΉŒλ”© λΈ”λ‘μ˜ λ¬Έμžμ—΄μž…λ‹ˆλ‹€. 총 20개의 아미노산이 μžˆμŠ΅λ‹ˆλ‹€. λ”°λΌμ„œ λͺ¨λ“  λ³΅μž‘μ„±μ—λ„ λΆˆκ΅¬ν•˜κ³  λ‹¨λ°±μ§ˆμ€ ν† ν°ν™”λœ λ¬Έμžμ—΄(μžμ—°μ–΄μ˜ 각 단어와 λ§ˆμ°¬κ°€μ§€λ‘œ 각 아미노산이 ν† ν°μž„)으둜 처리되고 그에 따라 뢄석될 수 μžˆμŠ΅λ‹ˆλ‹€.


예λ₯Ό λ“€μ–΄ Salesforce의 AI μ—°κ΅¬νŒ€μ€ 졜근 "λ‹¨λ°±μ§ˆ μ–Έμ–΄λ₯Ό ν•™μŠ΅"ν•˜λŠ” NLP λͺ¨λΈμ„ κ΅¬μΆ•ν–ˆμœΌλ©° 미리 μ§€μ •λœ νŠΉμ„±μœΌλ‘œ μžμ—°μ— μ‘΄μž¬ν•˜μ§€ μ•ŠλŠ” κ·ΈλŸ΄λ“―ν•œ λ‹¨λ°±μ§ˆ μ„œμ—΄μ„ 생성할 수 μžˆμŠ΅λ‹ˆλ‹€. μ΄λŸ¬ν•œ μœ ν˜•μ˜ μ œμ–΄ κ°€λŠ₯ν•œ λ‹¨λ°±μ§ˆ ν•©μ„±μ˜ 잠재적인 μ‘μš©μ€ κ°μ§ˆλ‚˜κ²Œ ν•©λ‹ˆλ‹€.


μ΄λŸ¬ν•œ λ…Έλ ₯은 μ‹œμž‘μ— λΆˆκ³Όν•©λ‹ˆλ‹€. μ•žμœΌλ‘œ λͺ‡ κ°œμ›”κ³Ό λͺ‡ λ…„ μ•ˆμ— μ–Έμ–΄ AIλŠ” μ‚Ά μžμ²΄κ°€ μ–΄λ–»κ²Œ μž‘λ™ν•˜λŠ”μ§€ μ΄ν•΄ν•˜λŠ” 데 μ§€λŒ€ν•œ κ³΅ν—Œμ„ ν•  κ²ƒμž…λ‹ˆλ‹€.


κ²°λ‘ 

μ–Έμ–΄λŠ” 인간 μ§€λŠ₯의 ν•΅μ‹¬μž…λ‹ˆλ‹€. λ”°λΌμ„œ 이것은 인곡 μ§€λŠ₯을 κ΅¬μΆ•ν•˜λ €λŠ” 우리 λ…Έλ ₯의 핡심이며 또 κ·Έλž˜μ•Ό ν•©λ‹ˆλ‹€. μ •κ΅ν•œ AIλŠ” μ–Έμ–΄λ₯Ό μˆ™λ‹¬ν•˜μ§€ μ•Šκ³  μ‘΄μž¬ν•  수 μ—†μŠ΅λ‹ˆλ‹€.


μ˜€λŠ˜λ‚  μ–Έμ–΄ AI λΆ„μ•ΌλŠ” 산업을 λ³€ν™”μ‹œν‚€κ³  μˆ˜μ‹­μ–΅ λ‹¬λŸ¬ 규λͺ¨μ˜ μƒˆλ‘œμš΄ 기업을 νƒ„μƒμ‹œν‚€λŠ” μ‹ λ‚˜λŠ” 변곑점에 μžˆμŠ΅λ‹ˆλ‹€. λ™μ‹œμ— μ΄μ œμ•Ό λΉ„λ‘œμ†Œ λ§ˆλ•…νžˆ λ°›μ•„μ•Ό ν•  관심을 λ°›κΈ° μ‹œμž‘ν•œ 편견과 독성과 같은 μ‚¬νšŒμ  μœ„ν—˜μ΄ 도사리고 μžˆμŠ΅λ‹ˆλ‹€.


이 κΈ°μ‚¬λŠ” μ˜€λŠ˜λ‚  μ–Έμ–΄ AI의 세계λ₯Ό ν˜•μ„±ν•˜λŠ” 큰 그림의 λ°œμ „κ³Ό μΆ”μ„Έλ₯Ό νƒκ΅¬ν–ˆμŠ΅λ‹ˆλ‹€. 후속 κΈ°μ‚¬μ—μ„œλŠ” μ˜€λŠ˜λ‚  κ°€μž₯ ν₯λ―Έμ§„μ§„ν•œ NLP μŠ€νƒ€νŠΈμ—…μ„ μ‚΄νŽ΄λ΄…λ‹ˆλ‹€. μ¦κ°€ν•˜λŠ” NLP κΈ°μ—…κ°€ 그룹은 뢄야와 μ‚¬μš© 사둀 μ „λ°˜μ— 걸쳐 창의적인 λ°©μ‹μœΌλ‘œ μ΅œμ²¨λ‹¨ μ–Έμ–΄ AIλ₯Ό μ μš©ν•˜μ—¬ λ§‰λŒ€ν•œ 경제적 κ°€μΉ˜μ™€ μ‹¬κ°ν•œ μ‚°μ—… 파괴λ₯Ό μ°½μΆœν•˜κ³  μžˆμŠ΅λ‹ˆλ‹€. μ•žμœΌλ‘œ λͺ‡ λ…„ λ™μ•ˆ 더 λ§Žμ€ κ°€λŠ₯성을 μ§€λ‹Œ μŠ€νƒ€νŠΈμ—… μΉ΄ν…Œκ³ λ¦¬λŠ” 거의 μ—†μŠ΅λ‹ˆλ‹€.