ac5939a70001b942813e33669735c1bcc2a977c21c773585f0dabed5e42e074dc2d2542d4ea3fd29cda1c4717447af1908ca8fabdeb2cbf52b093c6164def0aa182fcb




Q: 현재 각 사에서 훈련중인 모델은 '처음으로 대규모로 합성데이터를 활용해 훈련시키는 모델'들이 될 것이다. 지금 웹에 있는 많은 데이터들은 LLM들이 만들어낸 합성데이터 때문. 그것들이 많이 섞이기 시작할 것으로 보이는데, 시스템이 멍청해지거나 하진 않을까?


샘 : 중요한 것은 품질이다. 저품질 '합성' 데이터 뿐 아니라 저품질 '인간' 데이터도 많다. 충분한 고품질의 데이터를 확보하거나 적은 데이터로도 더 잘 학습할 수 있도록 효율성을 높이면 된다. 이번 모델에는 큰 문제 없다.


Q: 합성데이터로 훈련하는 테스트를 해보았는가? 혹시 훈련에 합성데이터를 넣으셨는지


샘 : LLM이 합성데이터를 만들어내 무수한 토큰을 만들고 다시 모델에 먹이는 그런 방식은 비효율적이다. 스스로가 만든 것을 다시 먹이는 셈이기 때문. 지금 핵심은 '더 많이 배우도록' 하는 것이다. 물론 합성데이터를 생성해 모델을 훈련시키는 실험은 진행했다. 하지만 본질적인 것은 역시 '적은 데이터로 얼마나 많이 배울 수 있는가' 다. 


나는 지금까지 시리와 같은 폰의 음성모드를 쓰지 않았다. 하지만 이번에 '자연스러운' 음성 인터페이스가 얼마나 큰 가치를 가지는 지를 알게 되었다. 우린 꽤 빨리 보이스모델을 출시할 생각이다. 예전에 스위스에서 어떤 산을 타고 있었는데, 어떤 남자가 멀리서 내게 프랑스어로 소리를 질렀다. 나는 이해하는 척 했지만 사실은 무슨 뜻인지 못 알아들었다. 나중에 알고보니 내가 산의 위험한 지역으로 가고 있어서 프랑스어로 경고해줬던 것이다. 거의 낭떠러지에 떨어질 뻔 했었다. 보이스모델이 실생활에 적용되면 이런 일이 없어질 것이다.


Q: 스칼렛 요한슨 사건에 대해 설명해주시라


샘 : 우린 많은 성우들을 초청해 오디션을 봤고, 다섯 가지 음성을 선택했다. 그 뒤 스칼렛 요한슨에게 연락을 해서 참여 의사를 물었다. 만약 그녀가 참여했다면 여섯번째 목소리가 됐을 것이다. 우린 스칼렛 요한슨의 목소리를 사용하지 않았다. 더 할말이 없다.


Q: 미래에는 세계에 몇가지 모델이 있을 것 같은가? 약 3년 후에는 기본 모델들이 다양할까? 중국, 나이지리아, 인도에서 별개의 모델을 쓸까?


샘 : 최소한 중국은 세계와 다른 자체 개발 모델을 쓸 것이다. 수 백, 수 천개의 기본 모델들이 있지는 않을 것이다. 10개에서 20개 정도의 많은 자원을 투입해서 만들어진 모델들만이 세계에서 대부분의 사용량을 충당할 것으로 예상한다. 하지만 너무 초기 단계에 있기 때문에 섣불리 예상할 수 없고 많은 과학적 돌파구가 있기 때문에 더 지켜봐야할 것이다.


Q: 지금도 그런 경향이 있는데, 앞으로 웹페이지를 만드는 것이 더 쉬워지고 글을 쓰는 것도 너무 쉬워져서 웹이 엉망이 되거나 이해하기 어렵게 되진 않을까?


샘 : 인터넷의 사용방식이 변화할 것이라 예상한다. 하지만 말씀하신 것처럼 스팸기사 같은 걸로 인터넷이 뒤덮여서 이해하기 어렵게 되진 않을 것 같다. ChatGPT 같은 도구를 사용하는 것이 직접 검색하고 클릭하는 것보다 효율적이다. 그런식으로 인터넷 사용 방식이 변화할 것으로 예상한다. 


Q: AI가 소득불평등을 일으킬 것이라 생각하나


샘 : 기술은 세상을 더 풍요롭게 하고 더 높은 곳으로 끌어올리며 인류를 번영으로 이끈다고 믿는다. 정부가 특별히 개입하지 않아도 괜찮다고 생각한다. 일자리가 완전히 사라지거나 하진 않을 것이다. 인간은 늘 새로운 일자리를 찾아가기 때문이다. 물론 현재의 일자리가 그대로 가진 않을 것이고 사회의 전체구조가 변화할 것이기 때문에 논의와 재구성 과정이 필요할 것이다.


Q: 그 재구성을 언어모델 기업들이 주도하나?


샘 : 그렇지 않다. 세계가 부유해짐에 따라 사회구성원들을 지키는 사회계약이나 사회안전망을 더 촘촘하게 만들 것으로 예상한다.


우리가 단계별 배포전략을 선택한 이유는 기술 뿐 아니라 사회도 같이 진화하기(*co-evolve) 때문이다. 사회도 변화하고 기술도 변화하며 같이 진화한다. 우리는 앉아서 "그래, 새로운 사회는 이렇게 설계하자. 이제 세상은 이런 방식으로 작동할거야" 하고 움직이지 않는다. 그건 나쁜 방식이다.


Q: 최근 AI의 발전을 보면서 기계에 대한 경외심을 느끼거나, 인간에 대해 아 우리 별거아니구나 식으로 느껴본적 있으신지


샘 : 정말 그렇다. 더 많은 사람들이 그렇게 느낄 것이다. 다 그렇진 않을 수도 있다. 오히려 어떤 사람들은 자만심에 빠져있을 수도 있다. 하지만 일반적으로 인간 중심의 사고에서 벗어날 수 있을 것이다. 이는 긍정적일 것으로 생각한다.


나는 최근에 과학의 역사가 어떻게 인간중심에서 점점 더 멀어졌는지를 생각해보았다. 예를 들어 우린 태양이 지구 주위를 돈다고 생각했다. 매우 인간 중심적인 생각이었다. 하지만 실제로는 우리가 태양 주위를 돌고 있었다. 뿐만 아니라 하늘의 저 하얀 점들이 다 항성이고 그 너머에는 은하계가 있다는 것을 우린 알게 되었다. 더 나아가면 다중우주의 개념까지. 이는 정말 이상한 것이고, 우린 아무것도 아니다. AI는 우리가 인간 중심 사고에서 벗어나는 또 하나의 예가 될 수 있다.