생성형 AI 분야에서 트랜스포머라는 획기적인 아키텍쳐를 처음으로 제안한 논문
"Attention is All You Need"를 어떻게든 읽고 이해하고 싶었는데..역시나 무리였다
◆해결하고 싶은 욕망
AI의 발전 과정에서 가장 중요한 일차 논문들을 직접 읽고 싶다
예) Attention is All You Need(트랜스포머라는 획기적인 아키텍쳐를 처음으로 제안한 논문)
◆문제
원전 논문들을 직접 읽고 이해할 만한 실력이 안된다.
배경 지식으로 공대 수학(미적분과 선형대수)와 3대 역학은 배운 적이 있고
AI 제너럴리스트 인증 시험에 붙었지만(그리고 이를 위해서 AI의 여러 분야 찍먹했지만)
일차 논문들을 "직접 읽는 건" 확실히 무리였다. 넘 어려워...
◆솔루션으로 생각한것
1. 뭐 요즘 유튜브에 좋은 과학 유튜브들 많고
AI의 분야에도 각 개념을 알기 쉽게 설명하는 유튜브들도 많이 있지만..
・좋은 과학 유튜브들의 예)
대학에서 텐서란 것을 배웠을때, 이 것을 직관적으로 "이해"할 수 없었다. 대체 뭔말이야. 하지만 "계산"은 할 수 있었다.(어 이거 양자역학 아니냨)
솔직히 대학교수들의 재미없는 설명으로 텐서를 직관적으로 이해한다는 것은...음 머 머리 좋은 사람들은 가능하겠지.
근데 최근에 외국 과학 유튜브의 애니메이션을 이용한 설명으로 오랜 시간이 지난 지금 텐서가 직관적으로 이해되기 시작했다!
(여담이지만 이 유투버 진짜 잘 설명한다. 특히 파인만 센세와 가상으로 대화해가며 설명하는 부분은 소름이 돋을 정도.
다 알고 있으면서 지금까지 몰랐다는 식으로 능청떠는 것도 일품. 아 영어지만 자동번역 한국어로 해놓으면 이해에 큰 문제는 없음)
이외에도 3Blue1Brown 같은 유튜브 정말 좋지.
2. 하지만 역시 제일 좋은 건 적절한 해설서를 가이드로 삼는 거겠지
마침 이에 적절한 책이 나온거 같아서 바로 샀다.
바로 이 책
원 논문을 통해 이해하는 생성 AI (原論文から解き明かす生成AI)
아마존의 광고 문구
생성 AI 기술은 눈부신 발전을 거듭하고 있습니다.
그 때문에 표면적인 트렌드를 쫓는 것만으로는 그 구조와 원리를 이해하기가 어려워지고 있습니다.
본서는 이러한 상황 속에서 생성 AI를 뒷받침하는 이론적 기초를 원 논문 수준까지 깊이 파고들어 해설하며, 독자가 기술의 핵심을 이해하도록 이끌어주는 책입니다.
본서의 주된 특징은 아래 세 가지입니다.
첫 번째 특징은 트랜스포머(T ransformer)부터 추론 시의 스케일링 법칙(Sca ling Law)에 이르기까지 '생성 AI의 중요한 이론'에 대해, 원 논문의 내용을 참고하며 수식과 그림을 통해 상세히 해설한다는 점입니다.
두 번째 특징은 영어나 일본어 기존 문헌에서는 잘 다루지 않았던 분포 가설의 실험적 근거, 확산 모델(Diffusion Model)의 수학적 보장 등, '생성 AI를 이해하는 데 중요하지만 다른 서적에서는 충분히 다루지 않은 이론' 또한 꼼꼼하게 파고든다는 점입니다.
세 번째 특징으로 '연습문제와 GitHub 서포트 페이지를 연계한 독자 참여형 학습 환경'을 제공하여 더욱 깊이 있는 학습을 지원합니다.
본서를 통해 독자는 생성 AI에 관한 중요한 이론을 깊이 이해할 수 있을 뿐만 아니라, 원 논문 수준의 내용을 독해하는 힘을 기를 수 있습니다.
이를 통해 새로운 모델이나 기술 동향을 스스로 이해하고, 빠르게 변화하는 기술 트렌드를 자율적으로 따라잡는 능력을 갖추게 될 것입니다.
표면적인 지식이 아닌, 생성 AI 기술의 본질적인 이해를 추구하는 모든 분을 위한 필독서입니다!
이 책은
논문을 깊이 있게 읽는 기술
논문 읽기 환경 구축
논문 구하기
전자 매체로 논문 읽기
논문은 사람이 작성한 것임을 인지하기
등등의 뻔한 이야기로부터 시작해서
스스로의 힘으로 논문을 읽기 위한 기술
자기 외의 힘을 빌려 눈문을 읽는 기술 (이중에 생성 AI이용하라는 것도 포함)
등등의 역시 뻔한 이야기로 이어지는데.. 방심하는 순간!
2장부터 딥다이브 들어간다..이거 대학 강의하고 똑같잖아 ㅋ 첫번째 강의 페이크 넣고 두번째 강의부터 외계어 작렬하기
이 책에서 다루는 원전 논문은 다음과 같다.
대략 다루는 스케일은
한 개념 설명하는 중간 중간에 연습문제도 실려 있는데 학교 다닐때의 퀴즈가 떠올라서 식은 땀 난다.
퀴즈 예) 토큰의 원-핫(one-hot) 표현에서, 두 토큰의 거리가 같아지지 않는 거리를 생각해 보시오.
근데 전자책으로 샀기 때문에 딸깍질로 제미나이한테 물어보면 존나 친절하게 풀어준다..개꿀 ㅋ
아무튼 이런 책과 유튜브 강좌를 통해서 올해 안에 기호 접지 문제Symbol Grounding Problem에 대해 깊은 이해가 가능할 수 있기를.
꽤 관심 있는 내용인데 완장이 책 이야기 아니라고 지울까 겁나네