일단 아무것도 모르는 사람이 쓰는 것은 아니라는 것을 어필하기 위해 간략히 소개하면 SPK 학/석하고 업계 +4년 이상 되었고 대부분 1저자 피인용수 100 언저리인
탑급도 아니고 그렇다고 뭣모르는 것도 아니고 적당히 잘 알고 다양한 분야 경험이 많음 (컴퓨터 아키텍처, GPU 클러스터 등 하드웨어적인 것부터 생성 모델 등 수학적인 것까지)
논쟁이 되는 글들에서 정말 허튼 소리하는 글도 많고 암것도 모르는 애들이 저거보고 끄덕거릴까봐 노파심에 씀
1. 수학
컴/수학 복전함.
수학이 필요없다는 이상한 소리가 많은데, 진짜 희대의 개소리라고 생각한다.
오히려 AI 관련해서 일을 할 때 과하게 알면 더 좋다고 생각하는 것이 수학이다.
그럼 왜 중요하나?
논문은 연구자가 아이디어를 제안하고 검증하기까지 수많은 시행착오가 함축되어있고 심지어 제안된 아이디어에 대한 여러 해석이 있더라도 그 중 하나를 택해 압축한 구조이다.
논문을 이해하는데 있어서는 단순히 수학적 notation만 알고 있어도 큰 무리가 없다.
하지만, 그런 아이디어가 왜 나왔는지 이해를 하고 비판적 시야를 가지려면 수학이 필수적이다.
서비스 하는데는 수학 몰라도 돼요: 이건 프로세스가 갖춰진 집단에서 본인의 역할만 수행하면 되는 "엔지니어"의 포지션이다.
AI는 빼도 된다. 그냥 서비스의 영역이 AI일뿐인 것이다. 서비스를 효율적으로 구성하려면 논문을 읽을 줄 알아야 되고 그리고 어떤 방법론을 택할지는 비판적 시야로 여러 방법론을 평가할 수 있어야 된다.
두번째로 어떤 것을 공부해야되나?
선대랑 확통 정보면 충분해요. 아니다.
선대가 중요하다고 하는 이유는 그냥 기초적인 과목이고 벡터 미분을 이해하기에 편한 것, 그리고 고전적인 ML 방법론이 선대의 내용을 많이 응용해서 그런 것이다.
확통은 무조건적으로 중요한데, 확통만 알면 그냥 매일 "가우신안이~ " 하며 가우시안만 찾는다.
RL을 이해하려면 estimation theory가 필요하고 베이지안을 이해하려면 통계적 추론에 대한 이해는 필수다.
최근 AI 기반 화학/생물 쪽의 응용을 보려면 topology를 공부해야 수월한데, topology를 이해하려면 또 현대 대수학이 선수적으로 필요하다.
그럼에도 공통되게 가장 중요한 것을 꼽으라고 한다면 "수리통계학"이다. Fisher information이 뭔지는 알아야지.
2. 일자리
한국의 AI는 망해가고 있고 이미 망하기도 했다.
타이밍을 놓친 것도 크고 너무 일찍이 돈을 벌어오라고 기업들이 채찍질한 것도 크다.
훌륭한 리서처와 엔지니어는 꽤 많았는데 많은 사라믈이 미국으로 가버렸고, LLM만 하더라도 현재의 발전에 이르기까지 산 증인으로서 역사를 갖고 있던 사람들이 많이 흩어져버렸다.
이제 막 나오는 석/박사들 데리고 현재 레벨의 foundation model을 만들 역량도 부족하고 리소스도 없다.
그러면 응용 레벨에서 뭔가 해야 되는데 이 시장도 이상하게 국내에선 커지고 있지 않더라.
모든 타이밍이 다 안좋다.
그나마 AI 반도체가 활성화가 된 편인데, 엔비디아 발끝도 못 따라가고 있고 앞으로도 마찬가지일 것이다.
일자리는 그래도 응용 레벨에서 상품을 만들고 자잘한 것들에 끼워서 파는 방향으로 갈 것이고, 기업의 매출에서 AI 엔지니어가 기여하는 부분도 당연 적을테니 전망이 좋진 않다.
한국은 반도체가 강국이니 차라리 로봇이나 IoT 등 하드웨어적 요소가 섞인 것을 하는 것이 오히려 좋아 보인다.
링크트인가서 오픈 포지션만 봐도 infra/cloud 엔지니어는 많이 뽑아도 AI 엔지니어는 잘 안보일 정도로 기업들이 수동적이고 앞으로도 그럴 것이다.
대부분이 짜잔! 하고 멋진 것을 상품화를 할 능력이 없다.
3. 전망
위에도 말했지만 전망이 좋진 않다.
불과 내가 석사 졸업할 때만 하더라도 적당히 MNIST 분류를 CNN이나 MLP로 학습하고 구현잘하면 오오.. 하고 채용이 되었는데
지금은 LLM이니 physical ai니 하며 고도화가 되었다.
얄팍한 지식으로 취업하는 것은 이미 불가능하고, 기본기 탄탄하게 해서 엔지니어링이 아닌 과학으로 접근을 하며 공부를 해야 그나마 포지션을 찾기에 수월하다.
그것도 아니면 GPU에 대해서 엄청난 고수가 되어 시스템을 구축하는데에 커리어를 쌓는 것도 좋다고 본다.
분류기와 같은 discriminative model이 아니라 generative model을 온전하게 이해하고 연구 및 개발 경험을 쌓는 것이 좋다.
AI는 애초에 ML과는 다른 느낌이라, ML에서 많이 풀었던 분류 문제는 AI에서는 매력적이지 않다.
(data-driven 이라는 점에서는 같지만, ML은 학습을 통해 feature를 "선택"하는 것이고 AI는 feature를 "조합 및 재생산"하는 것이다.)
ML에서 못 푼 문제를 AI로 풀어야 살아남고, 더불어 그쪽의 전망도 밝다.
Data 관점에선 LLM은 계속 될 것이고 응용에서 RL의 시대가 열리고 있고 diffusion은 AI에서 많은 이론적인 기초를 더 쌓아줄 것이다.
CNN 돌려보고 BERT 돌려보고 나 "AI 엔지니어에요!"라고 말하는 시대는 한참 전에 지나갔다.
----
개인적으로는 AI 자체는 science의 영역으로 보고 있어서 가볍게 찍어 먹으며 들어오는 분야는 아니라고 생각한다.
그럴 생각이면 차라리 관련된 엔지니어링 영역에서 기술 스택을 쌓는 것이 커리어에 훨씬 도움 될 것이다.
(ChatGPT가 다 해줄텐데요? 개소리. 아직 멀었다.)
continual learning에 대해선 좀 아심? 로봇ai랑 짝짝꿍하는 연구실 컨택했는데 전망 어떻게 보나여?
초창기에는 인기 많았다가 LLM 시대에서 좀 죽었다가 다시 중요성 부각되는데 개인적으로 physical ai랑 궁합이 잘맞는다고 생각함. 그 연구실이 로봇에 초점을 맞춘 곳인지 아니면 알고리즘에 초점을 맞춘곳인지 모르겠지만 전망은 밝음
@글쓴 딥삣삐(112.170) 연구실엔 로봇 하는 사람, 알고리즘 하는 사람 다 있는것 같아여
개인적으론 cl이 진짜 딥러닝 한정으로는 끝판왕 분야라고 봄. 모래주머니 달고 다리 조져버리고 100m 달리기 하는 분야임. 그만큼 잘만 소화하면 실력은 급성장이긴 한데, 딥러닝쪽으로 탄탄한 이해가 없으면 시간만 날릴 공산이 큼. 게다가 실용적으로 보이는 취지와 다르게 실제 느낌은 좀더 학문에 가깝다는 것도 고려해야 함
현 정부는 Ai쪽을 완전 유기하다시피 해서... 다음 정부때는 Ai 팍팍 밀어준다니까 좀 괜찮아지지 않을까...?
그런 문제가 아님. 정부 문제라기보다 기업 체질 개선이 가장 필요함. 예산의 지출을 늘리는 것보다 정부가 컨트롤타워가 되어서 찐전문가한테 청사진 그려달라고 하고 기업들이 단기 매출용으로 AI를 개발하는 것보다 장기적인 계획을 짜도록 유도해야됨. 이쪽에선 이준석의 정책이 꽤 마음에 드는데 핵심 역량들에 대한 국가 차원에서 대우를 좋게해주는 것이 필요함. 그리고 무엇보다 가장 중요한 것은 외국 인력이 쉽게 유입되도록 만들고 외국에서도 실력있는 연구자, 엔지니어가 편하게 일할 수 있게 자리를 마련해줘야됨. 그리고 AI는 분야 특성상 개별 독립 연구자들도 많고 스터디 같은 커뮤나 소수의 컨퍼런스도 많은데 제발 전세계적으로 열리는 이런 커뮤들 지원이나 활성화하는데서 정부가 스폰서로 들어가기만 해도...
자국 보호 정책이 너무 심해 현정부도 그렇고 미래 정부도 그렇겠지. 내가 정책짜는 사람이라면 정부 차원에서 ai 학회도 설립해서 학회 지원 빵빵하게 해주는 대신 한국에서만 열고 (심지어 항공편 잘되어서 여러 나라에서 오기도 쉬울듯), 전세계적으로 열리고 있는 오픈소스 프로젝트에 스폰서로 들어가고 걔네 필요한 자원 지원해주고 한번씩 한국 놀러와서 오프라인 교류회 열어라 하며 항공권 숙박 지원해주고 하면 알아서 전세계에서 몰림. 이런데서 영감 받은 국내파들이 좋은 기업들 많이 만들고 전세계 사람들이랑 교류하면 좋을텐데.. 절대로 어떤 정부건 안하겠지. 걍 이상한 정부 과제나 만들어서 돈 쏟아붓고 줄줄새겠지 기대하지마
AI 팍팍 밀어준다 -> 눈먼돈 먹으려고 개나소나 부트캠프 연다정도임 이미 정부에서 돈지랄해둔 KDT로 애매따리 취업용으로도 못써먹을 애들만 대거 양산중이고 다들 그거 따먹기 하는중 ㅇㅇ 정작 AI 반도체도 사실상 퓨리오사 npu제외하면 내세울 성과도 없을정도이며 추론효율성때문에 npu쪽 파는건데 정작 ondevice 애들은 npu 싫어한다는거임 ㅋㅋ
ㅇㅇ잘 보고 있네. npu는 외치면서 cuda는 그게모야? 아몰랑 눈에 보이게 칩 만들어 이러고만 있고. npu쪽도 잠깐 발담궈서 아는데 퓨리오사도 암것도 없어 사실상. sw stack을 잘 쌓아야되는데 암것도 없어. on-device npu 시장이 전망이 좋다고 보지만 이미 중국이 많이 먹어버려서 답도 없어
갠적으론 크래프톤이 기업들 중에선 그나마 AI 역량에 대해서 잘 물어보고 있음. 테스트 자체도 대학원 시험보는것같은 느낌도 강하고 나머지는 AI가 주력이기보다는 AI'도' 지식있는 CS탄탄한 개발자 뽑는 느낌이 강했음 난 임금 씹창난게 주요문제라고 본다 진짜 AI research하는 애들을 그만큼 대우해줘야되는데 석박헤드헌팅 오퍼들어오는거보면 가관임 ㅋㅋ
너도 얼른 정권바뀌면 혼란틈타서 더 좋은곳 이직하거나 해외로 떠나라.. 존나 굴려도 내 역량이 성장할 수 있는 환경이면 감안하는건데 갈수록 그게 아닌것같음 ㅇㅇ 각자도생만이 답이다 아님 틀딱들 개안하거나
오? 크래프톤 ai fellowship 봤나봐? 대충 통해서 문제는 들었는데 원론적인 것 많이 물어본 것 같더라. ㅇㅇ극공감함. 헤헌은 그냥 가볍게 무시해야지. 친구들 몇몇은 미국에서 일하는데 나도 여기서 한장 조금 넘게 받지만, 걔네는 그냥 몇배를 받더라 ㅋㅋㅋ
@딥삣삐1(106.101) ㅇㅇ난 최근에는 스터디랑 오픈소스 플젝 쪽 비중 높여서 좀 커리어 쌓게. 대학원 졸업하고나서 개인이 할 수 있는 것이 이것뿐인 것 같더라. 힘내자
여기 글쓰는 모든 애들이 보이는 똑같은 패턴인데, 자기가 배우고 할 수 있는 수준의 수학은 전부 필수고 그 이상은 선택이라고 주장함. 본 글쓴이는 자기는 박사급에 남들보다 수학이 되니까 그게 차별성이 되서 커리어의 강점으로 밀고 있는 주제에 '모두가' 당연히 그 정도는 필수다라는 논지로 주장하는건 사실 본심은 그냥 자기자랑하고 싶은 게 전부임. 실상은 학석사급은 여기서 언급한 수학 대부분을 모를것이고 만약 알아도 자기 분야에서 써먹을 일부만 알 것임. 이 글은 거따대고 그냥 불안감만 조성하는 똥글일 분 그 이상으론 아무런 가치도 없음.
내가 1. 수학 에 관해 글을 쓴 이유는 그 앞에 보면 알겠지만 "암것도 모르는 애들이 이상한 글들보고 끄덕일까봐" 를 걱정한 것이다. 입문하는 친구들이 "아.. 수학 딱히 필요 없구나"를 보고선 리서처가 될 수 있는 사람들임에도 필드 엔지니어가 되거나 아니면 단순히 제품 서비스를 위한 엔지니어가 되어버리는 경우다.개소리라고 생각할텐데 생각보다 주변에서 꽤 흔하다. 관심을 조금만 갖고 이것저것 찾아보기를 좋아한다면 학부생들도 내가 쓴 글이 이해가 될 정도로 어렵게 쓴 것이 아니다. 굵진한 분야들에서 쓰이는 기초적인 수학들이 무엇인지 적었을뿐이다. 내가 적은 것들은 정말 기초적인, 학부생 수준의 과목들의 이름이다.
만약 뭔가 더 복잡한 것을 쓰려고 그랬다면, "(이미지) 생성 모델을 보다 깊게 이해하려면 통계열역학부터 시작해서 SDE도 보면 좋고 information theory와 측도론까지 본다면 정말 중요한 Wasserstein GAN을 이해하는데 도움이 된다. SDE까지 더 한다면 diffusion model이랑 flow-matching까지도 비판적으로 보는 시야를 얻을 수 있다." 라고 썼을 수도 있다. 어디서 무슨 피해의식이 발동한 것인지 모르지만 불안감이 느껴졌다면 개인적으로는 숨은 목적 의식을 잘 이룬 것이라고 생각은 되는데, 혹자는 불안감을 통해 공부를 할테고 다른 혹자는 너처럼 불안감을 통해 이 글을 폄하할 것이다. 다른 커뮤도 많은데 굳이 여기서 내 시간을 써가며 글을 쓴 이유는
쓸데없이 뽐내려는 것도 아니고 너와 같이 위험한 의견들을 막기 위한 것이다.
@글쓴 딥삣삐(112.170) 진짜 잘 몰라서 그러는데 요즘 wgan씀? gan쪽에서도 안ㅆ는것 같아서 걍 패스했는데 - dc App
@딥삣삐6(221.150) 당연히 안쓰죠 그런데 GAN의 춘추전국시대를 대통합하였고 개념적으로 가져갈게 많아요
나름 수학공부 많이했고 bio ai 3-4년정도 연구했었던 입장에서 topology랑 현대대수 좆도 필요없음 나머지는 다 맞는말
난 직접적인 bio AI를 연구한 것은 아니긴한데 geo DL을 공부하면서 geo DL 이 결국에는 bio AI 같은 분야에서 이론적 프레임워크를 세우고 있지 않음? 타겟은 geo DL을 제대로 이해하기 위해 위상이랑 현대대수가 필요하다고 쓴 맥락이긴한데, 해당 필드에서 이게 실질적으로 어느 정도로 중요한지는 나도 궁금핟. 근데 현대대수는 굳이 geo DL이 아니더라도 나도 quantization쪽 연구할 때는 논문에서도 군이론에 대해 일부 차용했을 정도로 도움이 많이 되긴함
Geo DL 거의 안썼었음 ㅇㅇ 현대대수 그렇게 쓰이는건 첨알았네
이쪽은 매듭이론이 따로 있어서 굳이 학부 위상수학 전체까지 공부할 필요 없지 않나.
수학은 동의가 힘드네. 난 공학수학+선대 확통 정도로 베이스만 잡아놔서 수학 리터러시만 기른 다음엔 내 도메인에 필요한 것만 골라 배워도 괜찮다는 입장. 어차피 시간은 한정되어 있으니까 이론쪽 빡센거 하는 도메인 아니면 차라리 내가 하는거랑 관계 깊은 깃허브 클론해와서 코드 만져가면서 배우는게 더 중요하다고 생각함.
논문이나 깃헙 양치기 하는 것도 좋은데 나는 성향상 베이스를 다지는데 시간을 더 할애해도 좋다고 생각하는 입장임. 어차피 AI라는 분야가 점점 사이언스의 영역으로 들어서고 (사실 뭐 원래부터 사이언스에서 출발하긴 했지만), 새로운 개념의 모델이 나올 때 "아...! 이거 그거네!" 라는 무릎탁 하려면 수학이 과하게 필요하다는 생각은 함. 논문 빠르게 쓰고 새로운 확장적 연구 팔로우업하는데는 그렇지만서도 양치기가 가장 좋다고 봄
확통 교재중에 수통 급인게 있고 그 반대도 있어서
ㅇㅇ근데 수통에서만 이야기할 수 있는 것들이 많아서 수통 정도까진 시간 낭비하며 보는 것이 좋다고 생각함. 확통에서 처음 배우는 개념들이 수통에서는 너무 당연한 것들이기에 확통의 확실한 복습도 될 수 있고. 더도 덜도말고 시간이 오래걸리더라도 Hogg의 수통정도는 보면 딱 좋은듯
topology하는데 현대대수가 왜필요...?
솔직히 전반부 내용 이해하는데 딱히 필요 없음. 내가 좀 열내서 쓴 경향이 있긴함. 다만, 후반부로 갈수록 현대대수를 다 찍고 가면 이해하기 쉽고 AI와 접점이 있는 부분도 후반부에 homology이런 내용 나올 때라고 봐서 그럼.
공부 로드맵좀 담백하게 알려주시면 감사합니다... - dc App
베이스가 어느 정도인지 잘 모르겠는데, 완전 입문자라면 PyTorch를 이용한 뭐 이런 얇은 책이나 튜토리얼 보는 것을 추천드림. 그 정도가 아니다 하면 스탠포드 강의 시리즈가 개인적으로는 좋던데 (렉처 노트랑 materials가 풍부), CS229 혹은 CS231n으로 시작하면 좋지 않을까함. 내용이 다르지만 229를 더 선호함. 수학은 당연히 확통, 선대는 필수이고 벡터 미적분같은 것은 대학 수학이나 공학 수학에서도 충분히 커버하는 내용이니까 크게 걱정은 없을텐데 수통은 그 이후 시간이 조금 나거나 뭔가 알기 시작하면 공부하는 것을 추천. NLP쪽 공부하고자하면 CS224 봐도 좋고. (개인적으로는 NLP는 고전적인 NLP부터 소개하는 책으로 공부함.) 이정도만 하더라도 1년이라 음...
이론쪽 하는데 확률론이나 고급수학은 많이 알면 알수록 강점이라고 느낍니다.. 물론 수학자에게 이게 수학이냐 하면 응용수학이다 라고 하겠지만요
대학원 수학과에서 딥러닝 관련 수업이 열려서 들었는데 교수님께서 첫 시간에 말씀하시길 "여기 노다지에요. 여태 논문 한편 쓰기도 힘들었는데 여긴 뭐 암거나 콕 찝으면 논문이 나와요. 심지어 엄격한 증명을 할 필요도 없어요ㅎㅎ"
그런데 허세가 아니라 ICML을 숱하게 쏟아내버리시는 것을 보고선 끄덕...
해당 댓글은 삭제되었습니다.
그 회사가 돈을 벌건 못 벌건 요즘 시대에 커리어상 가장 좋은 곳은 유저가 많은 곳입니다. 유저가 많을수록 스케줄링도 잘해야되고 신경써야될 부분이 많아서 자연스레 좋은 기술 스택을 쌓을 수 있습니다. GPU의 사용에 대한 역량은 기본적으로 점점 요구하고 있습니다. Kube정도로 배포하는 경험도 필요한데, 엄청 깊이 있을 필요까진 없어보이더군요 (다행히 아직까진). RAG를 해봤다면 agent로 다른 응용들도 해보고 앱으로 만들어서 하나의 완성품을 만들어보는 경험이 중요하다고 생각합니다. 혼돈의 시대에는 항상 e2e로 끝까지 해본 사람의 몸값이 높아집니다.
아무리 느려도 리서쳐는 27년에 따일텐데 걍 뭔 걱정이노 ㅎㅎ 걍 딸깍 창업이나 해라
미국 주립대나 지방잡대들 컴공과 애들 수학 존나 싫어함ㅋㅋㅋ 대학 미적분 패스해야 들을 수 있는 윗단계 CS courses 에서도 기초수학도 다 까먹은 수포자들 존나 많은거 보고 개충격 먹었음ㅋㅋㅋ 씨발 투잡뛰면서도 올A로 졸업했는데 내가 잘해서 장학금으로 학교 다닌게 아니라 그냥 미국 애들 평균적으로 공부 좀 한다는 애들도 (당연히 아이비리그급은 아니고) 진짜 과학 수학 이해도 조오온나 낮아서 내가 어퍼머티브 액션이라도 먹은 기분임. 아니 그래도 위스콘신 매디슨 대학이면 주립대중에서도 어느정도 유명한 곳 아님? 상태들이 한국 중딩들보다 못한거같음 난 한국에 있었을때는 고딩때 맨날 쳐자고 지잡대 잡과도 겨우들어갈정로도 공부에 손 놓은 인생이였는데
미국오니까 뭔 드래곤볼 중력실 해제된거마냥 내 능력에 인플레가 붙은거같음.. 미국 대학들어가고 취업하고 계속 미국놈들이랑 부대끼는데 미국인 상위권도 엥간하면 나사빠진새끼들이 대부분이라는 느낌이 계속 드는데 이새끼들은 최상위 0.01%가 얼마나 그동안 캐리해준건지 그냥 매사에 나태함, 정신적으로나 육체적으로나