딥러닝 틀딱(자칭)인데
본인은 2016에 학부졸업, 2016~2018 석사에서 SVM, 커널트릭, 회귀, 퍼지 같은 개틀딱 알고리즘 연구했고
2015쯤에 연구실 스터디로 딥러닝 처음 입문했음
f(ax+by) = af(x)+bf(y) 같은 선형성에서부터 역치같은거도 도입해서
딥러닝이 왜 굴러가는지에 대한 의논에 대해서 찾아보는게 일이었음
솔직히 파비가 말하는것들이 단어 선택이 존나 이상해서 그렇지
어떤건 가끔 70%정도는 맞는 말임
저때 관점에서 보면 1노드-1레이어 퍼셉트론이 SVM, 회귀, 로지스틱 이랑 같다는 말도 틀린말은 아님
이후에 BN, CNN 나오더니 영상처리 관련해서 비약적으로 발전했고 ResNet나오더니 대용량 모델이란 개념도 나왔고
솔직히 딥러닝은 이때가 제일 재미있었음
이후에 자연어 처리 쪽으로 가서 챗봇같은거 만드는 스타트업에서 병특했고,
챗gpt나오면서 병신 대표새끼가 피봇 못해서 포기하고 걍 나왔다.
지금은 틀딱 알고리즘이랑 금융 자격증 따놓은걸로 신용평가쪽으로 일하고 있다.
솔직히 현실 직업에서 시계열 빼고 딥러닝 쓸일없다.
지금부터 하는 얘기는 개인적인 의견이고 반박시 니말이 맞음
내가 스타트업 3년 다니면서 인공지능으로 취업할때 걸러야 한다고 보는 점 몇가지만 읊어봄
그 전에 다니던 스타트업이 망했던 이유부터 말해줌
- BERT 기반으로 파인튜닝해서 독자 엠베딩 모델 개발
- 엠베딩 모델 기반으로 RAG 데이터베이스 만들고 자연어로 데이터참조
- 참조한 데이터로 유저 챗봇 서비스
저 당시에 RAG개념 적용하고 나름 특허까지 있던 회사였고 괜찮았는데 ChatGPT 나오고 바로 망함
이때 느낀거 기반으로 얘기해줌
1.
네이버, 카카오, 통신3사, 삼성 등 니가 붙었다고 했을때 사돈에 팔촌까지 이름알고 있는 기업이 아니면
(LLM, 파인튜닝)이라는 키워드가 들어간 회사는 걸러라
스타트업이라면 대표새끼가 아무것도 모르고 투자금만 계속 뽑아먹으려는 사짜일 확률이 다분하고(ex 파비)
저런 대기업 레벨 아니면 다룰수 있는 주제가 아님
2.
자연어, 영상이 아닌 도메인을 찾는게 낫다.
한국어에 특화된 자연어 처리 모델을 만들겠다는 꿈이 아니라
먹고 살겠다는 현실이라는 관점에서 OpenAI나 페북(메타), 구글 이런데서 알아서 다국어 모델 만들어주고
거기서 나온 엠베딩 데이터를 쓰던 뭘 하던 해서 그걸로 가치를 창출하는 기업에 가는게 맞다
자연어/영상 -> A -> 벡터 공간 -> B -> 서비스
A에 해당되는 부분이 1에서 말한 부분이고 취직은 B쪽으로 가는게 좀 더 수월하다.
A는 대기업에서 알아서 성능 향상 시켜주고 그러면 저절로 B에서 만드는 부분도 더 나은 서비스가 가능하다
근데 B쪽은 사실 Statistical ML 쪽 일이나 파이썬 백엔드 엔지니어로 일할 가능성이 높다
3.
ChatGPT는 세상 살아가는데에 필수가 되는건 확실하고
우리가 취직할때 필요한건 ChatGPT가 말하는 내용의 참/거짓을 가릴수 있는 사람임
프롬프트 엔지니어링은 씨발 그게 엔지니어링이냐?
걍 20년전 라이코스 쓰던 시절 검색 자격증이 차라리 도움이 더될듯
4.
진짜로 학문에 뜻있는거 아니면
걍 CS 가서 C++, Java, Rust 해서 소프트웨어 엔지니어가 되라
AI전문으로 하는 대학이나 대학원 가봤자 학문에 뜻 있는거 아니면 결국엔 쩌리 Python 개발자 밖에 안된다
내가 대학에 있을때 옆 연구실에 R 쓰던 통계쪽 애들한테 "ㅋㅋ 저딴게 프로그래밍?" 이랬는데 솔직히 지금 Python 포지션이 이거라고 본다
이상 틀딱 소리였고 반박시 니말맞 ^오^
어느정도 동의함. 사실 거대기업 아니면 상상 속의 제대로 된 Ai하는 기업은 전무함. 일단 돈이 없음. 스타트업에서 제대로 하고 싶으면 진짜 인재들이 몰리는 곳 아니면 비추의 비추.. 그거 하고 싶으면 미국으로 건너가거나 아니면 대기업 들어가거나
개발자 국비학원 예전만큼 수강생 없는게 다 취업률 때문임
근데 이것도 싸이클이라, 개발자 수요 다시 늘어나면 좋은학원 가는거 힘들어짐ㅇㅇ
http://khedu.oco.kr/
난 작년에 여기서 국비로 자바 배웠는데
연계로 바로 취업성공해서 이제 2년차임 연봉은 4천ㅋㅋ
국비학원 공짜로 다니면서 연계로 취업노리는게 최곤거 같다ㅋㅋ
+클로드 코드(코딩), 지피티(코덱스), 제미나이, 커서 최대 70% 싸게 가능함 goodmanytips.com/clolo/
3번 랄부 찢으며 씹개추 nlp글좀 더써주셈 ㅇ
nlp에서 뭐 듣고 싶은 얘기가 있음? 갠적으론 nlp에서 일반이나 학술 레벨에서 더 할게 있나 싶음. 어차피 openai ms 구글 메타에서 다 해줄텐데 10년전 ResNet때만 해도 걍 지포스급 글카에 올려서 "와 씨발 좆쩌네 ㅋㅋ" 가능했는데 지금은 뭐 파라미터 메모리에 올리는데만 80기가 쳐먹잖아 가내수공업으로 NLP누가하겠음
LM말고 딴 task관련해서 들어보고싶은디 아니면 그래프나 임베딩쪽 관심있긴함
자연어 처리쪽에서 그래프는 어떻게 쓰이는지 모름. 회사에 있을때도 안써봤고 핫한 주제가 아니라서 내가 아는 그래프는 페이지 랭크나 그래프 클러스터링 같은 틀딱 기술들밖에 없음 엠베딩은 오늘 LRU하다가 생각난게 하나 있긴한데 지금 이제 막 AI 시작하려고 하는참임?
대학원생각하는 학부생임 nlp쪽 생각하고있고 논문 조금씩 읽고있음
그래프 gnn 계열은 여전히 절망적인 computational complexity 및 성능문제로 노답상태인지 5년은 됨
0. 의료랑 추천쪽에서 딥러닝 낭낭하게 즐기고 있음. 요즘은 교육서비스에서도 간보고있던데 ㅁㄹ 1. 동의... 하긴 하는데 해외엔 finetuning하는 도구 자체를 개발하는 스타트업도 있긴 하던데 어떨지 모르겠네 2.엔지니어로 일 할 생각이 없어서 ㅁㄹ 3. ㅋㅋ 프롬프트 엔지니어링은 산업에 도움되라고 연구하는게 아님 (물론 논문엔 도움 된다고 쓰여있겠지만) 4. 뜻있어서 박사하는중
맞말임
NLP는 그렇다치고 비전은 왜? 그나마 할만한 분야인데 취업은 둘째치고
비전이 할만한 분야라는거는 부분적으로 동의하는데 우선 비동의 하는 부분은 ChatGPT같이 일반 세상에서 원근감이나 이런 물체 인식을 연구하는거면 1. 결국 어텐션이 다 해쳐먹은 현실 2. 개쩌는 컴퓨팅 성능 3. 유튜브 영상, 테슬라 녹화 데이터랑 CAPTCHA랑 비벼서 이길수 있을 만한 데이터 수급 능력 되면 영상쪽도 나쁘지 않다고 봄 그게 아니라 암세포 진단이나 이런식으로 한정된 도메인에 사용되는 알고리즘으로서의 비전이면 할만한 분야라는거 동의 ㅇㅇ
글쎄 비전은 여전히 딥러닝 계열이 아닌데도 SOTA인 분야도 있고, 어텐션이 다 해먹고 있다는건 동의를 잘 못하겠다. 그걸로 돈벌어 먹겠다는건 다른 이야기지만 너가 말한 커스텀 데이터 없고, 컴퓨팅 리소스가 제한적이라도 할 수 있는게 많음. 물론 점점 CLIP 기반 방법론들이 하나 하나 가져가고 있긴하다만. 오히려 메디컬은 그 데이터의 특수성 때문에 이도저도 아닌게 많아서 비추.
내가 비전쪽은 솔직히 과거 지식 그대로라 어떤 사업이 가능할진 잘 모름ㅎㅎ 다만 진로 정하는 애들한테 얘기해주고 싶었던건 상상속의 AI 연구자들이 하는 그런걸 스타트업에서 하겠다고 얘기하고 있으면 사기꾼일 확률이 높으니까 걸러라는거
NLP 관련해서 연구해봤으면 Code Generation은 어떻게 생각하는지 궁금함. 아직 학부생인데, 진로 고민하는 것 중에 하나가, AI의 개발자 대체 가능성임. 유명한 떡밥이긴 한데, cognition같이 개발자 대체하려는 움직임이 계속 있으니까, 언젠가는 정복당할 것 같아서 대학원으로 빤쓰런 쳐야하나 싶음
내 의견은 프로그래머가 전부 AI로 대체될것이냐 -> 거짓 프로그래머가 AI로 대체될것이냐 -> 참 결국 전문성의 문제임 드라마에서 자주 보이는 "캐릭터는 작가의 지능을 넘을수 없다" 백종원보다 맛없으면 음식점 내면 안됨 결국 간단한 코드짜는걸 AI로 대체하긴 하지만 그 코드를 어디에 사용할지, 어떻게 이용될지는 사람의 문제라는 거임
AI를 이용해서 누구나가 소설을 쓸순 있어도 "재미있는" 소설에 대한 수요는 꾸준히 생길거임 AI가 던져주는 화두들을 조합해서 사람한테 재미있는 소설을 생성해낼줄 아는 개발자의 능력이 더 중요해지는 시대라고 봄
독학으로 공부 하게되면 박사과정에서 쓸데없이 낭비되는 시간없이 스켸줄 짜면 1년정도면 충분히 배울 수 있음? openai 회장도 독학했다고 들어서. 빠르게 배우려면 얼마나 걸릴지 궁금함. 학교에서 배울때처럼 비효율적인 시간 제외하고 빡시게 할경우.
이 사람은 독학이 가능한 상태에서 했잖아.... 무슨 소리냐면 원어민에다가 수학 summer research이런 거에 참여했고 프로그래머로서는 천상계의 조건을 처음부터 달고 있었음. 부트캠프해서 해외 대기업 간 사람 봤는데 아버지 수학과 교수였고 본인은 영어 원어민 급이었음. 갖춘 상태에서 하면 막힐게 뭐가 있겠나..
와ㄹㅇ말맞. 언급한 기업에서 인턴했는데 (난 학부따리) AI 사탕발릴말 야부리 임원들한테 잘 털어서 기업연구비 따는거 밖에 없음. 성능은 바로 보이기에 ㅈㄴ 민망해서 했다도르~ 데이터로 보여주고. ㅈ된점은 회사에서 AI 돈 안되는거 눈치까서 AI 연구원to가 존나 적게 뽑음
우리가 취직할때 필요한건 ChatGPT가 말하는 내용의 참/거짓을 가릴수 있는 사람임 -> 우리가 취직할때 필요한건 ChatGPT가 말하는 내용의 참/거짓을 가릴수 있는 능력임