랩 선배(석사과정)가 세미나때마다 다루는 주된 내용이
특정 task만 잘하는 편향된 feature map 을 구하는 모델보다,
모든 정보에 대한 hidden representation을 갖고있는 feature map이 있다고 가정하고
각각의 task마다(개와 고양이를 분류하는 task같은) 그 task에 특화된 feature map부분에 가중치를 줘서 사용하는(attention?) task-dependent한 모델을 만드는 쪽으로 연구해야한다. 이런 내용인데 듣고있으면 공감하는 부분도 많고 관심도 생기게 되는것 같음. 정말 간단하게 요약하면 개 지리는 AI, 사람같은 AI를 만드는 쪽으로 연구해야한다 이런 내용임.
주제를 명확히 정하는것이 참 쉽지가 않다
강인공지능 한답시고 강화학습 입문했다가 포기하고 비전으로 회귀중인 학부생 ..
존나 Curious한건데 Computer Science 관련한 text에는 simple한 말도 why 항상 english로 use거냐? problem있는거 같아 - dc App
task, feature map 이거 대응되는 한국말이 있긴함?
영어로 배워서..
이 분야에 없으면 존나 병신같아 보이긴할듯 모든 대화와 공부가 저런식으로 용어가 혼재된 채로 진행되서 저런식으로 아니면 말을 못하는 상태가 되어버림 - dc App
아님 졸라게 풀어서 돌려서 말하거나 ㅇㅇ - dc App
걍 원래 여기 분과가 그럼... ㄹㅇ 글 읽을때 전혀 안 이상해 보였는데 일반인들에게 이렇게 보인다니 좀 충격이다 ㅋㅋㅋㅋㅋㅋ
강인공지능 관련 연구는 수학과 졸업생 정도 수준이어야 가능한줄 알았는데 아닌가요??
남들이 이미 만들어놓은 개념을 이해하는거조차 수학능력이 많이 요구될때가 있는것 같긴한데 선형대수,확률통계,미적분 정도 알면 연구할 수있다고 생각함 - dc App
강인공지능이 뭔지부터 좀.. 아예 실마리도 못잡고 있고 과연 언젠가는 가능할지 조차도 의문인데... 그냥 지금 약인공지능에서 한단계 발전하는 단계..
강인공지능은 각자가 정의하기 나름일텐데 내 선배같은경우엔 어떤 task던 상관없이 그때그때 맞춰 weight를 활성화시키는 모델을 강인공지능이라 생각하는듯. 추상적인 개념이라 각자 생각하기 나름아닐까 - dc App
뜬구름
본문에서 말하는 건 강인공지능같은 느낌은 아니고 representation learning 쪽이 오히려 맞을 것 같은데 task-agnostic self-supervised learning 이나 task-agnostic representation learning 키워드로 검색해보면 관련 논문들 많이 나옴.
그런가 근데 representation learning이 성립할려면 모든 현상에 대한 정보를 가진 feature map이 필요하고 이게 강인공지능의 정의중 하나라 생각했음. 답글달아준 키워드 찾아볼게 - dc App
representation learning의 연구 방향은 뭐 여러가지가 있겠지만 task-agnostic representation learning은 모델이 인풋 도메인에 대한 general한 representation을 잘 배운다면 해당 도메인의 인풋을 다루는 다양한 downstream task에 대해서 전반적으로 성능이 향상될 것이고, 그러면 그러한 representation을 어떻게 배울 것인가가 핵심이라고 보면 됨. 방법에는 뭐 contrastive learning도 있을 거고 BERT처럼 pretext task를 푸는 것도 있을 테고.. 결국 중요한 건 모델이 training set에 있는 데이터들을 latent space 상에서 어떻게 뿌려줄 것인지에 대한 인사이트가 있어야 함
강인공지능보다는 걍 여러 downstream task에서 robust하게 작동하는 피쳐 얻고자 하는건데, 뭐 남의 페이퍼 읽는거야 재미있지만 그런 방향으로 연구방향 정하는건 잘 생각해봐야됨. 랩 장비가 받혀줄지, 유사 분과 연구한 선배들이 있어 디렉션을 잘 줄 수 있을지 등등. 갠적으로 기업도 아닌 대학원 랩에서 저런 분야로 빠지는건 노페이퍼 졸업의 지름길이라고 생각