1단 본인은 학부 2학년임 ㅇㅇ
전공은 기계공학 쪽인데, 이번에 새로 오신 교수님 연구실로 들어갈 예정임(좀 많이 남긴 했지만)
인공지능 모델 이용해서 역설계 하는 연구로 학부 때부터 시작해서 논문 쓰고 연구 하라고 하시드라
내가 꿈이 이쪽 분야라서 오긴 했는데 사실 물리나 수학보다는 코딩하고 인공지능 공부하는 걸 더 좋아함
GPT 없을 때부터 Tensorflow+Keras로 혼자 손코딩 하면서 오목 AI 같은 것도 만들고 (+ 지금은 PyTorch 쓰는중임)
학부 1학년 때는 직접 만든 아키텍쳐에 선행연구 모델 넣어서 상도 타고 했었음
그래서 나름 인공지능에 대해서 어느 정도는 안다는 자부심은 있음 ㅇㅇ
쓸데없는 얘기는 줄이고 본론 들어간다잉
1. 아키텍쳐 설계하는 데 직접적으로 도움 되는 서적이나 자료 있음? 지금까지는 걍 뇌피셜 돌리면서 만들었는데, 좀 더 체계가 필요하고 다양한 구조를 보고싶음
그냥 Sequential 같은 모델 말고
2. One-To-Many 데이터를 모델이 직접 학습하게 만들 수 있나? 지금 하는 게 역설계라서 입력값은 다른데 출력이 같을 수가 있음. 모델은 이걸 역으로 돌려야해서 입력은 같은데 여러개의 모델 출력이 나올 수 있는거임
걍 뇌피셜 돌렸을때는 FC Layer에다가 랜덤 노드 몇 개 추가할까 생각중인데 ㅇㄸ?
3. Time Series Regression / Classification 할 때 Transformer도 유효함? 토큰 기반이라 CNN, LSTM이나 GRU에 비해 좀 떨어질 거 같은데. 지금은 1D CNN 고려하고 있음
만들면서 배우는게 제일 빠르고 temparature기반으로 확률적 생성하면 될거같고 트랜스포머도 가능은 한데 비싸지. 근데 여기 물어보는 것보다 gpt나 ai 붙잡고 관련 논문 찾아가면서 하는게 제일 좋음. 걔네가 어지간한 애들보다 잘해
ㄱㅅㄱㅅ 근데 Regression에도 Temperature 개념 적용이 되나? 좀 찾아볼게 트랜스포머가 비싸다는 거는 연산 비용 얘기인 것 같은데... 어차피 시퀀스 길이가 그렇게 길지도 않고 데이터도 어느 정도 전형적이라서 트랜스포머도 ㄱㅊ을 것 같다는 생각이 드네 GPT, 제미나이랑 Claude 다 굴렸는데 다 똑같이 말하드라고... 근데 뭔가 이상한 개념을 자꾸 적용시킬라고 해서 내가 구조 따로 짰음 ㅇㅇ
1. 논문이랑 테크리포트 존나 보는게 답. 근데 요새 메타가 그냥 백본은 정해진 모델 쓰는거라 니가 생각한 아키텍쳐 설계랑은 다를순있다 2. 이건 인풋아웃풋 따라 달라질거 같은데… detr처럼도 해볼수는 있을듯 3. 유효한 정도가 아니라 sota 아님? 좀 outdated일수 있는데 chronos-2 찾아보셈
요즘 다 NLP에 뛰어들다 보니까 좀 정형화 되었나보네 ㄱㅅㄱㅅ DETR은 잘 몰라서 함 찾아봄 저번에 논문 하나 읽어보니까 물리 법칙 데이터? 그러니까 그냥 역학적 데이터에 대해서는 오히려 LSTM이 더 뛰어나다는 걸 봤어가지고 걍 Chronos-2 구조 그대로 따와야겠다 고맙다 근데 내가 AI쪽 연구를 수박 겉핧기 식으로만 알아서 그런지 1년도 안된 페이퍼도 Outdated인거는 신기하다
1. 논문 읽으셈 2. 논문 읽으셈 3. 논문 읽으셈 +) 이 바닥은 탑컨퍼 주저자 한 편부터 인권이 생김. 자부심 버리고, 겸손함 챙기셈.
논문 많이 읽을게 ㄱㅅ 본문에 적어놓은 자부심은 그래도 내가 다른 학부 2학년들보다는 AI에 대해 좀 알 것 같다는 뜻이었음 당연히 이걸 주로 연구하는 사람들 비해서는 절대 못비비지... 애초에 수박 겉핧기 식으로만 공부해서 그 정도의 전문성은 없음 과가 전산학과나 AI 과도 아니고 공부 많이 할게 고맙다
이런 댓글 다는 애들 특징이 아는 거 좆도 없으면서 뭐 있어보이려고 답변은 커녕 의미 좆도 없는 댓글 쳐 달고 훈수 둠 ㅋㅋ
@딥삣삐3(118.235) ㅠㅜ
@딥삣삐3(118.235) 오픈톡 열고 서로 cv깔래? ㅋㅋ
@딥삣삐2(223.39) 븅신 ㅋㅋ 긁? ㅋㅋ
이틀 지나서 유효한 답변인진 모르겠는데 2,3은 내가 연구했던거랑 관련있어서 좀 남겨보자면 2.One-To-Many가능함 당연히 many to many 모델 설계도하고능하고 3. TS data같은경우는 오히려 신경망 모델보다 아직까지도 통계적 추정이나 통계기반의 NN사용하지않은 머신러닝모델이 더 잘하는 경우가많음 task마다 다르겠지만은 벤치마킹에서 트랜스포머 모델처럼 복잡하고 파라미터 많이쓴 모델이라고 막 우위를 점하는건아님
오 감사감사 지금은 또 cVAE마냥 샘플링할 생각하고 있음 흠 TS 관련해서는 좀 더 찾아봐야 할듯 안그래도 며칠 전에 예측에서는 오히려 전통?적 모델이 더 잘 맞춘다는 연구를 봤었음 잘 모르겠다... 어차피 Feature Extraction 할 때 쓸거라 Autoencoder에서 Encoder만 따 올 생각이었는데 그래도 전통?적 모델이 나을라나?
원하는 task의 최근 개제된 논문이나 survey 성격의 논문 벤치마크 태이블 확인하고, 기재된 방법론 대충 ai에 넣고 요약해 달라고해 그럼 너 수준에 맞춰서 잘 요약해줄거야
3번은 점점 돌파구 생기고 있어서 곧일듯 - dc App
나도 기계과 졸업하고 현직인데 트랜스포머까지 굳이 사용해야하나 싶음 데이터셋 크기 해봐야 백개정도라..ㅋㅋ