무근본 휴리스틱으로 성능만 끌어올리기 위해
온갖 트릭으로 무장하는 데 실험 성능이 안나오면
휴리스틱이 잘못된건지, 튜닝이 덜 된거지 정신 붕괴오다가
스캠 논문 쓸 가능성이 ㅈㄴ 높음
반면 수학적으로 모델링하면
근본있게 논리적으로 접근하니 실험 실패하더라도
튜닝이 덜됐겠지 하는 마음으로 논문쓸 수 있음.
심지어 성능이 약간 낮더라도 이론이 맞으면 학계에선 오히려 신뢰가능한 방법으로 받아들여짐
대신 일부 스캠논문은 사람들이 증명 대충 읽을거라고 생각해서 원하는 결과를 먼저 세워두고, 더 이상 논리 갭을 메꿀 수 없을 때 식 ㅈㄴ 복잡하게 쓰면서 사기치니 주의해라 ㅇㅇ
난 코딩 못해서 공대친구 코딩시키고 내가 이론적으로 모델링해주는데, 요즘 chatgpt가 있어서 편한듯
참고로 나는 분야가 강화학습 중에서 이론쪽이고
이쪽은 수학이 좀 필요해서 확률론, 선형대수, 통계학은 필수인거 같고 논문까지 쓸거면 실해석학, 함수해석학, 현대대수까지 들어야한다고 생각함.
온갖 트릭으로 무장하는 데 실험 성능이 안나오면
휴리스틱이 잘못된건지, 튜닝이 덜 된거지 정신 붕괴오다가
스캠 논문 쓸 가능성이 ㅈㄴ 높음
반면 수학적으로 모델링하면
근본있게 논리적으로 접근하니 실험 실패하더라도
튜닝이 덜됐겠지 하는 마음으로 논문쓸 수 있음.
심지어 성능이 약간 낮더라도 이론이 맞으면 학계에선 오히려 신뢰가능한 방법으로 받아들여짐
대신 일부 스캠논문은 사람들이 증명 대충 읽을거라고 생각해서 원하는 결과를 먼저 세워두고, 더 이상 논리 갭을 메꿀 수 없을 때 식 ㅈㄴ 복잡하게 쓰면서 사기치니 주의해라 ㅇㅇ
난 코딩 못해서 공대친구 코딩시키고 내가 이론적으로 모델링해주는데, 요즘 chatgpt가 있어서 편한듯
참고로 나는 분야가 강화학습 중에서 이론쪽이고
이쪽은 수학이 좀 필요해서 확률론, 선형대수, 통계학은 필수인거 같고 논문까지 쓸거면 실해석학, 함수해석학, 현대대수까지 들어야한다고 생각함.
오 혹시 iq-learn 암?
iqn말하는줄 알았는데 찾아보니 닙스 spotlight에 Stefano erman 랩에서 나온거면 읽어봐야겠네. 내용은 존나 취저긴하다 ㄱㅅㄱㅅ
궁금한게 일단 뭐임? 그거 초점 맞춰서 읽어보게
ㄴㄴ 내가 워낙 좋아하는 페이퍼라 혹시 아나 했음 ㅋㅋ 강추함
뭔가 공들여서 읽어보기 좋게 해놨네ㅋㅋ 난 근데 irl쪽보다 bandit, ucrl쪽에 관심 많은데 후배가 마침 저쪽 공부 중이라 시간내서 읽어볼게
ucrl은 뭐임??? 뭐 줄인말이야?
Upper confidence RL 이라해서 bandit UCB를 RL단위로 확장한거임
일단 나는 완전히 rl 도메인은 아니고 비전랩에서 rl은 취미로 (또는 문제를 푸는 도구로) 보는 딥붕이라 정확하진 않을 수도 있긴 한데 하나 궁금한 점이 있음. 보통 rl에서 페이퍼를 이론적으로 서포팅해서 낸다고 하면 테뷸러에서 뭐 바나흐 고정점 정리 같은거로 벨만 오퍼레이터 컨버전스 프루프 해서 내지 않음? 여기서 서포팅 된다고 해도 딥네트워크에서 도 잘 작동한다는 걸 확신할 수 있음?
되게 좋은 질문인데 tabular RL이랑 뉴럴넷 쓴거랑은 증명방법이 보통 구분지어짐. 후자는 function approximator가 구리면 당연히 성립안하는거라 수렴성 보장이 안되지. 그래서 VC dim같은 걸로 필요조건이 따로 필요하기도 한데, 사실 우리가 쓰는 뉴럴넷이 충분히 좋다는 믿음이 전제되고 tabular RL이되면 충분하다 생각하는듯.
이쪽 관심있으면 eluder dimension이나 general value function approximation 검색해보면 될거야.
아 그리고 보통은 우리가 뉴럴넷을 보통 parameterize해서 sgd쓰려고 하니까 생기는 문제들도 있는데, rl은 target이 계속 이동하다보니 이걸 subgradient로 땜빵하다보니 생기는거랑, overestimation bias들도 껴있어서 뉴럴넷끼고는 보통 수렴한다고 말 못하긴해. 대신 Q가 틀리더라도 policy만 맞으면 되는거니 쓸만한거지
자세한 답변 ㄳㄳ
RL이면 뭐 ㅎㅎ GNN과 함께 응용쪽에서 수학 필요한 분야 중 가장 대표적이지 않냐
GNN쪽도 잼써 보이긴한데 시간상 거의 못본듯ㅠ
gnn 수학필요한거 예시좀 들어줄수있음? 진짜 몰라서 물어봄
GNN은 무궁무진하지 해석적으로는 graph convolution을 spectral 관점에서 연구하면 harmonic analysis 관련해서 어떻게 convolution을 정의할지 여러 연구가 가능하고, algebraic geometry에서 sheaf가져와서 새로운 아키텍쳐를 만들기도하고, 전통적인 그래프이론을 이용해서 이미 증명된 GNN의 expressive power와 WL test 의 관계, 그리고 WL test를 넘어서는 GNN의 이론적 조건 및 empirical support 등 할건 많음.
나도 같은 분야 랩실 가려고 하는데 교수가 수학 베이스 쌓는데 2년쯤 걸릴거라 하네 이 분야는 졸업하면 진로가 어떻게 돼? 취업은 할 수 있을까?
학부가 어딘지는 모르겠지만, 선대, 통계학은 기본에 해석학, 확률론만 2학기거쳐서 공부하면 논문 읽는데는 지장 없긴함. 근데 이론적으로 보장된 논문을 작성하는 경우에는 글 아래처럼 실해석학, 함수해석학은 거의 필수
이론적인거 좋아하면 졸업 진로는 나도 국내는 좀 불투명해보이긴한데, 은근 방산쪽에서 여기 관심많이 갖고 있더라. 취업쪽 생각하면 rlhf, decision transformer 계열 공부하면 환영받을곳은 많음.
학부는 컴퓨터과인데 아마 다음학기에 해석학이랑 통계 들을듯해. 지금 가려는 랩이 stochastic multi-armed bandit쪽 연구에 집중하던데 취업 빡세겠네ㅠ
괜찮게 짰네ㅋㅋ 해석학 첨 들으면 멘붕올텐데 극한이라는 무한대의 개념을 유한개 연산으로 열심히 표현하는 과정이라고 생각하고 수업들으면 좀 이해가 편할거야
MAB면 대부분 추천시스템 쪽일 가능성이 있는데 랩 단위면 교수나 선배 커리어 보면 대충 각이 나오니 진로는 가서 고민해도 될 듯? 대신 MAB가 순수 재미용인지 저걸로 너가 뭘하고 싶은게 있는지 고민해보고 교수님이랑 상담해봐
랩 졸업생은 없고 박사과정 6년차 둘만 있더라고 ㅋㅋ 나는 그냥 이론쪽으로 연구해보고 싶다는 이유밖에 없는데 잘 생각해보고 교수랑 상담해봐야겠다 고마워
맞는 말이긴한데, 학자를 할거면 괜찮은데 회사쪽으로 빠질거면 문제가 있을지도. 결국 딥러닝이 잘된건 성능이 잘나와서임. 회사도 성능이 잘 나오고 회사가 원하는 니즈를 실현시켜줄 사람을 원하는거고. 학자를 할 때도 대학에 이론쪽으로 교수하려면 얼마나 허들이 있는지도 바야할듯
동감함. 결국에 이 분야는 엔지니어링이니까 실현시키는 능력이 있어야하는데, 난 구현 단계에서 피로함이 너무 커서 재미를 못느끼겠음. 다행히 chatgpt가 나와서 그 단점을 메꿔주곤 있는데 한계가 있겠지 ㅠ
이론 능력과 공학적 능력이 꼭 tradeoff는 아니겠지만, 이론하는 사람들 중 원하는 실험 결과를 못 얻는 사람이라던가, 데이터 자체를 manipulation하는 경험이 극도로 부족한 사람들도 있음. 작성자가 그렇다는게 얘긴 아니고.
얼추 맞긴해ㅋㅋ 대신 이쪽 테크타는 애들이 우리나라엔 꽤 희소해서 후기 찾기 어려운데, 연구할때는 상당한 메리트가 있으니 좋은 코딩동료구하는게 서로 윈윈이다 말하고 싶었음.
오 RL 전문가한테 꼭 물어보고싶은게 있는데 응용측면에서 RL은 어디에서 제일 쓸모 어디있다고봄? 사실 난 로봇랩이고 주변애들 RL 많이쓰는데 그냥 일반적인 제어기법으로도 RL에 버금가거나 오히려 성능 좋을때가 상당히 많아서 난 좀 의문이 있음..
미안한데 나도 RL의 응용처 찾기가 당장은 어려운것 같다... 우선 rl이 쓸모있으려면 적어도 잘 만든 시뮬레이터가 있던가, 아니면 방대한 trajectory로 구성된 dataset이 있던가 해야되는거 같음. 나는 그런점에서 로봇은 rl만으로 동작하기엔 너무 비싼 분야라 생각함... 추천시스템, 게임, 교통 이런쪽이 난 어울린다고 생각함.