[📪정보] 강화학습과 의학에서 발전이 느린이유

[익명(14.50)]

모두 counterfactual inference 가 아직 정복이 덜됐기 때문임. 즉, 데이터상으로는 A를 해서 B라는 결과를 얻었지만, 만약 C 했다면 어땠을까? 라는 식의 학습, 추론이 어렵다는거임

강화학습의 경우 실제로 시행착오를 일일이 거쳐서 학습하는 기존의 방식은 스케일업이 안됨. 시간이 너무 오래걸림 기존 데이터 이용도 어렵고. 실세계 문제는 바둑처럼 무한반복 시뮬레이션 돌리면서 학습할 수가 없음.

그래서 데이터화된 정보를 가지고 학습하는 offline RL 이 풀려야 하는데, 이게 문제가 어려움.

예를들어 자율주행을 생각해봐. 그냥 정속주행하고 안전운전하는 걸로만 데이터를 모았을거아니야? 그래서 이것만 가지고 학습하면 학습데이터 외의 상황, 즉 갑자기 벽을 들이받는다거나 하는 상황은 애초에 데이터에 없었기떄문에 로봇차가 벽을 들이받아버리는 걸 학습해버려도 기존 데이터 기준에는 문제가 안된다는거임.

그래서 학습데이터에서 최대한 벗어나지 않도록 학습하거나 하는 소극적 학습 방식이 연구되고 하는 중인데 (conservative Q-learning 등), 여전히 이 counterfactual inference 문제, 데이터에 없는 상황에 대한 판단을 어떻게 내려야하는지에 대한 문제가 굉장히 난제라는거임

의학도 마찬가지임. 로봇의사가 궁금하다고 환자 배를 이리 가르고 저리 갈라보고 할 수 없기 때문에 기존 지식, 환자 데이터에서만 인과관계를 추론하고 결정을 내려야하잖아? 근데 만약 기존에 못봤던 환자데이터, 경향이 주어졌을 경우 어떤 판단을 내려야 인과관계를 잘 맞춰서 최대한 안전하면서 정확한 결론을 내릴 수 있는지, counterfactual inference 를 어떻게 할 지 어렵다는거임. 왜냐면 데이터가 없으니까..

이 문제가 학계에서 풀리는 순간 진짜로 agi가 나오는거라고 보면됨.

[익명(218.144)]

의학도 특히 암치료도 빨리특이점좀.. 5년안에될까.. - dc App

[익명(210.123)]

그래서 시뮬레이션 돌리는거아님?

[익명(14.50)]

시뮬레이션은 무조건 실세계랑 차이 (distributional shift)가 클 수 밖에 없고 이 갭을 줄이는 것 자체가 굉장히 어려움. 데이터가 아무리 많아도 소용이 없고 근본적인 난제임. 그리고 시뮬레이션이 아니라 실제 환경이랑 interaction 하는 상황에서도 로봇이 실시간으로 학습을 해버리게되면 지식을 업데이트하기 바로 직전에 경험한 정보조차도 과거 데이터가 되어 갭이 발생하게됨. 어려운 문제임

[익명(125.191)]

딥마인드가 풀었어

[익명(39.117)]

[익명(125.191)]

[익명(221.140)]

엔비디아가 그래픽 시뮬레이션 돌리는거 보면 뭔가 길이 보이지 않을까 생각도 들던데

[익명(14.50)]

ㅇㅇ 결국엔 1. 시뮬레이션을 돌리거나 실세계 데이터를 많이 수집하거나 해서 대규모 학습 데이터를 구축하고 2. 이 "과거" 데이터로부터 얼마나 distributional shift 를 줄여서 현재에 도움이 되게 할지 3. 이 대규모 정보를 담을 네트워크 구조 (예를 들면 랭귀지 모델같은 경우 트랜스포머 등) 개발 이 세가지를 풀면됨

[익명(1.239)]

그런게 밑에 글에서 나온 OOD generalization 아님?
https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=78759&page=1

[익명(14.50)]

그치 ood generalization 를 말하는거임. 이게 진짜로 PaLM 이나 Dall e 에 의해 풀린거라면 의미가 굉장한거지. OOD 를 직접적으로 타겟하지 않은 랭귀지 모델 혹은 이미지 모델이 OOD 를 해결할 수 있는 지능을 직접 갖춰서 스스로 해결해버린다는 거니까.

[익명(1.239)]

근데 컴공알못이라 물어보는건데 out of distribution을 해결할 수 있는 능력이 있다고 치면 그만큼 연산자원이 더 들거나 하진 않음? 인간도 운전할때 초보운전때는 별에 별 걱정을 다 해서 장시간 운전하면 녹초가 되는데 베테랑이면 그 정도는 아니잖아. AI도 그런게 있나 갑자기 궁금해지네

[익명(125.191)]

빨리 배울 수 있도록 천천히 배우는 것, 한 번에 배우는 것. 빨리 배우려면 천천히 배워야 한다는 말이 있습니다. 그래서 당신은 우리의 삶을 통해 사람들을 알고 우리는 좋은 표현을 배웁니다. 그래서 우리가 약간의 경험을 얻을 때 올바른 행동이 의미하는 바를 매우 빠르게 배울 수 있습니다. 한 번의 샷에서 배울 수 있지만 한 번의 샷에서 배우는 것은 오랜 기간의 표현 수집을 기반으로 합니다 - Richard Sutton

[익명(14.50)]

OOD 는 아직 전혀 풀리지 않은 문제고 누구도 그에 대한 답을 제대로 하기 힘듬. 다만 너가 말하는 연산은 학습시의 연산이라기보다는 실제 테스트 상황에서 추론할 때의 연산 (추론 등) 을 말하는 것 같고, OOD 에서 추론을 빡세게 해야 하는 건 맞지 다만 어떻게 해야할지 갈피를 못잡고 있을 뿐. GFlowNet 이 정확히 이걸 타겟하기 위해 개발된거다

[익명(14.50)]

125.191 게이가 말하는거는 meta-learning, few-shot learning 으로 보이네 이것도 ood 를 접근하는 한가지 방법으로 여겨질 수 있지만 이전 경험이 이후 경험에 연관이 된다는 걸 명시적으로 가정함. 그래서 흔히 말하는 ood 보다는 쉬운 문제로 생각하면됨

[익명(125.191)]

https://twitter.com/ilyasut/status/1510318661818458115

[익명(14.50)]

agi가 개쩌는 앙자컴 만들어줘서 실시간 원자 시뮬레이션 가능해져야 컴퓨터로만 약 개발하는 시대가 온다. - dc App

[익명(118.219)]

뭔소리인지 하나도 모르겠음. 넌 연구원은 해도 학교 선생은 하지마라.

[익명(14.50)]

어려울 수 있지..

[익명(118.219)]

아니 그냥 니가 설명을 개좆같이 못하는거.

[익명(14.50)]

아 그래..

[익명(hyeongim264)]

경계선지능장애

[익명(59.9)]

[익명(hyeongim264)]

전공자인가보네 ㄷㄷㄷ 글수준이 높노