트위터로 열심히 최신 정보를 받아보다가 베이지안과 Gaussian processes를 맹렬하게 비판하는 사람이 추천에 떴어.
https://x.com/predict_addict
https://scholar.google.co.uk/citations?user=e_AaIGYAAAAJ&hl=en
이 사람 주장으로는
1. 베이즈 주의는 최근 통계학 학계를 지배했지만 기업에서는 복잡하고 실용적이지 못해(prior를 모른다 등의 이유로) 베이지안 통계 전공자를 피한다.
2. 빅테크에서 베이즈 주의를 적용한 예시가 단 하나도 없다.
3. 메타와 트위터에서는 베이즈 연구팀을 해체했다.
4. 베이즈 통계 연구는 논문을 위한 연구일 뿐이며 아직도 가우시안 프로세스나 붙잡고 있는 캐임브리지를 위시한 학계는 악의 축이다.
5. Conformal prediction만이 진정한 미래다.
등등이 있어
통계학 전공자 관점에서 정말로 베이즈 통계가 실제 산업계에서 외면당하는 현실과는 괴리가 있는 패러다임이라 전공하는 순간 밥줄이 끊기는 그런 분야인거야?
근데 최근딥러닝은 다 베이지안기반 아닌가
저 사람 트윗 천천히 읽어봤는데, 일단 prior를 모르면 베이지안 성능이 안 좋다는 말은 그냥 대중들이 갖고 있는 베이지안 방법론에 대한 몰이해의 편린을 적극적으로 이용하는 주장일 뿐임. 당연히 저 정도 공부한 사람이면 저런 말이 별 영양가 없다는 것은 본인도 알고 있을 것임. 그리고 트위터랑 메타가 베이지안 팀 구조 조정한 것도 생성형 AI에 집중하기 위해서지, 베이지안이 미래가 없어서 그런 건 아님. 에초에 저 사람 연구 분야인 conformal prediction의 목적도 결국 불확실성을 확인하고 추정하는 것에 있는 것임. 그런데 이 부분에 있어서 베이지안의 특기랑 겹치다보니 학계에서 많은 공격을 받고, 완전히 안티로 돌아선게 아닐까 추측이 되네.
저 사람 프로필을 보니까 conformal predictive distribution에 대해서 노력하는 사람이고 내가 conformal prediction이 정확하게 어떤 역할까지 수행하는지는 자세히 모르지만, 불확실성 정량화는 아무래도 베이지안이 지배적이다보니, 꽤 많은 사람들의 공격을 받지 않았을까 싶네. 그래서 화난거겠지. 인과추론 분야에서도 베이지안이 지배적이다보니, 드디어 conformal prediction 기반의 인과추론 논문이 나왔어!! 하고 좋아하는 트윗도 보이네.
자기 연구분야가 베이지안 하는 사람들한테 욕먹으니 흑화한 불쌍한 사람인거구나... 내가 지금 베이지안 랩에 입학했는데 쟤 말 듣고서 빤쓰런 할 필요는 없겠지?
물론이지. 오히려 그런 이유로 나가고 싶다고 교수님한테 말씀드리면 극대노하실듯
통계학에서 GP만큼 직관적이고 잘 작동하는 모델이 있으려나?
그러게 BO에서도 BNN이랑 엎치락 뒤치락하던데 되게 좋은 것 같아보여서... 저 사람은 다 갖다버리고 conformal prediction이나 써라! 이러던데 ㅋㅋ
본문 및 댓글과 별도로 일부의 경우를 제외하고 대부분의 기업들이 베이지안 방법론을 실제 문제해결에 직접적으로 사용하는 것은 여러가지 측면에서 매우 비효율적임. (참고로 난 통계박사고 논문도 꽤 많이 쓰고 미국/한국 기업 다 경험해봤음. 즉 카더라는 아님)
ml dl에서 (좋은 모델의) 하이퍼파라미터 찾는건 베이지안 최적화, gp에서 시작된 경우 많음 - dc App