p-hacking이란 건 보통 어느 정도 많은 자료를 수집했을 때 marginally significant하다면 수집된 표본 집단에서 유의성을 해치는 자료들을 제거하는 방식으로 p-value를 끌어내림으로서 이루어진다.
그리고 이 짓거리는 상당히 많은 연구실에서 이루어지고 있다. 이런 주작질은 연구 윤리에 어긋난다고 생각하지도 않는가 보더라.
하긴 내 지도교수도 실험은 5반복한 뒤에 그 중 제일 비슷한 세 가지를 골라 데이터를 내라더라. biomarker validation을 할 때든, 무얼 할 때든.
심지어는 나오지도 않은 데이터를 CV(보통 (SD/mean)*100%로 계산되는 변이의 척도다.) 5-15% 이내에서 임의로 반복한 것처럼 만들어내서 3반복 데이터랍시고 만들어내라던데. 나참 어이가 없어서.
정작 중요한 validation은 실험자들이 예산과 시간이 모자라서 interday intraday 3반복 × 3반복, 총 9번 실험을 해야하는데 못 하고 5번만 했으니 전혀 다른 방향의 주작질을 하게 된 셈이지만.
웃긴 건 여기가 그래도 생명과학부 내에선 제일 reproducible하고 robust한 과학을 하는 곳이란 점이다. 기기분석을 주로 하니까.
이딴 수작질들을 보고 있으면 느끼는 점인데 과학은 참 멍청한 짓이다. 멍청하기 짝이 없다.
어디 fancy한 연구결과를 잘 내놓는 연구실들도 주작질을 막 했을지도 모르지. 의심의 눈으로 보기 시작하면 끝이 없다.
p-value가 왜 0.05 미만이어야 되는지도 모르는데 남들이 백날 통계 잘 하라고 해봐야 의미가 있나. 교수나 에디터가 갖고 오라고 하는 건 그냥 p < 0.05인 데이터일 뿐인데.
이런 교수새끼가 논문을 비판적으로 읽으라고 하면.. 그냥 씹지랄처럼 느껴질 따름이지.
그냥 실적내기에 특화된 여엉구우 하는데네요 ^^; p-value 0.05 야 95% 검정 유의미라는 뜻이니까 유의미한 최소기준(2-sigma 라고도 하고, 더 정확하게 소수 내려가면 95.449...%)이고, 엄밀할수록 그에 해당하는 p는 높아지는데... 예컨대 예전에 중력파 검출 어쩌고는 6-sigma (퍼센티지로 99.9999998026825%) 까지 가야 함. 측정기기의 정확도는 말할것도 없쥬
p < 0.05 얘기는 이걸 처음 제안한 Fisher가 무슨 목적으로 그 얘길 했는지 아무도 모른다는 거였음. 나도 언제 한 번 다시 읽어봐야됨.
최근에는 유의 수준 a를 0.005까지 내리자든가, 아니면 더 내리자든가, Bayesian을 사용하자든가... 뭐 이런 저런 얘기가 있던데, 나도 통계 전문가는 아니라서.
어익후 유의수준 0.005 면 3.5- 나 4-sigma 쯤 되나유? 도대체 실험할 때 표본이 얼마나 필요한 겨 ㅠㅠ 가난한 여엉구우실은 죽었다 복창해야 겠네
인간들이 하도 p-hacking을 많이 해서 그래
솔직히 p-hacking 해대는 사람들 입장에서 유의수준 올리는 건 삽질 시행착오 숫자 늘리게 하는 것 이상의 의미가 없쥬 ㅠㅠ 어차피 지놈들 안하고 아바타Post-doc/스탠드 대하건생 시킬 따름이지만 ㅋㅋㅋㅋㅋㅋ
그노무 p-value에 대해선 요런게 있슴돠:
https://en.wikipedia.org/wiki/68%E2%80%9395%E2%80%9399.7_rule
여윽시나 한쿡어 페이지는 부실함 ㅠㅠ 조금만 고등지식 가도 영길리 말은 필수임...
과학의 근간이 흔들리는 심각한 상황인데, 어떻게 해야 이 상황을 개선할 수 있을까. 얘기를 듣기로는 그동안 신규 연구에만 주목하고 재현성 연구의 가치를 폄하하며 무시하는 과학자 사회의 문화가 문제라고 했는데, 역시 문화의 문제의 해볍은 교육으로 접근해야겠지. 과학도들에게 전공 분야의 지식만이 아니라 그 전공분야, 나아가서 과학 전체가 어떻게 작동하며 왜, 어디까지 신뢰할 수 있는가, 그 신뢰성을 어떻게 보장할 것인가 하는 교육이...
뻘글 그만싸고 진지한 소리 좀 하자면. 교육에만 기대기엔 이미 임계점을 넘어섰음. 그런 어프로치라면 현재 대다수를 차지하는 인간들이 다 죽게 되는 몇세대 이후에 겨우 효과를 발휘할 것임. 명왕성 행성 퇴출도 행성으로 등재했던 천문학계 높으신 분 뒤진 다음에 겨우 되었던 것만 봐도 이 판이 돌아가는 분위기가 이따구임. 재현성 연구를 폄하하는 것은 아마도 근본적으로 해결하기 힘듬. 차라리 peer-review 같은 프로세스에서 재현이 되는가를 제대로 체크하는 것을 중시하는 편이 더 효과적일 것임. 다만 그러기 위해서는 1) 논문심사가 길어짐 2) 논문심사에 비용이 들수밖에 없음 3) 까발리기 싫은 것도 까발려야 함. 등이 문제가 되겠지요.
재현성 연구를 왜 폄하할 수 밖에 없나, 문제는 "정보로서 새로울 게 없다"임. 실험방법도 있던것 그대로 했다 (물론 그대로 해서는 그 결과 나올리가 없겠지만), 그래서 결과가 나왔다 한들 기존 논문에서 뽑혀진 데이터와 크게 다를게 뭐냐? 같은 이야기로 귀착되는데, 그게 혹시 크게 다르다면 뭐 들여다 볼 가치가 있는 데이터겠지만, 그게 도찐개찐이라치면 인류 지식에 기여한 양은 0에 수렴하거든요. 여튼, 차라리 논문심사시에 재현성에 대한 평가를 제대로 하는게 더 중요하지, 재현성 연구를 평가하겠다는 건 더 큰 문제를 만들 공산이 큼. 막말로 개나소나 "기존연구 재현해봤다, 똑같은 결과 얻었다 ㄳ." 로 끝나면 그게 무슨 의미가 있나요?
물론 사람의 양심과 재량에만 맡기는 게 아니라 기계적인 좋은 시스템을 만들고 잘 관리하는 것이 필수지요. 하지만 그런 불편한 시스템이 왜 필요한가를 그 시스템에 속하는 사람들 개개인이 이해하는 것도 필요하지 않나 싶다는 거죠. 지금은 그런 쪽의 관심이 없이 짜증내면서 관행적으로 하는 경우가 많으니. 그런 의식이 없으니 p 값 따지면서도 그게 왜 중요하고 왜 따져야 하는 건지 이해하는 사람은 없더라 얘기가 나오는 걸테고요.
뭐 나름 과학분야(다른 댓글에서 말했듯 과학인지는 의문이지만?)에 속한 사람으로서 드는 생각은. 그냥 톱 학회/저널에서 심사기준을 저렇게 하면 한방에 해결 될 일 같아 보였는데, 생각해보니 이것도 쉽지는 않네... / 1) 너네 raw 데이터부터 시작해서 가공방식 tool chain 다 올려서 논문에 올린 데이터 그대로 안 뽑히면 논문으로서 받아주지 않습니다. > 2) 이건 시작일 뿐이에요. 설령 그게 되더라도 다른 팀에서 재현 할 정도로 정보제공 안하면 너네 논문은 리뷰어를 붙이기는 커녕 아예 심사후보에도 안 넣어줍니다. / 여기까지는 OK 였는데, 이제 리뷰시에 다른 팀에서 재현실험을 하게 될 때 들게 될 비용을 누가 처리하는가의 문제가 생김... 내 머리로는 해법이 안 떠오름...
재현성의 중요성을 사람들이 심각하게 받아들이고, 재현성에 돈을 안 쓰면 안된다는 공감대가 형성되고 재현성 연구하는 쪽에 세금이나 투자금 충분히 들어갈 정도로 사회적인 공감대까지 이뤄져야 하는데... 아무튼 이제 얘기가 나오긴 헀으니 첫 단추인 문제인식의 단계는 밟지 않았나... 싶은.
글에 언급을 제대로 안 했는데 실험 자체가 워낙 숙련이 필요하고 stochastic한 부분에 영향을 받는 경우도 꽤 있다. 생물학 실험자들은 대부분 실험 결과가 원하는대로 안 나오면 "내 손이 잘못됐나보다."하고 다시 실험을 하는데 그럼 결과가 제대로 나올 때까지 많은 실험 결과들이 버려지는 거고, 결과적으로 좋든 싫든 데이터 주작질을 어느 정도 하게 되어
있는 셈이다. 난 개인적으론 BCA assay나 Bradford assay 같은 실험자의 아주 기본적인 파이페팅 스킬을 알아볼 수 있는 것만 적정 기준을 통과하면(솔직히 R squared가 얼마나 나와야 하는지도 의문) 그 사람들 손이 잘못된 게 아니라 원래 그런 실험이라고 생각하는데...
실험 결과가 어떻게 나오던 맘대로 버리는 건 안된다고 배웠는데.
ㅇㅇ 은연중에 다 주작질 하는 거지. 실제로 교수나 짬 좀 먹은 인간들도 그렇게 가르침. "넌 실험을 어떻게 했길래 결과가 이따위로 나오냐?"라면서.
설령 데이터 캐비넷에 숨겼다 칩시다. 그걸 외부 사람이 알 방법은? ㅋㅋㅋㅋㅋㅋ
사실 생물학계 전반의 연구 재현이 안 된다는 문제는 이런 데에서도 기인한다고 봄.
심지어는 "몇몇 사례가 있었는데, 얘네는 outlier 라서 버림 ㄳ" 같은 당당하게 버리는 방법도 있음. 뭐 분야마다 다르겠지만 HCI 같은 적당-주의 쪽은 24 사례 중 1~2 사례 정도는 해도 OK 랄까. 뭐 컴퓨터 사이언스 분야 자체가 말만 사이언스고 하는거 보고 있으면/실제하면 '과학이라는 옷을 입힌 뭔가 다른거' 라는 느낌을 항상 받고 있지만 말이쥬.
뭐 손이 깨끗한 사람, 손이 좋은 사람, 이른바 실험을 하면 교수 입맛에 맞는 결과가 딱딱 잘 나오는 사람들도 있긴 한데, 그게 실험을 정말 제대로 해서(너무나 정성적인 기준 ㅋㅋ)인지, 운이 좋아서인지 어떻게 알아?
? 오보카타 하루코? ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
에이 그건 주작질이구요. 슨생님 ㅎㅎ... 생물학 하는 연구실은 좋은 피겨가 한 번에 나오면 반복 실험 안 하는 연구실도 꽤 많으니 그냥 연구 방식 자체가 멍청하다고 생각.
뭐 실험 자체가 손을 탄다면 생물학 아닌 다른 데라고 해서 이런 주작을 못 할 거 같진 않지만.
그나마 다행인 점은 예산과 시간의 부족 때문에 짠돌이 교수들은 n=3을 넘는 걸 극도로 싫어해서 주작질 된 걸 출판하는 경우가 적을 수 있다는 점. 물론 주작질이 안 됐고 n=3에 결과가 별로라면 출판도 안 될 거고 교수한테는 "손이 더럽다."고 낙인 찍힐 거고...
물론 펀딩 받아서 하는 과제 같은 건 기간 내에 결과가 나와야 하니 얄짤 없습니다. ㅎㅎ
n=3 얘기는 한 가지 시료 갖고 batch 여러 개 하는 validation 얘기고, biological replicate들은 내가 위에서 말한 대로 주작질하겠지.
근데 생물학 실험은 잘 알려진 실험조차도 결과 정말 안 나오긴 하던데. 전공외 선택으로 들었던 생물학쪽 수업 실습에서 실험 끝나고 결과 취합하니까 교재에 나온 것처럼 결과 나온 팀이 한 팀도 없었더라는.
교재에 나온 건 정말 fancy한 겁니다요.. ㅋㅋㅋ
cloning 같이 메인피겨 안 나오고 그냥 실험 절차 중 하나인 건 "많이 해본다."가 숙련도를 올리는 데에 최적의 답이었음. 연습이 좀 되면서 노하우도 생기고 실패율도 좀 감소하거든. 근데 거기 드는 예산 어쩔.. ㅋㅋㅋ
내가 있는 실험실은 크로마토그래피랑 질량분석기 쓰는데, 내가 분석한 결과가 제대로 실험이 된 건지 보려면 크로마토그램을 보라고 하더라고. 진짜로 "동일한 양"을 비교가 되게끔 분석했는지 알아보라는 의미겠지. 근데 크로마토그램 자체가 거의 비슷했음. 신호 강도든 peak shape건 간에. 내가 느낀 바인데 이런 데에서 교수가 원하지 않던, 혹은 예상하지 못
한 결과가 기인했을 거란 생각은 안 들더라고. 뭐 애초에 비슷한지 아닌지 보는 방식도 겁나 정성적이지만. 무슨 정량적 과학? 똥싸는 소리하고 있네.
비싼기기를 나랏돈으로 써보는 좋은 변명 됐잖아유? ㅋㅋㅋ 이런거 아니면 언제 이런 비싼기기를 써 보겠슴둥? ^^
실험할 때마다 기계 고장난 거 아냐? 하면서 기계 탓부터 하게 되던데.
풀어 쓰자면 실험 자체는 잘 했는데 교수가 원하는 결과는 안 나왔다는 거지. 일단 결과가 마음에 안 들면 내 손부터 의심하니까 그냥 웃기데.
거기다 기계나 분석 방법 자체에서 나타나는 bias, 데이터 처리과정에서 발생하는 bias 같은 걸 생각해보면.. 도대체 과학이란 걸 어떻게 그렇게 당당하게 믿나 싶을 정도임.
아 그런 얘긴가. 뭐 얘기 듣다 보면 그 교수란 사람도 앎보다는 먹고사니즘으로 사는 것처럼 들리는데. 예전에는 그래도 앎을 추구하던 시절이 있었을 텐데 왜 그렇게 된걸까나.
과학은 그냥 편견과 권위의 학문 같음. 주작질 다 제외하고 봐도 이 모양인데. 과학이 도대체 뭐야? ㅋㅋㅋ
혹시 '겨수 니가 원하는 결과가 안 나오고 이런 결과가 나왔으나, 그 이유는 이러하다 이 무지렁이야' 까지 설명 했다면 어떻게 되었을까? 그러면 더 싫어 하려나 ㅡㅡ;; 하여간에 또라이 상대하는 건 답이 없다...
예전에 stochastic한 부분 보정해줄만한 방법으로 normalization을 하면 괜찮을 거 같아서 관련 논문 저널클럽 때 발표했더니 역시 "손이 좋아야 된다."로 끝남. ^^;;;
근데 그런 bias 정식적으로 다 집어 넣지 않나? 나는 실험할 때 발생 가능한 모든 오차를 전부 고려하고 그걸 어떻게 결과에 반영했는지 수치, 수식, 해석 전부 정확하게 기록하도록 교육 받았는데.
그게 계산이 되는 bias(실제 신호 강도가 다른 것에 영향을 받아 떨어짐) 같은 게 있는가 하면, 계산이 안 되는 bias(batch 여러 개가 있으면 한 군데에서는 그냥 아예 검출 안 됨. missing value) 같은 것도 있는 터라... imputation이라는 섹시한 방법론도 있고 실제 소프트웨어에도 들어가지만 내가 알고리즘을 모르는 이상 무턱대
고 믿고 있기 좀 그렇더라.
선생님 말을 들어보니 뭔가
http://newspeppermint.com/2013/09/23/epfl/
이걸 떠올리게 했는데, 뜯어보니 그냥 보스가 또라이라서 문제 같네유...
물론 우리 겨스님은 알고리즘따윈 몰라 ^^ 바보야 바보
음... 하긴 오류 추적이 쉽게 가능하면 반영 안 할 이유는 없겠지. 여러 어려움이 있는 거고만.
링크에 나온 내용도 일정 부분 공감이 되는 현실임. ㅎㅎ 에이 그지같은 과학.
요즘은 데이터는 넘쳐나지만 그 데이터를 처리하고 해석하는 게 문제니. 수학적, 통계학적 지식과 기술이 점점 중요해지는 시대니 결국 수학을 공부해야...
점점 새로운 수학적, 통계학적 기법이 나오고 그런 것들이 점점 더 좋은 결과를 만들어 주니 그런 쪽의 공부도 놓치지 않고 꾸준히 해야 할 듯. 뭐 항상 공부할 건 넘쳐나지.
말을 저래 했다고 troubleshooting이 필요없다는 건 아니고, 손이 좋다/나쁘다의 문제는 생각보다 알기 힘든 게 많이 관여할 거라는 이야기. 초보들은 뭐가 문제인지 잘 포착하지 못 하니 지도하는 입장에서 잘 알아채야 하는데 그닥... 원래 그런 실험인지 진짜 손이 나쁜 건지 알 수도 없는데 그냥 니 손이 나쁘다 그러면 뭐 어쩌라는 건지.
그럴 때마다 교수들이 참 미련해보임.
같은 시료에 조건 거의 통일해서 분석해도 신호 강도 크기가 2배 이상 껑충 뛰는 멍청한 기계 써보고서 느낀 바.
전능하신 겨수님과 연구실 선후배들에게 고백하오니 모자란 생각과 어눌한 말과 나쁜 손으로 더러운 데이터를 많이 만드는 죄를 지었나이다. 제 손 탓이요 제 손 탓이요 제 손의 큰 탓이옵니다. 그러므로 간절히 바라오니 평생 이 학교에 붙어있을 겨수님과 이미 졸업하거나 졸업을 앞둔 선배들과 졸업이 아직 까마득한 새까만 후배들은 제가 무사히 졸업하길 빌어주소서. 전능하신 겨수님, 저에게(만) 자비를 베푸시어 저의 손을 용서하시고 졸업으로 이끌어주소서. RAMEN.