생명과학을 전공하는 대학원생입니다.
연구를 진행하던 와중에, 잠깐 질문드리고 싶은 사항이 생겨서 글을 쓰게 되었습니다...
통계학 유학 추천해야 할 수준의 미미한 통계학 지식을 갖고 있는 터라 여러분의 도움이 필요하게 되었습니다.
간단하게 얘기하면, p-value 설정에 대한 질문입니다.
전체그룹 O = {A, B, C, D, E}인 상황에서, (= 으로 표기해서 헷갈릴 수도 있는데, A, B, C, D, E도 각각 소집단입니다. A에 속하는 사람이 수 십 명, B에 속하는 사람이 수 십 명... 뭐 이런 식이예요.)
A한테서 유독 빈도가 높게 나타나는 특성을 찾고자 하는 건데요.
그 분석 대상이 되는 특성(특성... 이라고 말해도 되는지 모르겠지만)이 약 700만개입니다.
그래서 처음에는 p-value를 5*10^-8로 설정하고 A vs A만 제외한 전체집단 사이 큰 차이가 존재한다고 판단되는 특성들을 선별해 남겼습니다.
여기서 선별되고 남은 게 약 10000 여 개 정도입니다.
문제가 되는 게 여기서였는데요,
갑자기, 저기서 남은 2000개가 전부 A-specific하게 높게 나타나는 애들인지가 궁금해졌습니다.
예를 들어, A, B, C, D는 비슷비슷하게 갖고 있는데, E가 혼자서 미친듯이 낮게 갖고 있어서 A > 전체 평균이 된 것일 수도 있으니까요.
그래서 다시 A vs B, A vs C, A vs D, A vs E를 다시 전부 수행했습니다.
만약 A=B처럼 나오는 특성이 있다면, 걔네를 전부 제거하려고요.
여기서 문제는, 제가 이번에는 2000개에 대해서 진행한 거니까 다시 p-value를 조정하면 되는 건지 궁금해졌습니다.
처음에 설정했던 대로 5*10-8을 그대로 가져가는 것이 엄밀하게 맞는 건지, 아니면 분석 대상 개수가 확 적어졌으니 10^-5 정도로 p-value를 조금 다시 루즈하게 설정하면 되는 건지 부족한 제 머리로는 모르겠어서 질문 올렸습니다...
어느 쪽으로 하는 것이 맞을까요?
정말 얄팍한 지식 수준으로 대학원생 하고 있어서 죄송합니다...
일단 p값을 왜 5*10^{-8}로 설정했는지 궁금하고 (도메인 지식인 건지) 조건이 B,C,D,E는 다 비슷하게 가져야 하고 A만 나머지랑 달라야하는 특성인건지 궁금함 - dc App
(1) Genome Wide Associated Study 연구를 할 때 사용되는 일반적인 p-value값입니다. 대충 원래 100개에 대해서 p-value 0.05 넣으면 False positive가 5개 정도 뜰 수 있지만 100만개에 대해서 p-value 0.05 를 넣으면 False positive가 5만개가 나오는 거니, 대충 이 정도 스케일은 5*10-8 정도로 넣자고 대충 학계에서 암묵적인 합의가 이뤄진 거 같은 모양으로 보입니다. 자세한 건 저도 잘 모르지만 일단 남들이 다 쓰니 썼습니다 (2) B,C,D,E가 꼭 비슷할 필요는 없습니다. 일단 A >> B,C,D,E 이기만 하면 무조건 OK입니다
흠 실험계획쪽 전공은 아닌데, 일단 ANOVA를 한 후 다중비교를 해야할 것 같고, 다중비교 방법은 여러 개가 있는데 p값을 건드리는 건 추천하지 않고, 그렇게 p값이 낮아야 할 정도로 도메인이 보수적이라면 가장 보수적 테스트인 튜키의 다중비교가 좋아보이네. - dc App
GWAS에서 conventional하게 저걸 한다고는 많이 들었는데, false postivie줄이겠다고 억지로 p-value 줄이는게 사실 조금 이상한거 같긴 해요. 그래서 p-value 안보고 FDR 컨트롤하는 benjamini-hochberg같은 것도 있는걸로 알고... 말씀하신 부분은 엄밀한 p-value의 정의를 따라가자면 대립가설을 저렇게 A>B and A>C and A>D and A>E로 해버리면 귀무가설을 어떻게 정의할지가 살짝 애매해져서 조금 어려울것 같구요.. 아주 러프하게 생각해보면 원래 한번 테스트 하던걸 4번 테스트해서 다 통과해야되는거니까 pvalue threshold를 4배정도로 하면 얼핏 비슷한 갯수가 남을거 같아요
p-value를 Bonferroni correction으로 false-positive 줄이는 방법임. 그냥 유의수준을 0.05로 일반적으로 잡게 되면 각각의 potential outlier에 대해 false-positive를 투머치하게 f잡게 되서 그럼. 따라서, 유의수준을 alpha/n(sample size)으로 해서 P(at least one false positive)를 계산하게 되면 alpha가 나오게끔 세팅하는거임.