[일반] p-value가 막 0.222698 이렇게 나오는데 어카냐 ㅠ

[익명(218.145)]

자동분석툴 3개와 수동분석툴 2개의 결과치를 비교하는데

지금 수동분석결과 평균내는데 다 거진 99점 98점 이런 식이거든?

그래서인지 p-value 구해보니까 저렇게 나오고..

더 이해가 안되는 건 찾아보면 귀무가설 얘기밖에 없는데

저렇게 어떤 성능이 아주 좋다는 걸 증명할 때 쓰는 통계는 뭐야?

참고로 자동분석툴 수동분석툴 다 성능이 아주 좋음

살려주라...아니면 크몽이나 숨고 누구 어케 찾으면 되는지 알려줘

단가도 알려주면 더 고맙겠다

[ㅇㅇㅇ(61.72)]

귀무가설을 기각을 할지에 대한 여부를 판단하는 p-value에 대한 내용을 찾아보면 당연히 귀무가설, 대립가설 내용밖에 나오지 않겠지 친구야. 이 내용이 이해가 안되면 가설 검정에 대해서 조금 더 찾아보고 질문에 대해서 정리를 하고 다시 묻는게 좋다고 본다. 너가 질문한 내용으론 도와줄 수 있는게 하나도 없어... 뭐에대한 p-value가 0.22씩이나 나왔는지 너가 어떤 통계모델을 이용해서 예측을 돌렸는지 차근차근 얘기해보는게 좋을 것 같은데. 이게 답이 될 진 모르겠지만 일단 p-value값이 0.22씩이나 나왔다는 것은 너가 주장하려는 가설이 통계적으로 유의미하지 않다는 거야

[익명(218.145)]

우선 늦은 밤 대답해줘서 너무 고마워..자동분석결과와 수동분석결과점수를 비교하는 거야..내가 통계를 몰라서 뭘 더 어떻게 설명해야할 지 모르겠다 ㅠ 통계모델은 아니고 엑셀로 하는 법 찾아서 했어 그거대로 돌리면 된다고 해서...쉽게 말해서 내가 하는 건 번역기 성능이 너무 좋아졌다는 걸 증명하는 건데 그게 특정 분야의 텍스트라서 결과가 진짜 잘 나오거든 이걸 대체 가설을 어케 대립적으로 세워얄지도 잘 몰겠어서 일단 하고는 있는데 그러다보니 논문제출이 코앞이다 ㅠ

[익명(218.145)]

그냥 제가 생각하는 엔진들은 성능이 너무 좋아서 그 결과만 정리하는 거에 적용할 통계방법은 없을까? 예를 들면 파파고 구글 빙 이런 거 쓴다고 치고 결과가 다 95점 이상 나오는데 거봐라 내 말이 맞지 않냐 이젠 번역기는 특정 분야에선 쓸만하다 이 정도? 그래서 그걸 증명하는 점수들을 구해서 다 만들어놨는데 이걸 논문은 통계를 넣어야한다니까 넣으려하긴 하는데 피밸류나 티점수 다 너무 높게 나와버려서 통계가 무의미한거 아닌가? 찾아보니 1종오류에 해당하는 얘긴가도 싶고 ㅠ

[ㅇㅇㅇ(124.58)]

음... 내 답변이 정확하진 않지만 일단 아는데로 써볼게. 너는 지금 자동분석결과와 수동분석결과 점수를 비교하고 있어, 근데 수동분석결과는... 내가 이해하는 바가 맞다면, 사람이 쓴거니 당연히 수동결과와 자동결과가 비슷하다면 좋은 것이겠지? 근데 자동분석결과가 수동분석결과와 비슷할 수록 둘을 비교하는 통계적 검정에서의 pvalue는 당연히 클 수 밖에 없어... 그도 그럴게 자동분석결과가 성능이 좋을수록 수동분석결과와 통계적으로 유의미한 차이가 나지 않을 테니깐 .그렇지만 이러한 p-value를 너의 주장, 그러니깐 자동분석 결과(아마 번역기 성능이겠지? 아니면 미안해 내가 이해를 제대로 못해서)가 성능이 ㅈㄴ 좋다는 근거로 내는건 별로 적절하진 않은 것 같아!

[ㅇㅇㅇ(124.58)]

혹은 너의 가설이 수동결과보다 자동결과가 더 낫다! 라는 것이라면 p-value가 그렇게 높다는건 너의 가설이 통계적으로 유의미하진 않다는거야 그러니 너가 말한데로 번역기 성능을 검증할 다른 방법을 찾아야겠지... 가장 좋은 방법은 다른 성능이 좋지 않은 번역기의 결과와 너가 검증히고자 하는 번역기의 성능이 더 뛰어나다는 것이 통계적으로 유의미하다는 것을 밝혀내는 거야 정확한 방법은 나도 잘 모르겠다... 나도 무식해서 이정도밖에 이야기를 못하겠네... 너가 말한 번역기의 성능만을 측정하는 결과는... 글쎄 모델의 성능을 평가하는 다양한 방법이 있는데 나도 무식하고 너가 검증하고자 하는 방법도 정확히 알지 못해서 뭐라고 확답을 못하겠네 미안해ㅠㅠ

[익명(203.253)]

답변달아주신 61.72랑 124.58 너무 고마워 지금 학교라 길게는 못 쓰고 저녁에 집에 가서 다시 쓰도록 할게 다들 얘기해준 거 잘 참고할게요

[ㅎㅎ(147.46)]

평균 비교에서 아주 미세한 성능개선이 아주 유의미하다고 도메인적으로 판단한다면, 다른 가설을 세우는게 좋을듯

[ㅎㅎ(147.46)]

예를 들어, 0.001 -> 0.002 가 숫자만 봤을때 거의 차이가 없어보이지만, 실제 분포 상에서는 유의한 개선일 수도 있음. 그러면 평균차이를 보는게 아니라 평균의 비율을 본다던가 하는 식으로 가설을 다르게 세워야할듯?

[익명(203.253)]

평균비교라고 찾아보면 되나? 그리고 도메인적이라는 게 무슨 의미야? 도메인의 의미가 정확하게 모르겠더라고..학교라서 길게 못써서 미안하다 정말 답변 고마워

[익명(223.131)]

지금 연구자는 자동번역기 성능하고 인간번역 성능하고 차이가 없다(즉 0)를 주장하고 싶은 거라서, 대립가설 0.22가 나왔으면 본인의 기대가 맞는 거 같음. 대립가설을 흔히 연구자가 주장하는 가설로 설정한다라고 배우는 데, 그건 초보 때 교육의 과정 상 쉽게 가르치려다 보니까 그런 결론이 나온 거고, 가설 설정의 원리는 모순을 이끌어 내서(즉 증거를 찾아내서) 귀무가설을 기각하는 거라고 함 현재의 설정이 맞다고 봄 귀무가설 : 차이가 없다. 대립가설 : 차이가 있다. 성능에 차이가 있다는 건 자동성능이 낮아서 생길 수도 있고, 자동 성능이 높아서 생길 수 있으므로 차이가 있다는 게 꼭 좋은 쪽의 현상은 아님 성능에 차이가 없다는 것은 인간의 능력과 비슷하므로 당연히 0.22가 나오는 게 당연함

[익명(223.131)]

성능 검증의 목표는 차이가 없다 이므로 0.22면 연구 목표 달성한 게 맞는 듯 보임

[익명(203.253)]

까 너무 감사합니다 당신 천재같슴 학교에서 보고 기뻐 까무라치는 중요