예전엔 직접 엑셀이나 통계프로그램으로 돌렸는데 이제 gpt가 있으니 손쉽게 여러가지 방면의 분석이 가능해짐

gpt가 작년만 해도 좀 엉뚱하게 하는게 종종 보였는데 이젠 이 정도 수준(초등적인 수준)에선 큰 문제 없는거 같음


104명 답변 기준


# 전체 점수분포


90점 만점, 30점*3, 동일 대문항 내 소문항별 점수 전부 동일 가정

(다만 실제로는 작년처럼 소문제별 점수 통일한다 해도 7/7/8/8 이런식으로 할것으로 생각)


60후반~70중반 정도에 많이 몰려있고 여기가 일종의 밀집지대라고 볼수 있겠지 (물론 보통은 자신의 답변을 과대평가 하는 경우가 많으므로 답변자들의 실제점수 그래프는 전반적으로 더 점수가 낮게 그려질것이고 균등배점이 아니라 옛날처럼 난이도별 차등배점으로 한다면 전반적으로 더 점수가 낮고 & 그래프 모양도 완전히 달라질수 있음)


또한 실제 전체 응시자들의 그래프는 당연히 이거와는 다를것이고(설문 답변자들의 표본수준이 전체응시자 집단보다는 당연히 높다고 생각)

일부 고득점자들 중 최저미통과자들이 있을 것이므로 최저통과자들만 놓고봤을땐 그래프가 또 달라지겠지


하지만 어차피 중요한건 전체 응시자 집단에서 점수가 어디에 가장 몰려있냐가 아니라 (이건 당연히 낮은 점수대에 많겠지) 합격선(예상) 근처에서 몰려있는 곳이 어딘지를 찾는것이고 이런 부분에 있어선 오히려 갤 설문이 강점이 있을수 있겠지


어쨌든 작년 결과를 기초해서 내가 하고있는 가설은 홍대의 경우 최저충족률, 충원율 등을 고려할시 최종적으론 대부분 학과에서 적어도(즉 여기서 더 내려간다면 내려갈수 있더라도 이보다 합격선이 높긴 힘들다고 생각) 밀집지대까진 합격선이 내려오지 않을까 라는 것

즉 본인이 밀집지대에 속한다고 생각된다면 최저충족시 대부분의 학과에서 큰 문제가 없지 않을까 생각해봄



그럼 밀집지대에 속하려면 어느정도 맞아야 하는가? 는 1-4, 2-4, 3-2, 3-3을 빼고 나머지를 다 맞으면 90-7.5-7.5-10-10=55 이므로 쉬운 문제만 다 맞추고 나머지가 백지라면 밀집지대와는 거리가 있음

작년처럼 나머지 난도가 있는 문제들이 거의다 싹다 어려운게 아니라 3-3을 제외하면 어느정도 접근이 가능한 문제들이므로 여기중에서 한두개는 풀거나 부분점수를 받거나 하는 경우가 많기 때문으로 보임 

즉 대충 2~3개 정도 못푼정도가 주로 해당된다고 보면 될거같음


cf. 작년 그래프 (1-5, 3-3, 3-4, 3-5에서 3-3 정도를 제외하면 손을 못대도 괜찮다고 생각되는 정도)



다만 이 말이 내가 https://blog.naver.com/paradiseview/224046764689 에서도 적었듯이 그럼 4개 틀리면 마음 비워야 하냐? 의 의미는 아님

어차피 채점은 어떻게 될지 모르기 때문에 본인이 알고보니 감점을 겁나 당했으면 2문제 틀렸다고 생각했어도 불합격 점수가 나올수 있고 (-> 이런 애들이 많았다면 설문과 실제의 괴리감이 더욱 커지겠지)

반대로 많이 틀렸어도 감점이 거의 없었고 상황에 따라 합격선이 충분히 거기까지 내려갈수 있다고 생각



# 풀은 문제 개수(추가)

소위 '몇틀'로 말하는게 많은거 같아서 A=1개, B=0.5개로 해서 푼 문항수 그래프를 그려봄 (109명 답변기준)


8.5이상~9.5미만(사실상 8.5개, 9개) 에서 빈도가 높게 나오네

응시자 중 상위권 학생들이 실제로 이 구간에 밀집되어 있을 가능성이 높다고 생각 (당연하지만 위의 점수 밀집지대와 유사한 결과이긴 하지)


앞서 말했듯 홍대는 적어도 밀집지대까지는 컷이 충분히 내려올것이라 보이지만, 그렇다고 밀집지대를 뚫고 내려갈 가능성이 높은지는 잘 모르겠음

즉 위 그래프 상에선 8개 정도부터는 학과에 따라 다르겠지만 좀 애매할수도 있다고 봐야겠지 (물론 각 소문제별 점수 차이가 작년처럼 거의 없다는 것을 전제로 함, 주로 못푼 문제들 내에선 비슷할거 같긴 하지만)


다만 저 데이터는 주관적인 답변의 모음이고 기본적으로 어느정도 과대평가 돼있다고 생각하면 되기 때문에 그럼 3개 백지부터 위험한거냐 라고 말할수는 없음 

가령 어떤 학생이 1개 못풀고 2개 반정도 풀고 나머지는 확실히 다 풀었다 생각해서 A 8, B 2, D 1 이렇게 답변해서 저기에는 9개 푼것으로 체크되었는데

실제로는 A라고 체크된거 중에서도 감점이 많이 됐다면 3개 백지이되 확실히 나머지 다 푼애가 점수가 더 높을수도 있겠지



# 지원학과별 점수분포



사실 애들이 가장 관심이 많은건 이거일텐데.. 물론 전체 집단이 이렇다는 보장은 당연히 없으나 이번엔 답변자가 많아서 대형과의 경우는 인원이 좀 있어서 한번 진행해 봄


어느정도 생각하는대로 나오는거 같긴 함

즉 설문 답변자 내에서 인기학과 중심으로 응시자의 평균수준이 높거나 고득점자가 전반적으로 많이 보이는 것 같음



# 지망별 점수산점도


기본적인 가설은 지망순위가 높을수록(1지망에 가까울수록) 점수가 낮고 뒷지망으로 갈수록 점수가 높은 것

만약 그렇다면 낮은 지망일 경우 홍대를 안전빵으로 쓴거라 그 외 학교 최저를 고려하면 홍대 최저를 맞출가능성이 일반적으로 더 높을거고 다른 빠져나갈 곳이 많으니 대부분 빠져줄거고 추합이 잘 돌아가겠지


gpt가 ANOVA를 돌려주었을때 지망별 평균적인 점수에 통계적으로 유의미한 차이가 있다고 나옴(p=0.00496)

사실 그래프를 딱봐도 6지망이라 한 애들 점수가 전반적으로 높고 1지망이라 한 애들 점수가 전반적으로 낮은게 보이긴 함


근데 이건 각 집단별로 서로서로 전부 유의미한 차이가 있다는 의미는 아님

tukey HSD를 돌려보면(사실 돌릴만한 조건에 잘 맞진 않다만) 1지망 vs 4지망, 1지망 vs 6지망 이 2가지 경우에 대해서만 유의미한 차이가 있다고 나옴

가령 1지망 vs 5지망 이런건 유의미한 차이가 없다고 나옴


다만 처음 얘기한 가설은 kendall tau를 돌렸을때 통계적으로 유의미하다고 나오긴 하고 계수 역시 양수(지망 숫자가 높아지면=뒷지망일수록 -> 점수가 높아지는 경향) 이긴 함

즉 이러한 경향이 설문 답변자뿐 아니라 실제 최저통과자 전체 집단에서도 많이 보이면 추합이 좀 잘 도는데 영향이 있겠지



# 집단 수준별 각 문항의 평균반응도


점수에 따라 1/3씩 잘라서 세 개의 집단(상/중/하)을 만들고

각 문항별로 각 집단의 문항반응도(A=1, B=2/3, C=1/3, D=0) 평균을 계산해서 막대그래프를 그린것

사실 합격자집단/불합격자집단 또는 합격자집단/전체집단 이렇게 비교하는게 의미가 있지만 지금은 그걸 모르는 상황이므로


당연하긴 하지만 거의 모든 문항에서 상->중->하로 갈수록 떨어지는 경향이 보임

기본적으로 셋다 차이가 별로 없을수록 변별력이 떨어지는 문항이고 차이가 벌어지면 변별력이 커지는 문항으로 볼수 있겠지(점수 높은 집단은 푼 애들이 많고 낮으면 푼 애들이 적고)


이것도 똑같이 ANOVA를 해보면 1-1, 1-2를 제외하면 다 집단간 차이가 있다고 나옴

즉 1-1, 1-2는 변별력이 너무 없었고 그 이유는 쉬웠기 때문이겠지 (2-1, 2-2도 전체적인 정답률로 보면 큰 차이가 없지만 집단간 차이가 발생한 이유는 상/중위집단은 확실히 해결한 것에 반해 하위집단에는 확통을 아예 손못댄 경우가 있어서 그런거 같음)



이건 1-1, 1-2를 제외한 각 집단별 쌍을 지었을때 유의미한 차이가 있는지 본 것

상위-하위끼린 당연히 차이가 있을것이고 상위-중간은 1-4, 3-2, 3-3이 차이가 있다고 나옴

특히 3-3은 중간-하위 차이가 없다고 나와서 상위권 집단만 일부 풀고 나머진 못 풀고라고 봐야겠지 (설문 답변자들 내 상위집단-그외집단 기준에선 변별력이 있는 문제지만 실질적으론 없는 문제)


만약 중위 집단까지 합격권에 어느정도 속한다고 본다면 애매하게 그래프가 나온 1-4, 2-4, 3-2, 3-3 중에선 2-4가 변별력이 가장 있는 문제라고 볼수 있겠지 (상위-중위는 차이가 유의미하지 않고 중위-하위는 유의미하게 있음)