시립대의 경우 다른 문제들보다 3-b가 압도적으로 체감난도가 어려웠지

그래서 여기에서도 적었듯 합격자와 그 외 사이의 3-b에 대한 반응은 사실상 차이가 없었음

답변에 대한 스스로의 평가가 정확하지 않은 경우가 많은걸 고려하더라도 합격자가 확실히 더 좋았다고 보긴 어려움

즉 변별력이 없는 문제라고 볼수 있음


반면 2번과 같은 경우는 내가 저 글에는 적진 않았지만 차이가 많이 남

즉 변별력이 있었다는거지

왼쪽은 최초합&예비 한자릿수, 오른쪽은 그 외로 나눠본 것


3db5df32eaed6af63ceb9be4479c766ca46ccfaf3e48f1d6ac30b3ee8efec2caf4fc4adfa6b90df4


왼쪽은 15명 중 A가 10명, B가 2명으로 A, B가 전체의 4/5를 차지함

반면 오른쪽은 8명 중 A가 3명, B가 2명으로 전체의 5/8을 차지함

막 엄청 드라마틱한 차이가 있는것은 아니지만 이정도는 꽤 차이가 있다고 볼수 있지(특히 A 기준으로)

결과적으로 2번과 같은 문제는 손을 못대면 광탈가능성이 높고, 확실히 풀진 못했더라도 어느정도의 점수는 반드시 받아내야 하는걸 알수 있음


현재는 설문을 종료한 시험직후 설문의 2번의 전체 문항반응도를 보면



a15714ab041eb360be3335625683746f00534428d6a4ea89d53460f29d1ccd6e29537b2790be60a750572eddc4



1-a, 3-a보다는 A, B의 비율이 낮긴 하지만 그래도 어느정도 비율을 차지하고 있지

그리고 말하지 않아도 이 그래프를 보면 1-a, 3-a에서 본인이 틀리거나 점수를 깎였다면 그건 합격에 있어 매우 크리티컬하게 작용할수 있음을 알수 있지


그래서 사실 문항반응 질문을 넣는게 답변자도 부담스럽고 나도 귀찮음에도 불구하고 꼭 넣으려 했던 이유는 이런 내용들을 파악하기 쉽기 때문

학교에서 공식적으로 이런 내용을 공개한 기록은 거의 없다시피한데 인하대가 예전에 잠시 몇년간 공개한 적이 있었음(내가 이 글에서 썼던 것처럼)

아쉽게도 지금은 문항별로 합격/지원을 나누어 공개하는 곳이 없는데 공개를 하면 좋지 않을까 생각됨


저 문항반응을 통해 재미로 어떤 문제가 크리티컬한지 여부를 예측해볼수 있는 지표(index)를 만들어볼수도 있겠지

가령 위 그래프에서 A, B의 답변 비율이 몇%를 차지하는지, 아니면 A=3, B=2, C=1, D=0같이 배점하여 평균 몇점인지 이런 것처럼..



7cf3da36e2f206a26d81f6e74e857d6d


홍대의 경우 현재 이런 상황인데 시립대 3-b의 그래프를 고려하면 최소한 1-5, 3-4, 3-5는 없는 문제라고 보아도 상관없을 정도임

3-3 정도는 좀 변별력이 있을수도 있다고 볼수도 있겠지(아예 백지를 냈다면 조금 불리할 수는 있는?)

나머지 문제들은 못풀었거나 많이 깎이는 일이 있다면 크리티컬하게 작용할수도 있을거고

그래프를 보면 3-3만 좀 애매하고 나머지 문제들은 확실히 쉽거나 확실히 어렵거나 이기 때문에

이런 경우 어려운 문제 -> 사실상 없는 문제, 쉬운 문제 -> 감점이 클 경우 크리티컬

결국 합격을 결정하는 가장 중요한 요소는 '쉬운 문제에서 큰 문제가 없었는지' 정도라고 볼 수 있음

특히 경쟁률이나 모집인원 등을 고려했을 시 (난 최초합도 그럴거라고 보이지만) 최종 커트라인 부근은 어려운 문제는 아예 손을 못댔어도 쉬운 문제에서 큰 문제가 있었냐 없었냐 정도로 결정될 가능성이 높음

반면 시립대는 2, 4의 경우가 상당히 변별력이 있게 나온 편이고 실질경쟁률과 모집인원을 고려하면 홍대랑은 상황이 상당히 다르다고 봐야겠지


무엇보다 이정도로 유의미한 결과물이 나온 것은 전적으로 잘 답변해준 갤러들 덕분임

사실 이런건 대학에서 공개를 직접 해줘야 하는건데