매일 아침 새로운 AI 모델이 발표되고, 그 성능을 증명하는 수많은 벤치마크가 쏟아집니다. 우리는 이제 어떤 모델이 소수점 단위로 더 똑똑한지 알 수 있는 시대에 살고 있습니다.
하지만 정작 그 도구를 손에 쥔 '사람의 능력’은 어떻게 평가해야 할까요?
물론 'AI 리터러시’라는 용어가 있습니다. 하지만 이 단어는 시대가 요구하는 역량을 통칭하는 포괄적인 개념일 뿐, 구체적으로 개인이 복잡한 문제를 어떻게 해결하고 가치를 창출하는지를 측정하는 표준화된 방법론이 되지는 못합니다. 단순히 ‘AI를 쓸 줄 안다’ 는 것과 ‘AI로 현실 세계의 실제 문제를 해결한다’ 는 것은 전혀 다른 차원의 이야기이기 때문입니다.
AI의 성능을 검증하는 벤치마크는 넘쳐나지만, 인간의 활용 역량을 검증할 잣대는 부재한 현실. AI TOP 100은 이에 대한 물음에서 시작되었습니다.
“도대체 AI를 잘 쓴다는 건 뭘까요?”
이 질문으로 출제 과정을 시작했습니다. 찾고 싶었던 'AI 실력자’는 단순히 프롬프트를 잘 짜거나 최신 툴 기능을 꿰고 있는 사람은 아니었습니다.
문제를 명확히 정의하고
AI를 단순한 도구가 아닌 동료로 삼아 협업하며
매 순간 최적의 의사결정을 내릴 수 있는 사람
이들을 '문제 해결자’라고 정의했습니다.
이번 경연대회를 준비하면서 가장 크게 고민했던 지점은 ‘기존 해커톤이나 경시대회와 뭐가 다른가?’ 하는 질문이었습니다. AI가 도구로 끼어들었을 뿐, 결국 최종 결과물의 우열을 가리는 방식이라면 기존 대회와 본질적으로 큰 차이가 없을 테니까요.
정말 중요한 것은 AI 시대의 문제 해결자들은 어떻게 문제를 해결해나가는지 그 '과정’을 평가하는 것이 대회의 목적에 더 부합하지 않나 하는 생각이 들었습니다. ‘참가자가 어떤 예상치 못한 문제에 마주했는가?’, ‘얼마나 효율적으로 AI와 협업하여 해결했는가?’, ‘AI의 한계를 어떻게 보완하고 넘어섰는가?’의 과정 자체가 AI 시대의 새로운 역량 지표라고 생각합니다.
그래서 이번 대회를 위해 문제 출제 시, 참가자가 AI와 협업한 과정과 흔적을 명확하게 보여주는 형태가 될 수 있도록 기획하고자 했습니다.
대회의 방향성을 정립한 직후, 핵심 이해관계자를 비롯한 출제위원 모두가 동시에 느낀 거대한 장벽이 있었습니다.
“결국, 문제가 문제다.”
‘AI를 잘 쓴다는 것’에 대한 정의와 '문제 해결자’라는 대상을 정의했지만, 정작 그들의 실력을 검증할 '좋은 문제’를 출제하는 것 자체가 큰 난제였습니다. 이 난관을 돌파하기 위해 세 가지 핵심 출제 원칙을 수립했습니다.
가장 중요한 대원칙은 결과물뿐만 아니라, 난관을 돌파하는 문제 해결의 과정을 중요하게 여기는 것입니다.
AI가 전적으로 문제를 해결하는 것이 아니라, 사람의 분석 → AI의 문제 해결 → 사람의 검증이라는 프로세스가 작동해야 한다는 점을 강조했습니다. AI는 강력한 엔진이지만, 그 엔진을 어디로 이끌지 결정하고 결과물의 품질을 책임지는 것은 결국 사람이어야 합니다.
사람의 분석 여부에 따라 AI의 문제 해결 과정은 크게 달라질 수 있습니다. 단순히 문제를 복사해서 "풀어줘"라고 요청하는 것이 아니라, 사람의 직관으로 문제를 분석한 뒤 여러 방식으로 협업할 수 있습니다.
분석 결과를 AI에게 함께 제공하여 더 정확한 풀이 유도 - 사람은 바로 인식하지만 AI가 분석하기에는 부정확하고 오래 걸리는 내용들 (예: 식단표의 구조 정보, 복잡한 표의 행/열 관계)
AI가 더 효과적으로 문제를 풀 수 있도록 데이터 전처리 과정 수행
일부 API 문제는 전체 문제 풀이 파이프라인을 AI 에이전트에게 위임하여 완전 자동화
예를 들어 몽타주 문제의 경우, 이미지 생성 → 제출 및 평가 → 피드백 분석 → 프롬프트 개선 → 재생성 파이프라인을 목표 점수에 도달할 때까지 에이전트에게 위임해놓고 다른 문제에 집중할 수 있습니다.
문제는 누구나 이해할 수 있을 만큼 직관적이어야 하지만, 그 풀이 과정은 깊이가 있어야 했습니다. 여기서 '명확성의 역설’이라는 난관에 부딪혔습니다.
대회의 신뢰성을 위해서는 모든 문제에 명확한 정답이 존재해야 합니다. 하지만 아이러니하게도, 문제 설명이 명확하고 정답이 딱 떨어질수록 AI는 너무나도 쉽게 풀어버립니다.
따라서 가장 큰 과제는 ‘답은 명확하되, AI가 단번에(One-shot) 풀어낼 수 없는 미로를 설계하는 것’ 이었습니다. 이것이 바로 경계했던 ‘딸깍’ 방지의 핵심이었습니다.
이를 위해 AI의 기술적 약점을 일부러 문제 속에 심어두었습니다. 참가자들이 최신 AI 연구에서 밝혀진 기술적 한계를 명확히 인지하고 있는지 확인하는 것을 넘어, ‘그럼에도 불구하고 인간은 어떻게 답을 찾아내는가?’ 를 관찰하고 싶었기 때문입니다.
특정 프레임워크나 단 하나의 풀이 방법만을 강제하지 않습니다. 출제자조차 상상하지 못한 창의적인 접근 방식이 등장할 수 있도록 열린 구조를 지향했습니다. 참가자가 문제를 풀며 "와, AI를 이렇게도 쓸 수 있구나"라는 의미 있는 발견을 하기를 기대했습니다.
단순한 Q&A가 되지 않기 위해, 실제 현업에서 마주하는 문제 상황을 4가지 패턴으로 구조화하여 출제 범위를 구체화했습니다.
| 패턴 | 핵심 역량 | 내용 |
|---|---|---|
| P1. 분석 및 정의 | Insight | 정답이 없는 복합 데이터 속에서 의미 있는 '문제’나 '기회’를 스스로 정의하고 발견 |
| P2. 구현 및 자동화 | Action | 정의된 문제를 해결하기 위해 AI 솔루션을 실제 작동하는 코드나 워크플로로 구현 |
| P3. 전략 및 창의 | Persuasion | 기술적 솔루션을 비기술 이해관계자에게 설득력 있게 전달하기 위한 논리, 전략, 창의적 콘텐츠 생성 |
| P4. 최적화/의사결정 | Decision | 제약 조건 하에서 목표를 최대화하는 최적의 의사결정을 내리는 시뮬레이션 |
이 4가지 패턴을 기반으로 프로토타입 문제를 먼저 만들어보고 직접 풀어보며, 이것이 과연 대회용 문제로 적합한지 검증하는 과정을 거쳤습니다.
하지만 이 패턴들이 출제위원의 시야를 가두는 틀이 되지 않도록 경계했습니다. 패턴은 그저 방향을 잡기 위한 참고용 가이드라인이었을 뿐입니다. AI가 가지지 못한 상상력을 발휘하여 최대한 다양하고, 현실적이며, 재미있는 아이디어들을 문제로 발전시켰습니다.
AI TOP 100 문제 출제위원들은 엄격한 '문제 고도화 파이프라인’을 구축했습니다. 아이디어가 실제 문제가 되기까지는 총 4단계의 관문과 수많은 테스트, 캘리브레이션 과정을 통과해야 했습니다.
문제 컨셉을 던지고, "이게 말이 돼?"를 검증하는 단계
Human-AI 협업(Human-in-the-loop)을 측정할 수 있는지 평가
4가지 문제 패턴(P1~P4) 중 어디에 해당하는지 분류
유사 문제와의 차별성 검토
대회 취지와의 정합성 확인
실제로 풀이가 가능한 수준으로 구체화하고 신뢰도를 검증하는 단계
출제위원이 직접 문제를 풀어보며 풀이 경로 확인
정답 기준 및 채점 로직 명세화
예상 소요 시간 측정
최신 AI 모델로 One-shot(딸깍) 풀이 가능 여부 테스트
문항 분리 전략 수립
난이도를 보정하고 적합성을 재검토하는 단계
데이터셋 개인화 가능 여부 검토
어뷰징 취약점 분석 및 방어 전략 수립
문제 설명 명확성 점검
다른 문제들과의 난이도 밸런싱
시스템 구현 요구사항 정리
예선과 본선에 배치될 최정예 문제를 선별
예선/본선 배치 결정 및 문제 순서 조정
최종 문구 다듬기 및 오탈자 검수
채점 시스템 최종 검증
백업 문제 준비
문제가 확정된 후에도 긴장을 늦출 수 없었습니다. 다양한 스펙트럼의 페르소나를 정의하고 대회의 기준 페르소나를 찾아, 그에 맞는 문제를 출제하고자 했습니다. 하지만 기존에 없던 대회였기에 기준 페르소나를 정의하는 것 자체가 상당히 어려웠습니다(기준의 모호함). 무엇보다 AI 모델이 매일 업데이트되면서 지난 주에는 어려웠던 문제가 이번 주에는 ‘딸깍’ 한 번에 풀리는 경우도 허다했습니다(기준의 변동성).
이에 대응하기 위해 3단계 실증 테스트를 지속적으로 반복 진행했습니다.
1. 출제위원 내부 테스트우리가 낸 문제를 우리가 못 푸는 상황을 방지하고, 최적의 풀이법을 검증합니다.
각 위원이 독립적으로 문제를 풀고 여러 AI 모델(Claude, GPT, Gemini 등)로 직접 풀이 시도
예상치 못한 풀이 경로 발견 시 문제 수정 여부 논의
“이 문제가 정말 Human-in-the-loop를 요구하는가?” 재검증
일부 개발자를 대상으로 문제 중심의 1차 검증을 진행합니다.
실제 대회 환경에서 문제별 난이도 체감 및 풀이 소요 시간 측정
문제 설명의 명확성과 이해도 피드백 수집
데이터셋 개인화 작동 여부 및 예상 풀이 경로 분석
알파 테스트 미참여 개발팀 멤버 및 프로젝트 관계자를 대상으로 최종 검증을 진행합니다.
다양한 배경의 참가자를 통한 난이도 체감 설문 및 AI 활용 역량 측정 적합성 확인
문제 설명의 오해 여지 최종 점검 및 문제 전반에 대한 피드백 수집
베타 테스트 결과를 바탕으로 문제 최종 수정
문제와 세부 문항을 확정하고 난이도 조정까지 마친 이후, 마지막 단계는 점수 캘리브레이션이었습니다.
난이도의 상대성 이슈로 인해 참가자의 특정 도메인이나 기술 경험 여부가 전체 총점 순위 변별력에 너무 큰 요소로 작용되어서는 안 되었습니다. 각 문제의 직접적인 난이도 평가는 어렵더라도, 하위 문항들은 출제자가 의도한 문제 해결 노력 비용으로 어느 정도 상호 비교가 가능했습니다.
그래서 전체 문제의 모든 문항을 하나씩 비교하며 점수를 캘리브레이션했습니다.
예선과 본선 모두 각 문제의 총점이 100점으로 균일하지 않고 문제별로 들쭉날쭉한 이유가 바로 이 때문입니다. 문제의 겉보기 난이도가 아니라, 실제 해결에 필요한 노력과 역량을 기준으로 점수를 책정했습니다.
“전 국민 누구나 참여 가능하지만, TOP 100은 진짜 실력자여야 한다.”
진입 장벽은 낮추되 변별력은 높이는 이 목표를 달성하기 위해 입체적인 난이도 설계와 공정성 확보 장치를 마련했습니다.
예선 5문제, 본선 9문제의 배치 순서도 신중하게 고민했습니다.
대회 시스템에서 1번 문제부터 풀어야 하는 것은 아니지만, 알파·베타 테스트 데이터를 분석한 결과 대부분의 참가자가 1번부터 풀이를 시작하는 것을 확인했습니다. 이에 따라 문제 배치 순서를 의도적으로 설계했습니다.
진입 장벽 낮추기: 1번 문제에는 누구나 쉽게 접근할 수 있고, 널리 알려진 AI 도구들을 활용해 풀 수 있는 문제를 배치했습니다. 참가자들이 초반에 성공 경험을 얻고 대회에 몰입할 수 있도록 유도하기 위함이었습니다.
자동화 경험 유도: API 활용 문제의 경우 풀이 → 제출 → 피드백 검증 → 재풀이 → 재제출 단계를 완전히 자동화할 수 있는 구조입니다. 이러한 문제를 앞쪽에 의도적으로 배치하여, 참가자들이 대회 시간 동안 자동화된 파이프라인을 구축하고 API를 통해 반복적으로 답안을 제출하며 고득점에 도달하도록 의도했습니다.
처음 기획 단계에서는 하나의 문제에 하나의 문항만 있는 단순한 구조를 생각했습니다. 하지만 AI 활용 역량에 대한 표준이 없다 보니 다양한 도메인의 문제를 출제해야 했고, 여기서 ‘난이도의 상대성’ 이 발생했습니다. (예: OCR 경험 유무에 따른 체감 난이도 차이)
이 문제를 해결하기 위해 문제당 여러 문항을 배치하여 '난이도 사다리’를 만드는 전략을 택했습니다.
단일 문항 → 다문항 구조
- 시작 문항 (Easy): 진입 장벽을 낮춰 포기하지 않도록 유도합니다. (예: 기술/도메인 경험이 없어도 AI와 함께 풀 수 있는 수준)
- 힌트 문항 (Medium): 킬러 문항을 풀기 위한 단서이자 빌드업 과정입니다.
- 킬러 문항 (Hard): 변별력의 핵심입니다. 최신 모델로도 단번에 풀리지 않도록, 복합 추론과 인간의 검증이 필수로 요구됩니다.
같은 문제라도 답변 형식에 따라 난이도를 정교하게 조절했습니다.
처음에는 주관식 중심으로 출제했습니다. 하지만 내부 테스트 결과, 대회 특성상 여러 문제를 짧은 시간에 풀어야 하기에 AI 결과물을 검증할 시간이 부족하다는 피드백이 많았습니다. 이를 보완하기 위해 쉬운 문제 중심으로 객관식 문항도 활용했습니다.
객관식의 경우:보기가 일종의 힌트(Few-shot) 역할을 하므로 상대적으로 접근과 검증이 쉽습니다. 단일 선택과 다중 선택에 따라 난이도가 달라집니다.
보기 항목을 전략적으로 활용하기도 했습니다. 힌트 문항에서는 보기를 통해 AI의 할루시네이션 가능성을 환기시켜 검증의 필요성을 느끼도록 했고, 킬러 문항에서는 보기 자체가 할루시네이션을 유발하거나 AI의 오답을 유도하는 요소를 배치했습니다.
주관식의 경우:정답의 형식을 스스로 맞추고 내용을 생성해야 하므로 난이도가 급격히 상승합니다. 검증 가능한 요소들을 최대한 제공하여 사람이 AI 결과를 확인할 수 있도록 했습니다.
예를 들어, 예선의 ‘PDF 숨겨진 텍스트 찾기’ 문제에서는 노래 가사, 단어 수 등의 검증 포인트를 제공했습니다. 또한 답변 입력 형식(숫자만, 영어 대문자만 등)도 답변의 표현 방식에 대한 힌트로 활용했습니다.
흥미로운 점은 예선에서 “보기에 정답이 없습니다”, "주관식인데 영어만 입력됩니다. 오류인 것 같습니다"라는 문제 신고가 들어왔다는 것입니다. 하지만 이는 오류가 아니라 의도된 힌트였습니다. 생각보다 많은 참가자들이 AI의 답변을 너무 신뢰한 나머지, 시스템상 제약 조건 형태로 제공한 힌트를 오류로 판단하는 상황이 발생하기도 했습니다.
문제 설명 방식과 검증 구조에 따라서도 난이도를 다층적으로 조절했습니다.
문제 설명의 힌트 조절:방대한 지식을 가진 AI는 작은 힌트 하나에도 너무나 쉽게 문제 해결 방법에 접근함을 확인했습니다. 직접적으로 힌트가 되는 단어나 개념을 문제에 포함하는지 여부에 따라 체감 난이도가 크게 달라졌습니다.
참가자가 문제를 정확히 이해하고 AI에게 적절한 지시를 내릴 수 있는지를 측정하는 요소로 활용했습니다.
검증은 모든 문제에서 필수적이지만, 참가자가 검증을 하도록 유도하는 방식을 다양한 깊이로 구성했습니다.
- 명시적 검증 유도: 문제 설명에서 검증 방법을 직접 제시하고, 참가자가 검증 과정을 수행해야 정답에 도달할 수 있도록 설계
- 시스템적 검증 유도: 시스템이 참가자의 답변을 평가한 결과를 제공하여, 이를 바탕으로 개선된 답변을 제출하도록 유도
- 암묵적 검증 유도: 문제 설명에서 검증을 언급하지 않지만, 검증 없이는 오답일 확률이 매우 높도록 설계
대표 사례:
전투 시뮬레이션 문제(명시적): 정답 검증을 위해 참가자가 직접 검증 데이터셋을 구성해야 함
몽타주, 오목 등 API 활용 문제(시스템적): 답변에 대한 평가 결과를 제시하여 더 나은 결과를 제출하도록 유도
유튜브 영상 분석 문제(암묵적): AI에게 정답과 함께 타임스탬프를 요청하고, 사람이 해당 구간을 빠르게 재검증했다면 고득점 가능
이처럼 사람의 검증 역량 수준을 다양한 방식으로 확인하고자 했습니다.
온라인 예선의 한계를 극복하기 위해 시스템적 감시뿐만 아니라, 문제 설계 단계에서부터 부정행위를 차단하고자 했습니다.
데이터셋의 개인화가장 핵심적인 대응 방법이었습니다. 참가자마다 문제의 데이터셋(수치, 고유명사 등)을 다르게 적용했습니다. 채팅방에서 답을 공유하더라도 내 문제에는 오답이 되도록 하여 부정행위를 원천 차단했습니다.
중요한 원칙은 데이터셋이 다르더라도 문제 해결의 난이도와 복잡도에는 영향을 주지 않아야 한다는 것이었고, 이를 위해 철저한 검증을 거쳤습니다.
객관식 보기 랜덤화객관식 보기 순서를 무작위로 섞어 단순 번호 공유를 방지했습니다.
“AI를 잘 쓴다는 건 뭘까요?”
이 질문에서 시작한 여정은 수개월간의 문제 출제 과정을 거치며 조금씩 답을 찾아갔습니다. AI 모델의 성능을 측정하는 벤치마크는 이미 충분히 발전했지만, 정작 그 도구를 활용하는 사람의 역량을 측정하는 방법은 여전히 부족합니다.
우리는 이번 대회를 통해 단순히 AI 도구를 사용할 줄 아는 것을 넘어, 복잡한 현실 문제를 AI와 협업하여 해결할 수 있는 능력을 측정하고자 했습니다. 문제 정의부터 검증까지, 사람이 주도권을 잡고 AI를 효과적으로 활용하는 전 과정을 확인하고 싶었습니다.
AI 도구는 계속해서 발전하고 있지만, 그 도구를 올바른 방향으로 이끌고 결과물의 품질을 책임지는 것은 여전히 사람의 몫입니다.
마지막으로, 출제위원들이 머리를 맞대고 고민했던 그 모든 시간의 결론을 이 한 문장으로 남깁니다.
“AI는 위대하지만, 그것을 더 위대하게 만드는 것은 여전히 (아직은) 사람의 몫이다.”
— AI TOP 100 출제위원 —
댓글 0