https://x.com/_xjdr/status/1954946075862982890




36ea8271b78b6dfe4bf28eec408969690bcbd59f4d72c4cd4be5e9b1bff1003071aaabf8354040fb0e6ea74b6554e9192ee69b47d9




자, GPT-5 / Opus 4.1 초기 평가가 끝났습니다. 이번 주 내내 이 작업에 매달릴 수도 있었지만, 안타깝게도 다른 할 일이 있네요. 이번 테스트의 목표는 이 두 모델의 조합으로 DeepSeeks NSA를 처음부터 구현하게 하는 것이었습니다. 이 주제는 백서(whitepaper) 외에는 참고할 만한 선행 연구가 거의 없어서 평가 과제로 삼기 좋았죠.


이번 테스트에서 저는 리포지토리에 코드나 문서를 단 한 줄도 작성하지 않았고, 오직 프롬프트만 사용했습니다. 정교한 스캐폴딩(기반 코드)이나 규칙은 없었고, 그냥 느낌 가는 대로 모든 것을 프롬프트했습니다.


저는 두 모델에게 무엇을 어떻게 해야 할지 직접 지시하는 것을 삼갔습니다. 대신 백서를 유일한 사양(spec)으로 삼도록 계속 강하게 방향을 제시했고, 모델 스스로 목표 달성을 위한 테스트와 규칙을 만들게 했습니다. 이번 커밋에서 제외된 것은 수백 개의 자잘한 테스트들뿐인데, 이것들은 커밋된 더 큰 규모의 테스트에 대부분 반영되어 있습니다.


결과적으로 사용 환경은 꽤 단순했습니다. GPT-5가 (Codex를 통해) 사양을 생성하고 리뷰를 수행하면, Opus 4.1 / Sonnet이 (Claude Code를 통해) 코드를 작성하는 식이었습니다. 작업을 간단하게 하려고 각 모델을 tmux 창에 띄워놓고 'capture pane' 기능으로 컨텍스트를 공유했습니다.


결과:


이게 프로덕션(실서비스)에 바로 투입할 수준인가? 절대 아닙니다.


대부분의 연구원이나 엔지니어가 48시간 동안 작업한 결과물보다 나은가? 당연합니다.


확장 가능하거나, 사람의 감독 없이도 가능할까? 절대 아닙니다. 제가 강하게 밀어붙이고 올바른 방향으로 이끌지 않았다면 작동하지 않았을 겁니다.


GPT-5는 좋은 모델인가? 융통성이 극도로 부족해서(super autistic) 미묘한 뉘앙스의 프롬프트나 암시된 컨텍스트는 전혀 이해하지 못합니다. 하지만 초인적인 수준의 동료 검토자(peer reviewer)이자 시스템 관리자(sysadmin)입니다. 코딩과 수학 영역에서 환각(hallucination) 현상이 현저히 줄었다는 점에는 동의하지만, 이는 창의성을 희생시킨 대가인 것 같습니다 (대부분의 사람에게는 괜찮은 절충안이겠죠). GPT-5와 (Claude Code를 통한) Opus 사이의 지능 격차는 눈에 띄게 큽니다 (GPT-5가 더 똑똑합니다). 하지만 '일벌(worker bee)'로서는 Sonnet/Opus 조합을 이기기 힘듭니다 (Codex는 비교도 안 됩니다). 제가 다른 모든 CLI와 에이전트 도구를 써봤지만, 개인적으로 CC(Claude Code)가 UX 측면에서는 압도적으로 선두입니다.


저는 이 리포지토리에 있는 결과물이 오늘날 AI 모델 조합이 (전문가의 감독 하에) 만들어낼 수 있는 pareto frontier에 있다고 꽤 자신 있게 말할 수 있습니다. slop은 아니지만, 배포 가능한 수준도 아닙니다. 결국 두 모델 모두 불법 메모리 접근 문제(CUDA가 CUDA 했죠 뭐)에 부딪혀 막혔고, 이 문제를 해결하려면 제가 직접 코드의 명백한 구멍들을 메워야 할 것 같습니다 (그렇게 되면 이 테스트의 의미가 없어지게 되죠). 그럼에도 불구하고, 만약 주니어 혹은 미드 레벨 엔지니어가 주말 동안 작업해서 이 정도 결과물을 새로운 연구 프로젝트의 시작점으로 가져왔다면, 저는 아주 기쁘고 감명받았을 겁니다.


AI 코딩에 대해 이야기하면서 정작 코드는 공유하지 않는 사람들을 보면 약간 짜증이 납니다 (저 역시 이런 잘못을 많이 저질렀지만요). 마침내 공유할 수 있는 결과물이 생겼기에, 제가 보고 싶은 세상의 변화를 직접 만들어보고자 했습니다.


저는 이 프로젝트를 더 이상 진행하지 않을 것 같습니다. titan용으로 이미 작동하는 NSA 구현체가 있고 (이것도 곧 오픈소스로 공개할 것 같지만요), 그저 100% AI가 작성한 코드에 대해 다른 분들은 어떻게 생각하시는지 궁금하네요.


인상적인가요, 아니면 끔찍한가요? 쓰레기 대포인가요, 아니면 "미쳤다!" 소리가 나오나요?!




https://github.com/Noumena-Network/NSA-Test


GitHub - Noumena-Network/NSA-Test: NSA Triton Kernels written with GPT5 and Opus 4.1

NSA Triton Kernels written with GPT5 and Opus 4.1. Contribute to Noumena-Network/NSA-Test development by creating an account on GitHub.

github.com