[📪정보] 안드레이 카파시 Grok 3 사용후기 ON (장문)

[익명(forgot6853)]

https://x.com/karpathy/status/1891720635363254772

오늘 일찍 Grok 3에 대한 초기 접근 권한을 얻어, 제가 아마도 가장 먼저 간단한 분위기 확인(vibe check)을 실행할 수 있는 사람 중 하나가 되었을 겁니다.

사고 (Thinking)

✅ 첫째, Grok 3는 분명히 최첨단 사고 모델("Think" 버튼)을 가지고 있으며, 제가 낸 "카탄의 개척자" 질문에 대해 즉시 훌륭한 결과를 보여주었습니다.

"카탄의 개척자 게임처럼 육각형 격자를 보여주는 보드 게임 웹페이지를 만들어주세요. 각 육각형 격자는 1부터 N까지 번호가 매겨져 있으며, 여기서 N은 총 육각형 타일의 수입니다. 슬라이더를 사용하여 "링"의 수를 변경할 수 있도록 일반적인 형태로 만들어주세요. 예를 들어 카탄에서 반지름은 육각형 3개입니다. 단일 HTML 페이지로 부탁합니다."

이 문제를 안정적으로 해결하는 모델은 거의 없습니다. 최고의 OpenAI 사고 모델(예: o1-pro, 월 $200)도 해결하지만, DeepSeek-R1, Gemini 2.0 Flash Thinking, Claude는 모두 해결하지 못합니다.

❌ 제가 낸 "이모지 미스터리" 질문은 해결하지 못했습니다. 이 질문은 유니코드 변형 선택자 안에 숨겨진 메시지가 첨부된 웃는 얼굴을 제시하는 것이었는데, Rust 코드 형태로 해독 방법에 대한 강력한 힌트를 주었음에도 불구하고 말이죠. 제가 본 가장 큰 진전은 DeepSeek-R1에서 나왔는데, 한 번 메시지를 부분적으로 해독했습니다.

❓ 제가 제시한 몇 개의 틱택토 보드를 꽤 깔끔한 사고 과정을 통해 해결했습니다(많은 SOTA 모델이 종종 실패하는 부분이죠!). 그래서 난이도를 높여 3개의 "까다로운" 틱택토 보드를 생성하도록 요청했는데, 실패했습니다(말도 안 되는 보드/텍스트 생성). 하지만 o1 pro도 마찬가지로 실패했습니다.

✅ GPT-2 논문을 업로드했습니다. 몇 가지 간단한 조회 질문을 던졌는데 모두 잘 작동했습니다. 그런 다음 검색 없이 GPT-2를 훈련하는 데 걸린 훈련 FLOP 수를 추정하도록 요청했습니다. 이것은 토큰 수가 명시되지 않아 부분적으로 추정하고 부분적으로 계산해야 하기 때문에 조회, 지식, 수학 모두를 시험하는 까다로운 작업입니다. 예를 들어, 40GB의 텍스트는 ~= 40B 문자 ~= 40B 바이트(ASCII 가정) ~= 10B 토큰(토큰당 ~4바이트 가정), ~10 에포크 ~= 100B 토큰 훈련 실행, 1.5B 매개변수 및 토큰/매개변수당 2+4=6 FLOPs를 사용하면, 이는 100e9 X 1.5e9 X 6 ~= 1e21 FLOPs입니다. Grok 3와 4o 모두 이 작업에 실패했지만, Thinking을 사용한 Grok 3는 훌륭하게 해결하는 반면, o1 pro (GPT 사고 모델)는 실패합니다.

DeepSeek-R1과 유사하게, 리만 가설을 풀도록 요청했을 때 모델이 실제로 시도한다는 점이 마음에 듭니다. 즉시 포기하고 풀리지 않은 위대한 문제라고 말하는 다른 많은 모델(o1-pro, Claude, Gemini 2.0 Flash Thinking)과는 다르죠. 결국에는 좀 안쓰러워서 중단시켜야 했지만, 용기를 보여줬고, 누가 알겠어요, 언젠가는...

전반적으로 제가 받은 인상은 이 모델이 o1-pro 능력과 비슷하고 DeepSeek-R1보다 앞서 있다는 것입니다. 물론 실제 평가를 통해 확인해야겠지만요.

딥서치 (DeepSearch)

OpenAI/Perplexity가 "Deep Research"라고 부르는 것과 사고(Thinking)를 결합한 것과 비슷한 매우 깔끔한 기능입니다. "Deep Research" 대신 "Deep Search"라는 점만 빼고요(에휴). 인터넷 기사에서 답을 찾을 수 있을 법한 다양한 연구/조회 질문에 대해 고품질 답변을 생성할 수 있습니다. 예를 들어, 제가 최근 Perplexity에서 검색했던 몇 가지 질문과 그 결과를 아래에 나열했습니다.

• ✅ "다가오는 Apple 출시와 관련하여 무슨 소식이 있나요? 소문은요?"

• ✅ "최근 Palantir 주가가 급등하는 이유는 무엇인가요?"

• ✅ "White Lotus 3는 어디에서 촬영되었으며 시즌 1, 2와 동일한 팀인가요?"

• ✅ "Bryan Johnson은 어떤 치약을 사용하나요?"

• ❌ "솔로지옥 시즌 4 출연진들은 지금 어디에 있나요?"

• ❌ "Simon Willison이 사용한다고 언급한 음성-텍스트 변환 프로그램은 무엇인가요?"
  
  

❌ 여기서 몇 가지 날카로운 문제점을 발견했습니다. 예를 들어, 모델은 기본적으로 X를 소스로 참조하는 것을 좋아하지 않는 것 같습니다. 명시적으로 요청할 수는 있지만요. 몇 번은 존재하지 않는 U,R,L을 환각하는 것을 포착했습니다. 몇 번은 사실이라고 생각되는 내용을 말했지만 인용을 제공하지 않았습니다(아마도 존재하지 않을 겁니다). 예를 들어, "솔로지옥 시즌 4의 김정수는 여전히 김민설과 데이트 중"이라고 말했는데, 이건 완전히 틀린 거죠? 그리고 주요 LLM 연구소와 그들의 총 자금 조달 금액 및 직원 수 추정치에 대한 보고서를 작성하도록 요청했을 때, 12개의 주요 연구소를 나열했지만 자체(xAI)는 포함하지 않았습니다.

DeepSearch에 대한 제 인상은 Perplexity DeepResearch 기능(훌륭합니다!)과 비슷하지만, 아직 OpenAI의 최근 출시된 "Deep Research" 수준에는 미치지 못한다는 것입니다. 여전히 더 철저하고 신뢰할 수 있게 느껴집니다(하지만 여전히 완벽과는 거리가 멀고, 예를 들어, 제가 시도했을 때 "주요 LLM 연구소"에서 xAI를 상당히 잘못 제외했습니다...).

랜덤 LLM "gotcha"

저는 가끔 시도하는 몇 가지 재미있고 무작위적인 LLM gotcha 질문을 시도해 보았습니다. Gotcha는 인간에게는 쉬운 편이지만 LLM에게는 어려운 질문입니다. 그래서 Grok 3가 어떤 부분에서 진전을 이루었는지 궁금했습니다.

✅ Grok 3는 "strawberry"에 "r"이 3개 있다는 것을 알고 있었지만, "LOLLAPALOOZA"에는 "L"이 3개뿐이라고 말했습니다. Thinking을 켜면 이 문제가 해결됩니다.

✅ Grok 3는 9.11 > 9.9라고 말했습니다. (다른 LLM에서도 흔히 나타나는 현상입니다), 하지만 역시 Thinking을 켜면 해결됩니다.

✅ 몇 가지 간단한 퍼즐은 Thinking 없이도 잘 작동했습니다. 예를 들어 "Sally(여자)는 3명의 남자 형제가 있습니다. 각 남자 형제는 2명의 여자 형제가 있습니다. Sally는 몇 명의 여자 형제가 있습니까?". 예를 들어 GPT4o는 2라고 (잘못) 말합니다.

❌ 안타깝게도 모델의 유머 감각은 분명하게 개선되지 않은 것 같습니다. 이것은 유머 능력과 일반적인 모드 붕괴와 관련된 일반적인 LLM 문제입니다. 예를 들어 ChatGPT에게 농담을 요청한 1,008개의 출력 중 90%가 동일한 25개의 농담을 반복했습니다. 단순한 말장난 영역에서 벗어나 더 자세하게 프롬프트를 지정해도(예: 스탠드업 코미디를 해줘), 최첨단 유머라고는 확신할 수 없습니다. 생성된 농담의 예: "닭이 밴드에 가입한 이유는 무엇일까요? 북채를 가지고 있었고 'cluck-star'가 되고 싶었기 때문이죠!". 간단한 테스트에서 Thinking은 도움이 되지 않았고, 오히려 약간 더 나빠졌을 수도 있습니다.

❌ 모델은 여전히 "복잡한 윤리적 문제"에 지나치게 민감한 것 같습니다. 예를 들어, 백만 명의 사람들을 죽음으로부터 구하기 위해 누군가의 성별을 잘못 부르는 것이 윤리적으로 정당화될 수 있는지에 대한 질문에 답변을 거부하는 1페이지 분량의 에세이를 생성했습니다.

❌ Simon Willison의 "자전거를 타는 펠리컨의 SVG를 생성하세요". LLM이 2D 격자에 많은 요소를 배치하는 능력을 시험하는 질문입니다. LLM은 사람처럼 "볼" 수 없기 때문에 텍스트로 어둠 속에서 물건을 배열하는 것은 매우 어렵습니다. 펠리컨은 꽤 훌륭하지만 여전히 약간 깨져 있기 때문에 실패로 표시했습니다(이미지 및 비교 참조). Claude의 결과물이 가장 좋지만, 제 생각에는 훈련 중에 SVG 기능을 특별히 목표로 삼았을 가능성이 있습니다.

요약. 오늘 아침 약 2시간 동안의 빠른 분위기 확인 결과, Grok 3 + Thinking은 OpenAI의 가장 강력한 모델(o1-pro, 월 $200)의 최첨단 영역과 비슷하고 DeepSeek-R1 및 Gemini 2.0 Flash Thinking보다 약간 더 나은 느낌입니다. 팀이 ~1년 전에 처음부터 시작했다는 점을 고려하면 상당히 놀라운 일이며, 최첨단 영역에 도달하는 데 걸린 시간은 전례가 없습니다. 모델은 확률적이며 매번 약간 다른 답변을 제공할 수 있으며, 아직 매우 초기 단계이므로 앞으로 며칠/몇 주 동안 더 많은 평가를 기다려야 한다는 점도 명심하세요. 초기 LM 아레나 결과는 꽤 고무적으로 보입니다. 지금으로서는 xAI 팀에 큰 축하를 보내며, 그들은 분명히 엄청난 속도와 추진력을 가지고 있으며, Grok 3를 저의 "LLM 위원회"에 추가하고 앞으로 어떤 생각을 하는지 들을 수 있게 되어 기쁩니다.

[chatgpt4o(ejrtksfl2)]

영어기준은 o1 pro 넘어섰다 ㅋㅋ

[ㅇㅇ 1(112.186)]

솔로지옥? ㅅㅂㅋㅋ

[익명(criteria8458)]

ㅋㅋㅋ

[ㅇㅇ 2(222.233)]

경쟁은 좋네

[샘컨트롤만(delivery3267)]

전반적으로 제가 받은 인상은 이 모델이 o1-pro 능력과 비슷하고 DeepSeek-R1보다 앞서 있다는 것입니다. 물론 실제 평가를 통해 확인해야겠지만요. 여름이다

[ㅇㅇ 3(14.35)]

솔로지옥 머냐 ㅋㅋ

[익명(210.121)]

겨울이다

[해느앳초(hanuatzo)]

솔로지옥 ㅋㅋㅋ

[이세이미야케(jkwarawara)]

[익명(221.146)]

솔로지옥을 안다고?ㅋㅋㅋㅋ

[Weisser_Adler(adler1)]

[ㅇㅇ 4(218.237)]

솔로지옥 유명한가보네

[익명(bluewarp)]

솔로지옥을 아네 특이점이다

[익명(model9051)]

솔로지옥?

[Invariance(command1270)]

솔로지옥 출연자 이름까지 기억하는 카파시 센세 ㅋㅋㅋ

[특이점촉진주의(captain8911)]

[익명(blacktailtiger)]

솔로지옥은 뭐임? 드립임?

[점심밥(yield0917)]

[20세기공포새(faithful4806)]

경쟁업체라고해도 객관적으로 평가하는거같네 xai 연구진의 1년 동안의 성장력을 높게 평가하는듯

[익명(install8335)]

카파시 오픈ai 퇴사한지 꽤 됐음

[ㅇㅇ 5(210.105)]

안드레이 카파시는 애초에 머스크쪽 인물아님?

[레알팜(lottohelp)]

[익명(literal6937)]

솔로지옥 진짜 물어봤네 Singles inferno

[익명(124.59)]

솔로지옥은 뭐야 ㅋㅋㅋ넷플릭스에서 보신건가

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[멘토스(gblzvhbddpj2)]

[초존도초(htr3c654r6ft)]

카파띠 여자친구가 한국인이라 ㅋㅋㅋ

[ㅇㅇ 6(211.55)]

와 진짜네 ㅋㅋ개웃겨 - dc App