지금 o1 o3가 추론을 한다는건 어떻게 검증하는거야?
뭔가 코드포스도 잘하고 코딩도 잘하고 수학도 잘하고 이것저것 잘하는건 알겠는데
그게 "코딩 자료들이랑 수학 자료들이랑 이것저것 자료들을 잔뜩 집어넣어서 학습해가지고" 수행하는건지
"아니면 진짜 추론? 사고? 해서" 수행하는건지
어떻게 구분함?
이러면 중국어방문제 같은게 될거 같긴한데
가끔보면 교수들도 풀기어려운 전문적인건 풀면서 또 초중딩응애들이 쉽게 풀만한것도 제대로 못풀던데
진짜 얘가 추론? 사고? 해서 답변을 생성해내는거라면 왜 이런 문제가 발생하는걸까 싶어서
어쩌면 그냥 교수들도 풀기 어렵다는 그 문제는 그냥 얘가 엄청나게 학습을 했던 자료 어딘가에 그런 내용이 있어서 푼거고
초중딩 애들도 쉽게풀수 있는건 단순히 학습해본적이 없어서 그런걸까 싶은데
기본적으로 사람은 규칙만 명확하게 주어진다면 빡대가리 아스퍼거 아닌이상 그 규칙을 가지고 뭔가 추론이란걸 할 수 있잖아
그래서 그냥 좀 걱정이됨
근데 내가 잘 몰라서 하는 걱정일수도있고
CoT 검증으로
뭔지 잘 모르겠지만 엄청 똑똑한 사람들이 다 검증을 하긴했겠지? 근데 왜 저런 역설적인 문제가 발생하는지는 혹시 알려진바있음?
단순히 답안지만 외운거면 CoT(추론 흐름)이 올바르지않을거임
니 말대로 자료가 잔뜩 들어가서 결과물이 나오긴 하는데 어떻게 추론하는지는 아무도 모름 다만 이건 사람도 똑같아서 사람이 공부를 해서 결과물로 나오는 그 뇌 속의 과정에서 어떻게 추론하는지도 아무도 모름
그래서 그냥 결과로 판단해야됨 근데 그건 사람도 마찬가지임 ㅇㅇ
o3는 아직 안풀렸으니 모르겠고 o1만 되도 얘가 사람이 보기에 엄청 어려운 문제는 잘 풀면서 사람이 보기에 엄청 쉬운 문제는 또 못풀고 헛소리를 할때가 있는데 이게 사람이랑은 전혀 다른식인거 같아서
o3이니 o1이니 헛소리고 뭐고 모르겠고 밑에 친구들 말대로 사람이 추론하는 증거부터 가져오셔야됨
내 기준으론 사람도 거대한 확률기계라 똑같이 개소리 할 수 있고 LLM들은 플랫폼만 다를 뿐임
사람이 추론한다는 증거부터 가져와
ㅋㅋㅋㅋㅋㅋ - 그러나 특붕이라면 2025 AGI인데 뭔 상관이냔 말이지만.
추론의 정의가 뭔데? 사람은 어떤식으로 추론을 하는걸까? 그건 사람의 것과 다른다고 말할 수 있을까? 설령 다르더라도 결과물을 낼 수 있다면?
그래서 내가 사람의추론도 중국어방문제 같은게 있을 수 있다고 했던건데
사람은 쉽게 풀수 있거나 못 풀어도 설명해주면 납득하고 이해할 수 있을만한 것도
https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=597045&page=2
이런것처럼
절대 못알아먹는게 있으니까 의아한거임
사람도 기계도 모르는건 모를수있다. 약한 부분은 약할 수 있다. 라는 생각인데, 얘는 뭘 실수했는지 뭐가 잘못되었는지 왜 잘못되었는지 일일이 지적해줘도 못알아들으니까 그게 이상한거임.. o3는 다를지 모르겠다만.. 4o 때부터 이것때문에 너무 답답했는데 (A 해줘 -> 네 여기 B 입니다 -> A 해달라니까? -> 아 실수에요~ 여기 B입니다 -> 나 놀리는거야? A 해달라고 -> 죄송합니다. 오류가 있었어요. 여기 B입니다 -> 하아.. 진짜 구제불능이네 -> 제가 뭔가 실수한건가요? B를 드리겠습니다) o1도 그러니까 좀 걱정됨
https://chatgpt.com/c/67693c54-146c-8002-9b26-61e671596940
링크
터진듯
이렇게 생각해보면 됨. 눈이 없는 천재가 있어. 이 사람은 모든 걸 촉감으로만 문제 해결을 도모해야하지. 지금 단계에서 llm은 지각하는 부분이 제한되어 있음. 대표적으로 비전 기능하고 토크나이저 문제 이 두 가지로 인해 충분히 할 수 있는 것들도 착시 및 착각을 스스로 일으켜 이상한 대답을 내놓을 수밖에 없는 거임 - 그러나 특붕이라면 2025 AGI인데 뭔 상관이냔 말이지만.
o3 내지는 o5에 희망을 걸고 있다...