인간은 적은 지식으로 추론을 통해 활용하는 반면 llm은 방대한 지식을 이용하자너지식은 좀 줄이고 추론 특화하거나 용도별 튜닝하는게 낫지 않나 싶음지금은 추론만 좀 더 늘어나면 초지능인듯함. 일상용으로 쓰기엔 너무 무겁지 않나 싶다
만약 o3의 베이스모델이 여전히 4o인데 추론만으로 그정도 성능을 올린거면 걍 추론이 지식보다 압도적인게 증명이 되는거지
그래서 추론이랑 llm이랑 합친다자너
합치면 안무겁나? 세상 모든지식을 알고있는 아인슈타인보단 과학자 일상지식러 수학자 다 나눠서 질문하면 해당분야 전문llm 불러서 추론으로 답하는게 낫지 않나 싶음 어려운건 지들끼리 토론하라고 하고
해당분야 전문LLM 방식 이미 쓰고 있음..MOE라고..
지식은 챙겨야지 궁극적으로 그게 인간지능과 컴퓨팅 지능의 차이를 만들건데
안챙긴다는게 아니라 지식을 분야별로 전문가 있듯이 나눠서 연산을 줄이자는 얘기임
이미 온디바이스는 lora나 어댑터 써서 그렇게 많이 할껄?
추론을 못 해내서 문제였는데, 지식을 늘렸더니 추론도 조금 하게 된거임.... 지식을 줄이면 추론이 없게 됨. 지금 방식은....
o1이 그런방식임? 내가 알기로는 추론과정 학습시킨걸로 알고있는데
ai는 줄인다고 뭔가가 특화된다거나 성능이 올라가지 않는단거야 디씨 똥글만 아니라면 넣을수록 성능이 좋아진단거야
질과 성능이 아니라 최적화와 속도를 얘기하는거임
작은 모델이라도 많이 넣는게 좋단거야 너가 생각하는거 아니란거야 추론 모델이라고 다를 건 없단거야