미래의 AI는 지금처럼 트랜스포머의 출력을 그대로 내뱉는 구조가 아니라
초고토큰의 출력을 일종의 생각 과정으로 활용하여 그걸 정제하고 요약한 결과를 바탕으로 사용자의 요청에 응답하거나 에이전트의 행동을 수행하는 구조가 될 거임
이미 클로드에서도 엇비스무리한 구조가 실험적으로 적용된 걸 보면 (QuietStar라고 찾아보셈) 100%임. 무조건임.
근데 그게 가능하려면 경량화가 무엇보다도 중요함
경량화는 절대로 곁다리 발전 같은 게 아님
초고토큰의 출력을 일종의 생각 과정으로 활용하여 그걸 정제하고 요약한 결과를 바탕으로 사용자의 요청에 응답하거나 에이전트의 행동을 수행하는 구조가 될 거임
이미 클로드에서도 엇비스무리한 구조가 실험적으로 적용된 걸 보면 (QuietStar라고 찾아보셈) 100%임. 무조건임.
근데 그게 가능하려면 경량화가 무엇보다도 중요함
경량화는 절대로 곁다리 발전 같은 게 아님
콰이엇 스타 지금 오퍼스에 적용됐음?
확실하게는 모름
이번 골든게이트브릿지가 콰이엇스타 응용한거같긴 함
전혀 관계가 없음....
아니구나..
https://arxiv.org/abs/2403.09629
- dc App