8시간후 Kimi-K3 오픈가중치 공개

[로디짱(single2240)]

프론티어급 성능의 모델이 드디어 오픈가중치로 ㅇㅅㅇ

[프갤러 1(49.165)]

어쩌라고? 집에 nvl72 같은거라도 설치해둔거야? ㅇㅅㅇ

[로디짱(single2240)]

TensorDock, RunPod 있잖아 ㅇㅅㅇ.. 하다못해 Gemma만 올려도 할게 무궁무진 하니까

[로디짱(single2240)]

보니까 RunPod은 되는데 TensorDock에선 못돌리겠네. 그리고 저기서 돌린다해도 비용이 꽤 나오네. 걍 Kimi K3 증류판이 나오길 기다려보자 ㅇㅅㅇ

[guiyom.org(concerto7106)]

어차피 못 돌림. 슈퍼컴퓨터 아니면. glm 5.2까지는 어케해보겠는데 ㅎㅎ

[로디짱(single2240)]

TensorDock, RunPod ㄱㄱ

[guiyom.org(concerto7106)]

kimi-k3의 오픈웨잇 파일 크기 얼마임? 2.8테라급 아님?

[guiyom.org(concerto7106)]

다음글 읽어봐. 파일만 테라급이 넘는다고.
https://huggingface.co/blog/ResterChed/kimi-k3-model-overview-mxfp4-quantization-open-wei
그걸
메모리에 올려야 써먹을 수 있는데, 어떻게 올리냐고. ㅎㅎㅎㅎ 양자화해도 전부다 개인 PC 메모리 올리는거 불가능할 거 같음.
저거 슈퍼컴 있어야 함.

[guiyom.org(concerto7106)]

글구 참고로 사람들이 돌대가리라 gpt, kimi, glm 등의 llm을 만들 줄 몰라서 못 만드는게 아님. 그냥.. IQ 110 이상의 보통 사람들도 똑똑한 llm 모델을 만들 수 있는데, 문제가 뭐냐면, 비용임. 구글/엔트로픽/오픈AI 개발진들이 천재라서 그걸 만든게 아님. 어차피 확률/통계로 컴퓨터에 무한루프 걸어두면 풀리는 문제거든. 그걸 좀더 비용 효율적으로 사람이 조금씩 손보고 테스트하는건데, 문제는 데이터 규모가 커지면 학습 시간이 하루/한달/1년 시간이 오래 걸림. 그게 엄청난 비용임. 슈퍼컴퓨터 예를 들어 4개월 내내 학습시키면 돈 얼마나가겠음?

[guiyom.org(concerto7106)]

학습 한번 시키는데 돈이 몇천만원씩... ㅎㄷㄷ 그게 AI 개발의 난제지 ㅎㅎ

[로디짱(single2240)]

@guiyom.org 인프라랑 데이터가 있어야지 개인은 못하지 ㅇㅅㅇ

[guiyom.org(concerto7106)]

제미니, 클로드, GLM, Kimi 이거 만든 사람들은 천재가 아냐. 나도 그런거 만들 수 있고. 거거보다 더 대단한 설계를 1998년에 이미 했고. 지금도 그거 파일로 아직 갖고 있음. ㅋㅋㅋ

[로디짱(single2240)]

@guiyom.org LLM 설계를 98년에!?

[guiyom.org(concerto7106)]

결국 입만 열면 내 자랑질이네.. ㅠㅠ 미안해.

[guiyom.org(concerto7106)]

자율형 AI임. 돌려놓으면 지가 알아서 학습에 진화에 알아서 다 해.

[로디짱(single2240)]

@guiyom.org 걍 진화 시뮬레이션 같은 코드 아님?

[guiyom.org(concerto7106)]

애초 지능은 창발적이라는 관점에서 출발함. 태초에 개발자가 항상성 시스템을 설계해두고, 무한루프 걸어두면 프로그램이 데이터 수집하고 버릴거 저리고 취할 거 취함. 그 과정에서 확률/통계 데이터가 축적되고 이것이 가중치가 됨. 그런데 우연히 긍정적 효과를 얻을 수 있음. 돌연변이처럼. 그로 인하여 진화가 되는거지.

[guiyom.org(concerto7106)]

그러면 어느걸 버리고 어느걸 취할지가 핵심이 되는데, 그건 이미 설계해둔 항상성 유지 시스템으로 필터링됨. 하지만 확률/통계라.. 오류가 있게 마련인데 돌변변이 현상이 발생되는거지. 그냥 무한정 루프 돌리면 됨. 하지만 에너지 및 시간은 영원하지 않으니, 스스로가 스스로의 소스코드를 수정시킬 수 있는 리플렉션 알고리즘도 태초 설계에 있어야 함.