벡터와 행렬 연산을 빡빡하게 할 필요가 없는 연산 방식이라면.... 지금의 gpu에서 돌리는 건 프로세서의 목적과 어긋나는거고,


bitnet 1.58  가중치 하나당 2비트 잡으면 70B 모델 weight만 8.1GB


부호 비트 연산 커널만 잘 짜면 cpu메인에 hbm 붙인걸로 차세대 ai 연산 최적화 칩 이렇게 말 붙어서 나올수도 있겠네




https://www.thelec.kr/news/articleView.html?idxno=21533

인텔, 서버용 CPU HBM 결합 ‘인텔 제온 CPU 맥스 시리즈’ 공개인텔이 제온 12세대 프로세서와 고대역폭 메모리(HBM)를 결합한 인텔 제온 CPU 맥스 시리즈(코드명 사파이어 래피즈HBM)를 공개했다. 인텔 제온 CPU 맥스 시리즈 프로세서는 칩에 HBM이 내장된 첫 x86 기반 프로세서다.13일 우고나 에체루오 인텔 디자인 엔지니어링 그룹(DEG) 수석 엔지니어 겸 인텔제온 CPU 맥스 시리즈 총괄 아키텍트는 “CPU가 처리할 수 있는 정보량은 데이터를 가져오는 ‘파이프’의 크기에 의해 제약을 받는다“며 ”파이프가 클수록CPU로 처리할 수 있는 정보가 늘어나기 때문에 더 많은 작업을 처리할www.thelec.kr




https://www.hankyung.com/article/2024032176481

삼성, 네이버에 AI 가속기 1조원 공급삼성, 네이버에 AI 가속기 1조원 공급, 추론 서버 엔비디아 제품 대체 MS·메타 등 빅테크 영업 시작www.hankyung.com