[📪정보] 곱셈 연산을 덧셈 연산으로... LLM 효율 95% 개선

[익명(121.178)]

연구자들은 인공지능 시스템의 에너지 소비를 획기적으로 줄일 수 있는 알고리즘을 개발했습니다.

BitEnergy AI의 과학자들은 AI 모델에서 복잡한 부동 소수점 곱셈을 더 간단한 정수 덧셈으로 대체하는 "선형 복잡도 곱셈"(L-Mul)이라는 방법을 만들어냈습니다.

"에너지 효율적인 언어 모델을 위해 필요한 것은 덧셈뿐입니다"라는 연구에 따르면, L-Mul은 요소별 부동 소수점 텐서 곱셈의 에너지 사용량을 최대 95%까지, 점곱의 에너지 사용량을 80%까지 줄일 수 있습니다.

이 팀은 언어 이해, 구조적 추론, 수학, 상식적 질문에 대한 답변을 포함한 다양한 언어, 시각 및 추론 과제에 대한 접근 방식을 테스트했습니다.

연구자들은 L-Mul이 최소한의 성능 손실로 트랜스포머 모델의 어텐션 메커니즘에 직접 적용될 수 있다고 말합니다. 어텐션 메커니즘은 GPT-4o 와 같은 현대 언어 모델의 핵심 구성 요소입니다.

주의 메커니즘에 직접 사용 가능 BitEnergy AI는 L-Mul이 학문적, 경제적 경쟁력과 AI 주권을 강화할 잠재력이 있다고 보고 있습니다. 그들은 이를 통해 대규모 조직이 맞춤형 AI 모델을 더 빠르고 비용 효율적으로 개발할 수 있을 것이라고 믿습니다.

이 팀은 하드웨어 수준에서 L-Mul 알고리즘을 구현하고 고수준 모델 설계를 위한 프로그래밍 API를 개발할 계획입니다. 그들의 목표는 L-Mul 하드웨어에 최적화된 텍스트, 심볼릭 및 멀티모달 AI 모델을 훈련하는 것입니다.

어텐션 메커니즘에 적용하여 곱셈 연산을 덧셈 연산으로 바꿔 효율성 개선

관련 하드웨어 개발 중

잘 해냈으면 좋겠네.

논문 링크: https://arxiv.org/abs/2410.00907

[익명(118.220)]

이건 3비트인가

[천사다천사(jjtheman999)]

[디시콘발사대(fcbjsjmu1t9f)]

비트넷이랑 뭐가 다른건지 잘 모르겠지만 개추

[한가운데(centerofworld)]

비트넷은 아예 1,0,-1 덧셈으로 만든거고 이건 더하기빼기로 곱셈 비슷하게 결과를 만들어서 효율을 올리는거임 곱셈보다 덧셈뺄셈이 컴퓨터한테도 훨씬 쉬우니까

[한가운데(centerofworld)]

그리고 이건 이미 있는 모델에 적용할 수 있음

[디시콘발사대(fcbjsjmu1t9f)]

기존 모델 적용 가능이라는건 좀 크네

[익명(118.220)]

기존모델 적용? 시발 가 속 시 켜

[MoonChild(aowlr2001)]

[익명(14.46)]

mamba에 저거 붙일 수 있으면 개떡상할거 같은데

[김넥탈님(nexonout)]

이 알고리즘이 현재 시중에 나와있는 알고리즘을 대체할 수 있다면 새 원자로 안지어도 되는거 아님? - dc App

[익명(landofooo)]

하드웨어까지 만들어야하니까 웨이퍼 칩까지 양산하려면 시간좀 걸릴듯

[김넥탈님(nexonout)]

하드웨어 개발과 상관없이, 병렬계산을 곱셈이 아닌 덧셈만 사용한다면 하드웨어 개발 필요없이 이미 알고리즘 개선만으로 전력난 극복한거잖아 - dc App

[김넥탈님(nexonout)]

플로팅 포인트 연산 에너지 효율 95% 개선 했대잖아, 1와트 쓸거 0.05와트 쓴다는말 아님? - dc App

[디시콘발사대(fcbjsjmu1t9f)]

다다익선이지 일단 넉넉히 사용 가능해지면 비용 문제로 폐기했던 아이디어도 예토전생시켜서 적용 가능하지

[익명(vital7966)]

얘들아 로그연산은 이미 더하기야... matmul 말하는건가 아니면

[익명(203.242)]

끼에에에에에엑!!!!

[익명(112.161)]

gpt 돌려보니까 논문자체는 믿을만하다는데 현직자나 전공자들 빨리 이거 어느정도 임팩트 있을지 설명해조