[📪정보] 레드햇, 뉴럴매직 인수 완료-오픈소스 AI 추론 엔진 강화 박차

[익명(landofooo)]

레드햇, '뉴럴매직' 인수 완료…"오픈소스 AI 추론 엔진 강화 박차"

글로벌 오픈소스 솔루션 기업 레드햇이 지난달 인수를 마친 생성형 인공지능(AI) 워크로드 전문기업 '뉴럴매직'을 앞세워 AI 추론 엔진을 강화한다. 이를 통해 엔터프라이즈 AI 시장 내 입지를 확고히 다지겠다는 목표다.

박준완 한국레드햇 전무는 19일 서울 여의도 금융투자교육원에서 AI 전략 스터디 세션을 열고 "레드햇은 거대언어모델(LLM) 최적화 기술, 즉 vLLM(Variable-sized Large Language Model)을 강화하기 위해 뉴럴매직을 인수했다"며 이같이 밝혔다.

레드햇이 지난해 11월 인수 계획을 발표하고 지난달 인수를 마무리한 뉴럴매직은 2018년 MIT에서 분사한 업체다. 딥러닝 추론 소프트웨어 성능 최적화를 목표로 설립됐다. 특히 vLLM 분야에서 엔터프라이즈급 추론 스택을 구축해 왔으며 LLM 컴프레서 개발과 최적화된 모델도 제공한다.

모델 배포를 위한 오픈소스 프로젝트인 vLLM은 LLM 수정 속도를 높이고 메모리 사용을 최적화하는 오픈소스 AI 추론 엔진으로 GPU 없이도 AI 모델을 효율적으로 구동할 수 있는 기술이다. AMD GPU, AWS 뉴런, 엔비디아 GPU, x86 CPU 등 다양한 하드웨어를 지원한다.

기업으로서는 하드웨어를 추가로 구매하지 않아도 기존 정보기술(IT) 인프라를 활용할 수 있다는 장점이 있다. 초기 도입 비용을 줄일 수 있을 뿐만 아니라 전력 소비량도 절감할 수 있는 셈이다. 맞춤형 AI를 도입하는데 어려움을 겪는 기업들을 지원하기 위해 vLLM을 적극 활용하는 레드햇이 뉴럴매직에 주목한 이유다.

현재 레드햇이 제공하는 AI 기술 포트폴리오는 ▲RHEL AI(IBM Granite 오픈소스 LLM 개발·테스트·실행 플랫폼) ▲레드햇 오픈시프트 AI(쿠버네티스 환경의 AI 개발·배포 플랫폼) ▲인스트럭트랩(IBM과 공동 개발한 오픈소스 AI 커뮤니티 프로젝트) 등으로 구분된다.

뉴럴매직이 보유한 기술 역시 레드햇 AI 제품군에 순차적으로 통합될 예정이다. 박준완 전무는 "(뉴럴매직을) 인수한 지 얼마 안 돼 아직 자사 제품에 녹아들지는 않았다"면서도 "vLLM이라는 기술 자체는 GPU와 연계해서 쓰게 돼 있어 오픈시프트 AI에 현재 적용된 상태"라고 말했다.

https://www.msn.com/ko-kr/news/other/%EB%A0%88%EB%93%9C%ED%96%87-%EB%89%B4%EB%9F%B4%EB%A7%A4%EC%A7%81-%EC%9D%B8%EC%88%98-%EC%99%84%EB%A3%8C-%EC%98%A4%ED%94%88%EC%86%8C%EC%8A%A4-ai-%EC%B6%94%EB%A1%A0-%EC%97%94%EC%A7%84-%EA%B0%95%ED%99%94-%EB%B0%95%EC%B0%A8/ar-AA1BdTp7

MSN

엔비디아 병목을 줄이려면 vllm도 필수같네

RHEL 리눅스 갓