[📪정보] 오픈AI, 기업용 API 기능 업그레이드..."라마 3에 반격"

[익명(182.230)]

https://www.aitimes.com/news/articleView.html?idxno=159062

오픈AI, 기업용 API 기능 업그레이드...

오픈AI가 기업 사용자를 위한 다양한 새로운 기능을 선보였다. 최근 공개된 메타 ‘라마 3’의 상승세를 꺾기 위한 조치로 해석된다. 오픈AI로서는 'GPT-5' 출시 이전까지 'GPT-4'의 성능을 최고로 유지할 필요가 생긴 셈이다.

벤처비트는 23일(현지시간) 오픈AI가 보안 강화, 관리 제어, 어시스턴트 API(Assistants API) 개선, 비용 관리 도구 등 기업 사용자를 위한 다양한 새로운 기능을 발표했다고 보도했다.

올리비에 고디먼트 오픈AI API 제품 책임자는 “새로운 기능이 API 기반 제품을 통해 프로젝트를 신속하게 확장하기를 원하는 모든 개발자에게 유용할 것”이라고 말했다.

또 메타의 라마 3를 겨냥해 “우리는 항상 더 많은 경쟁을 환영한다. 그것이 모두가 더 나아지는 방법"이고 덧붙였다.

오픈AI는 보안 측면에서 기업이 오픈AI와 마이크로소프트(MS)의 애저 클라우드 간에 직접 비공개 링크를 설정, 공용 인터넷에 대한 노출을 최소화할 수 있게 해주는 '프라이빗링크(PrivateLink)'라는 새로운 기능을 발표했다. 이는 MS 애저 오픈AI 서비스를 사용해 GPT-4와 같은 오픈AI 모델을 미세조정, 클라우드에서 기업에게 안전한 링크를 제공한다.

더불어 강력한 액세스 제어가 필요한 사용자를 위해 기본 다단계 인증 기능을 제공한다. 이 기능은 역할 기반 액세스 제어, SSO(Single Sign-On), AES-256을 통한 저장 데이터 암호화, TLS 1.2를 사용한 전송 중 데이터 암호화 및 SOC Type II 인증과 같은 기존 엔터프라이즈급 보안 기능 스택에 추가된다.

관리 제어 측면에서는 개별 오픈AI 프로젝트에 대해 세부적인 제어와 감독 기능을 제공하는 새로운 프로젝트 기능을 추가했다. 사용자는 API 키와 역할을 특정 프로젝트로 범위를 지정하고, 다양한 오픈AI 모델에 대한 제한 및 허용 목록을 생성하고, 액세스에 대한 사용량 및 속도 제한을 설정해 과도한 요금이 부과되는 것을 방지할 수 있다.

어시스턴트 API는 기업 가용자가 대화 어시스턴트를 지원하는 맞춤화되고 미세조정된 모델을 빠르고 쉽게 배포할 수 있도록 도와준다. 이를 통해 모델은 검색 증강 생성(RAG) 기술을 사용해 특정 문서를 호출, 내부 데이터로 AI 어시스턴트의 지식을 향상하려는 기업에 유용하다.

오픈AI에 따르면 이제 어시스턴트 API는 어시스턴트당 1만개의 파일을 처리하는 새로운 ‘파일_서치(file_search)’ 기능을 통해 발전된 파일 검색 기능을 지원한다. 이는 20개의 파일로 제한되었던 이전 어시스턴트 API에 비해 50배 향상한 것이다. 또 병렬 쿼리, 향상된 순위 재지정 및 쿼리 재작성을 포함한 새로운 검색 기능도 추가된다.

어시스턴트 API의 두번째 기능은 실시간 대화 응답을 위한 스트리밍을 추가하는 것이다. 이를 통해 'GPT-4 터보' 및 'GPT-3.5 터보'는 사용자에게 답변을 시작하기 전에 전체 응답 생성을 기다릴 필요없이 토큰이 생성되는 대로 빠르게 출력을 반환할 수 있다.

마지막으로 어시스턴트 API에는 파일 관리를 지원하는 새로운 ‘벡터_스토어(vector_store)’ 객체가 추가됐으며, 토큰 사용을 세밀하게 제어해 사용자 비용을 절감할 수 있다.

이 외에도 기업이 예산을 초과하지 않고 AI 사용을 확장할 수 있도록 돕는 두가지 추가 비용 관리 기능도 추가했다. 

여기에는 약정 처리량에 대한 사용량 할인이 포함된다. GPT-4 또는 GPT-4 터보를 사용하는 고객이 분당 일정 수준의 토큰을 사용할 경우, 공급된 처리량에 액세스를 요청하고 약정 규모에 따라 10%에서 50%까지 할인받을 수 있다.

긴급하지 않은 워크플로를 비동기식으로 실행할 수 있는 새로운 ‘배치 API(Batch API)’도 있다. 배치 API 요청은 공유 가격보다 50% 저렴하며, 더 높은 속도 제한도 이용할 수 있다. 오픈AI에 따르면 이는 모델 평가, 오프라인 분류, 요약 및 합성 데이터 생성 워크로드와 같은 작업에 이상적이다.

긴급하지 않은 작업을 비동기적으로실행할 수 있는 새로운 ‘배치 API(Batch API)’ 도 있다.  배치 API 요청은 공유 가격의 50% 할인이 적용되며, 훨씬 더 높은 요청 한도를 제공하며, 24시간 이내에 결과를 반환한다. 이는 모델 평가, 오프라인 분류, 요약 및 합성 데이터 생성과 같은 작업에 효과적이다.

이번 업데이트는 라마 3나 '미스트랄'과 같은 오픈 소스 모델의 인기 증가에 대응하기 위해 설계됐다.

이를 통해 오픈AI는 기업에 더 간편한 ‘플러그 앤 플레이’ 경험을 제공할 수 있다. 반면, 라마 3나 미스트랄과 같은 개방형 모델은 기업 입장에서는 더 많은 설정이 필요할 수 있다는 분석이다.

[익명(118.39)]

정보글 올려줘서 고맙다

[디시콘발사대(fcbjsjmu1t9f)]

[익명(211.212)]

[Joyful(approve1515)]

[Joyful(approve1515)]

“오픈AI가 보안 강화, 관리 제어, 어시스턴트 API(Assistants API) 개선, 비용 관리 도구 등 기업 사용자를 위한 다양한 새로운 기능을 발표했다고 보도했다.”