NVIDIA์์ ์ต์ ํ ๋ฐ ๊ฐ์ํํ API๋ฅผ ํตํด ์ปค๋ฎค๋ํฐ์์ ๊ตฌ์ถํ ์ต์ AI ๋ชจ๋ธ์ ์ดํด๋ณด๊ณ NVIDIA NIM ์ถ๋ก ๋ง์ดํฌ๋ก ์๋น์ค๋ฅผ ํตํด ์ด๋์๋ ๋ฐฐํฌํ์ธ์.
ํตํฉ
API ํธ์ถ๋ง์ผ๋ก ์ฌ์ฉ ๊ฐ๋ฅํ ๊ฐ์ AI
์ต์ํ API๋ก ๋น ๋ฅด๊ฒ ์์ํ๊ณ ์คํํ์ธ์.
Seamless Compatibility With Popular Libraries
์์ฃผ ์ฌ์ฉ๋๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์์ ์ํํ ํธํ์ฑ
๋จ 3์ค์ ์ฝ๋๋ก ๊ธฐ์กด ๋๊ตฌ ๋ฐ ์ ํ๋ฆฌ์ผ์ด์
์์ NVIDIA API๋ฅผ ์ฌ์ฉํ์ธ์.
์ ํธํ๋ ๋๊ตฌ๋ก ๊ตฌ์ถ
Langchain ๋ฐ LlamaIndex ๋ฑ ์ ํธํ๋ LLM ํ๋ก๊ทธ๋๋ฐ ํ๋ ์์ํฌ๋ก ์์
ํ๊ณ ์ ํ๋ฆฌ์ผ์ด์
์ ์ฝ๊ฒ ๋ฐฐํฌํ ์ ์์ต๋๋ค.
์ ํธํ๋ ๋๊ตฌ๋ก ๊ตฌ์ถ
์ด๋์์๋ ์คํ
NVIDIA NIM์ผ๋ก AI ๋ฐฐํฌ ๊ฐ์ํ
NVIDIA AI Enterprise์ ์ผ๋ถ์ธ NVIDIA NIM์ ๋ชจ๋ ํด๋ผ์ฐ๋ ๋๋ ๋ฐ์ดํฐ์ผํฐ์์ ๊ธฐ๋ฐ ๋ชจ๋ธ์ ๋ฐฐํฌ๋ฅผ ๊ฐ์ํํ๊ณ ๋ฐ์ดํฐ๋ฅผ ์์ ํ๊ฒ ์ ์งํ๋ ๋ฐ ๋์์ด ๋๋ ์ฌ์ฉ์ด ๊ฐํธํ ๋ง์ดํฌ๋ก ์๋น์ค ์ธํธ์
๋๋ค.
ย Accelerate Your AI Deployment With NVIDIA NIM
Learn More About NVIDIA NIM
NIM ๋ฐฐํฌ
๋จ์ผ ๋ช
๋ น์ผ๋ก ๋ชจ๋ธ์ ๋ง๋ NIM์ ๋ฐฐํฌํ์ธ์. ๋ํ ํ์ธ ํ๋๋ ๋ชจ๋ธ๋ก NIM์ ์ฝ๊ฒ ์คํํ ์ ์์ต๋๋ค.
์ถ๋ก ์คํ
NVIDIA ๊ฐ์ ์ธํ๋ผ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์ต์ ์ ๋ฐํ์ ์์ง์ ์ฌ์ฉํ์ฌ NIM์ ๊ฐ๋ํ๊ณ ์คํํ์ธ์.
๊ตฌ์ถ
๊ฐ๋ฐ์๋ ๋จ ๋ช ์ค์ ์ฝ๋๋ก ์์ฒด ํธ์คํ
NIM ์๋ํฌ์ธํธ๋ฅผ ํตํฉํ ์ ์์ต๋๋ค.
Deployย Runย Build
ย
ย curl -X 'POST' \ย
ย 'http://0.0.0.0:8000/v1/completions' \ย
ย -H 'accept: application/json' \ย
ย -H 'Content-Type: application/json' \ย
ย -d '{ย
ย "model" : "model_name",ย
ย "prompt" : "Once upon a time",ย
ย "max_tokens" : 64ย
ย }'ย
Kubernetes๋ฅผ ์ฌ์ฉํ์ฌ ๋ก์ปฌ์์ ์คํ ๋๋ ํ์ฅ
Kubernetes๋ฅผ ์ฌ์ฉํ์ฌ ๋ก์ปฌ์์ ์คํ ๋๋ ํ์ฅ
NVIDIA NIM์ ํตํด ์ปจํ
์ด๋ํ๋ ๋ง์ดํฌ๋ก ์๋น์ค๋ฅผ ์ฌ์ฉํ์ฌ ๋จ์ผ ๋ช
๋ น์ด๋ก ๋ก์ปฌ ๊ฐ๋ฐ ํ๊ฒฝ์ AI ๋ชจ๋ธ์ ๋ฐฐํฌํ ์ ์์ต๋๋ค. ๋ํ Helm ์ฐจํธ๋ฅผ ๊ฐ์ ธ์ Kubernetes๋ก ์ค์ผ์คํธ๋ ์ด์
ํ๊ณ ์๋ ํ์ฅํ ์๋ ์์ต๋๋ค.
์ง์์ ์ธ ๋น์ฉ ์ ๊ฐ ๋ฐ ํ์ ๋ฐ์๊ตญ ๊ฐ์
์ง์์ ์ธ ๋น์ฉ ์ ๊ฐ ๋ฐ ํ์ ๋ฐ์๊ตญ ๊ฐ์
NVIDIA ๊ฐ์ ์ธํ๋ผ์์ ์งง์ ๋ ์ดํด์์ ๋์ ์ฒ๋ฆฌ๋์ ์ํด ์ง์์ ์ผ๋ก ์ต์ ํ๋๋ AI ๋ฐํ์์ผ๋ก ํ๋ก๋์
๋จ๊ณ์์ ๋ชจ๋ธ์ ์คํํ๋ ์ด์ ๋น์ฉ์ ์ ๊ฐํ ์ ์์ต๋๋ค.
์์ฌํ๊ณ ๋ณด์ ์ ์ง ๋ฐ ๋ฐฐํฌ
์์ฌํ๊ณ ๋ณด์ ์ ์ง ๋ฐ ๋ฐฐํฌ
์ง์์ ์ธ ๋ณด์ ์
๋ฐ์ดํธ๋ฅผ ํฌํจํ์ฌ ํ๋ก๋์
๊ธ ๋ฐํ์์ ํ์ฉํ๊ณ NVIDIA NIM์ ์ฌ์ฉํ์ฌ ์ํฐํ๋ผ์ด์ฆ๊ธ ์ง์์ ๊ธฐ๋ฐ์ผ๋ก ํ๋ ์์ ์ ์ธ API๋ก ๋น์ฆ๋์ค ์ ํ๋ฆฌ์ผ์ด์
์ ์คํํ ์ ์์ต๋๋ค.
๊ตฌ์
๋ฐฉ๋ฒ
์์ํ๊ธฐ
๋ฌด๋ฃ๋ก ํ๋กํ ํ์
์ ์ํ๊ธฐ
์ฌ์ฉํ๊ธฐ ๊ฐํธํ NVIDIA ๊ด๋ฆฌํ ์๋ฒ๋ฆฌ์ค API๋ก ์์ํ์ธ์.
์์ ํ ๊ฐ์ํ๋ AI ์ธํ๋ผ์ ์ก์ธ์คํ์ธ์.
๋ฐ์ดํฐ๋ ๋ชจ๋ธ ํ๋ จ์ ์ฌ์ฉ๋์ง ์๋๋ก ํ์ธํ์๊ธฐ ๋ฐ๋๋๋ค.
1,000๊ฐ์ ์ถ๋ก ํฌ๋ ๋ง์ ์ฌ์ฉํ์ฌ ๋ฌด๋ฃ๋ก ์์ํ์ธ์.
์์ฌ ์ธํ๋ผ์์ ํ์ฅ
NVIDIA NIM์ ์ฌ์ฉํ์ฌ ์ํ๋ ํด๋ผ์ฐ๋ ๋๋ ๋ฐ์ดํฐ์ผํฐ์์ AI ๋ชจ๋ธ์ ์์ฒด ํธ์คํ
ํ์ธ์.
๋ฐ์ดํฐ๊ฐ ๋ณด์ ์ํด๋ ์ด๋ธ๋ฅผ ๋ฒ์ด๋์ง ์๋๋ก ํ์ธํ์๊ธฐ ๋ฐ๋๋๋ค.
์ฝ๋ ๋ณ๊ฒฝ ์์ด ํด๋ผ์ฐ๋ ์๋ํฌ์ธํธ์์ ์์ฒด ํธ์คํ
API๋ก ์ํํ๊ฒ ์ ํํ์ธ์.
ํ๋ก๋์
๋ฐฐํฌ๋ฅผ ์ํ NVIDIA AI Enterprise ๋ผ์ด์ ์ค๋ฅผ ๊ตฌ๋งคํ์ธ์.
https://www.nvidia.com/ko-kr/ai/