์๋น๋์์์ ๋ด๋์ ๋ก์ปท ์ฑ๋ด
์ต์์ฌ์ ์11 + RTX 30์๋ฆฌ์ฆ + ๋ธ๋จ 8๊ธฐ๊ฐ ์ด์
llama13B 4๋นํธ ์์ํ๋ชจ๋ธ์
(์์ : TensorRT-LLM ๊ธฐ๋ฐ์ด๊ณ mistral7B + llama 2 13B 4bit q ์ธ ๋ฏ)
[DeepL ๋ฒ์ญ]
-๋
ธํธ, ๋ฌธ์, ๋์์์ผ๋ก ์ฑํ
ChatWithRTX๋ ํ
์คํธ, pdf, doc/docx, xml ๋ฑ ๋ค์ํ ํ์ผ ํ์์ ์ง์ํฉ๋๋ค. ์ ํ๋ฆฌ์ผ์ด์
์์ ํ์ผ์ด ๋ค์ด ์๋ ํด๋๋ฅผ ๊ฐ๋ฆฌํค๊ธฐ๋ง ํ๋ฉด ๋ช ์ด ์์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ํ์ผ์ด ๋ก๋๋ฉ๋๋ค. ๋ํ YouTube ์ฌ์ ๋ชฉ๋ก์ URL์ ์ ๊ณตํ๋ฉด ์ฑ์ด ์ฌ์ ๋ชฉ๋ก์ ์๋ ๋์์์ ํธ๋์คํฌ๋ฆฝ์
์ ๋ก๋ํ์ฌ ํด๋น ์ฝํ
์ธ ๋ฅผ ์ฟผ๋ฆฌํ ์ ์์ต๋๋ค.
-๊ฐ๋ฐ์์ฉ ์ฑํ
Chat with RTX ๊ธฐ์ ๋ฐ๋ชจ๋ GitHub์์ ์ ๊ณต๋๋ TensorRT-LLM RAG ๊ฐ๋ฐ์ ๋ ํผ๋ฐ์ค ํ๋ก์ ํธ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์ ์๋์์ต๋๋ค. ๊ฐ๋ฐ์๋ ์ด ๋ ํผ๋ฐ์ค๋ฅผ ์ฌ์ฉํ์ฌ TensorRT-LLM์ผ๋ก ๊ฐ์ํ๋ RTX์ฉ RAG ๊ธฐ๋ฐ ์ ํ๋ฆฌ์ผ์ด์ ์ ์ง์ ๊ฐ๋ฐ ๋ฐ ๋ฐฐํฌํ ์ ์์ต๋๋ค.
+์ถ๊ฐ: ์ค์น ํ๋ฉด
ํด๋น ๋๊ธ์ ์ญ์ ๋์์ต๋๋ค.
๋ชจ๋ธ ํฌํจ 35๊ธฐ๊ฐ ใ ใ
llama๋ฉด ์ข ๊ตฌ์์ธ๋ฏ
๋ฏธ์คํธ๋7b๋ ๋๊ฐ ์๋ค๋๋ฐ
์ถ๊ฐ์
์11๋ก ์ ๋ ๊ฐ์ผ๋๋ ใ ใ - dc App
์ค
์ผ์ค์ธ์ค์์?
๊ท๋ฐ๊ธฐ
ํ๊ตญ์ด ๊ฐ๋ฅํจ?
๊บ์ ใ ใ ์ข์ - dc App
ํ๊ตญ์ด ๋๋?