์ฌ๊ธฐ ์ ๋ค๋ ๊ฐ์ ์๊ฒฌ์ผํ ๋ฐ ๋งฅ ์ฒจ์ด๊ณ ์ฉ๋ ๋ชจ๋ฅด๋ฉด ์๋์ฐ ๋ฐํ ์ฌ๋๊ฒ ๋์
๋งฅ๋ฏธ๋๋ ๊ทธ๋ํฝ ์นด๋๋ ๋น๊ตํ๊ณ ์๋๊ฑฐ๋ณด๋ฉด ๋ก์ปฌ LLM ๋๋ฆฌ๋ ค๋ ๊ฒ ๊ฐ์๋ฐ 32 64 ๋ฌ๋ฉด ๊พธ์ญ๊พธ์ญ ๋๋ฆด ์ ์๊ฒ ์ง๋ง ๊ทธ๋๋ ์ฟ ๋ค๊ฐ ๋ซ๋ค
๋๋ถ๋ถ ํน๊ฐค์ธ๋ค์ ์ ๋ณด ๋น ์ญํด์ ์ง๋ฌธ ์ฌ๋ฆฌ๋ฉด ๋งฅ ์ฉ๋ ์์์ ์ฌ๋๊ฑฐ ๋ง๋ฆฌ๊ฑฐ๋
ํ์ํด ๋ณด์ด๋ ์ ๋คํํ ๊ถ์ ํ๋ ์ ๋ค๋ ๋ง๊ธดํ๋๋ฐ ๋ชจ๋ฅด๋ ์ฌ๋์ด ์์ด๋ณด์ฌ์ ์ฌ๋ ค๋ด
๋งฅ๋ฏธ๋ ์ฌ๋ ค๊ณ ํต๊ฒ ๋๋ฆฐ ๋น์ ๋ง์ด์ผ
๋งฅ๋ฏธ๋ ๋จ ๋์ผ๋ฉด ๊ทธ๋๋ ๋๋ฆฌ์ง๋ง ํฐ ๋ชจ๋ธ ๋๋ฆด ์ ์๋ ์ฅ์ ์ ์์
๋งฅ๋ถ์ด๋ฉด ๋นํ๊ธฐ๋ผ๋ ๋ค๊ณ ํ์ ๋๋ฆด ์ ์์ผ๋ ๋๋ฌ๋ ค๋ํด๋ ๋งฅ๋ฏธ๋๋ก ๋ก์ปฌ๋๋ฆฐ๋ค๋ ์ ๋ค์ ์ดํด๊ฐ ์๋จ ใ ใ
@gpt๊ต์ฃผ 24์๊ฐ ๋ชฐํธ๋ถ์ฉ์ผ๋ก ๋๋ฆฌ๋ ค๋ ๊ฑฐ์๋ - dc App
@gpt๊ต์ฃผ ๋ชฐํธ๋ถ์ด๋ ๋จธ์ด์ฉ์ผ๋ก ์ธ์ปจ์ปด์์ ๋ก์ปฌLLM์ 24์๊ฐ 7์ผ ์ฌ์ง์๊ณ ๊ตด๋ฆด ์ ์, ๋ฉ๋ชจ๋ฆฌ ์์ ํน์ ์ฌ์ด์ฆ ๋ก์ปฌ LLM(gpt-oss-20B๊ฐ์๊ฑฐ) ๋๋ฆด ์ ์๋ ์๋ ์ปคํธ๋ผ์ธ์ด๊ณ , ๋น์ฉ์ด ์ค์ํ์ง ์ฐ์ฐ์๋๋ ์ค์์น ์์. API์ฐ๋ฉด ๊ทธ๊ฑฐ ์ฌ์ฉ๋ ์ปค๋ฒ ์ด์ผํ ๊ฑฐ์ผ? ๋ฌผ๋ก API๋ง ๊ตด๋ฆด๊ฑฐ๋ฉด n100 ๊ฐ์๊ฑฐ ์ฐ๋ฉด ๋จ - dc App
@M3 ๋ชฐํธ๋ถ์ฉ์ด๋ฉด ํด๋ผ์ฐ๋๋ฅผ ํ์ง ํ ํฐ ์ด๋น 10์ ๋์ค๋ ค๋ ใ ใ
@gpt๊ต์ฃผ ๊ทธ ๋์๋ ์์ง ๊ทผ๋ฐ ์ด๊ฑธ ํ๊ณ๋ก ๋งฅ๋ฏธ๋ ๊ตฌ๋งค๋ฅผ ์ ๋นํ ํ ์ ์์๋ ์ด ์ ํ ์ผ๋ง๋ ๊ฐ์ง ๋ชจ๋ฅด๊ฒ ๋๋ฐ ใ ๋ ์ฑ๋ฑ์ด์ง๋ง ๋งฅ๋ฏธ๋์ ๊ทธ๋ฅ ๊ด์ฌ์ด ์์๊ธฐ๋ ํธ์ธ๋ฐ ใ ใ ใ ใ - dc App
m4 ๊ธฐ์ค์ผ๋ก ์ํฉ๋ฐ๋ผ 10~25tok/s ๋์ด ์ด์ ๋๋ฉด ์ค์ ์ผ๋ก ๋ชป์ธ์ ๋ ์๋. (dgx 100B๊ธ ๋๋ฆฌ๋ฉด 2tok/s ๋์ค๋๋ฐ ์ฐ๊ตฌ์๋ ์ฐ๋๊น) ๋ฌผ๋ก ๋ชฐํธ๋ถ ์์ฒด๊ฐ ์ ๋ ฅํ ํฐ์ด ์กด๋๋ง์์ ๋ง ๊ณ์ ๋ํํ๊ณ ์ด๋ฐ๊ฑด ์๋๊ฒ ์ง
๋ฐํ์ ์ด๋ฏธ ์๋๋ฐ ๋ณธ์ปด์ผ๋ก ๋๋ฆฌ๊ธฐ์ ๋ณด์์ด์๋ฑ ๋ถ๋ด์ด ์๊ณ , ์ธ์ปจ์ปด์ ๋ก์ปฌ LLM์ฉ์ผ๋ก VRAM ๋ง์ด๋ฌ๋ฆฐ ๊ธ์นด ๋ฌ๊ณ ์์คํ ๋ฉ๋ชจ๋ฆฌ๋ ์ข๊ฒ ๋ง์ถ๋ ค๋ฉด ์ง๊ธ ์์ธ๊ฐ? n100 ๊ฐ์๊ฑด api๋ ๊ตด๋ ค๋ ๋ก์ปฌ LLM์ ๋ฌด๋ฆฌ๊ณ ๊ทธ๋ผ ๊ฐ์ฑ๋น๋ก ๋งฅ๋ฏธ๋๊ฐ ์งฑ์ด์ง - dc App
๋งฅ๋ฏธ๋์์ llm + openwebui ์กฐํฉ์ผ๋ก ์น ํ๋ผ์ด๋น ์ฑ๋ด ๋๋ฆฌ๋ ์ฉ๋๋ก ์ฐ๋์ค์ ํ์ ์์ด๋ค ์ํ์์ 5์ํธ ์ ๋๊น์ง ๋จ์ด์ง๋ ๊ทธ๋ฅ ์ ๊ฒฝ๋๊ณ ์ผ๋๊ธฐ ์ข์