니들이 관심이 없을 순 있어도 앞으로 엄청 커질 시장중 하난데




조금만 큰 회사들 가봐라 죄다 밖으로 나가면 안되는 데이터 천지다

기존 사내 시스템에 보안이 중요한 데이터등이 엮여 분리가 힘든 경우도 많고 아예 외부망 연결 자체가 없는 곳도 생각보다 많다




온프레미스로 LLM 돌리면 성능이 최신 모델에 비해서는 한참 떨어지겠지만

프롬프트 엔지니어링이랑 데이터 전처리, 프롬프트 체이닝등 실제 자동화 효율을 올리기 위해 모델 성능을 끌어올릴 방법이야 많다

지난달에 코엑스에서 한 ai 전시회만 봐도 국내업체에서 워크스테이션에 llm 올린 서버 및 솔루션 판다고 광고하고 있다





하나의 큰 LLM 뿐 아니라 니네 핸드폰에도 들어갈 수 있는 소형 모델도 쓸만한게 슬금슬금 나오고 있는데 

단순 니들이 로컬 ai 라고 부르는 것보다 더 다양하게 핸드폰, 저사양 컴, 워크스테이션등.. 하드웨어 성능별로 다 적절한 llm 이 들어갈거다

api 형태는 네트워크를 타서 느릴 수 밖에 없고 최신모델의 풀파워가 필요하지 않은 작업도 엄청 많다

- dc official App