[일반] 오프라인에서 AI 사용 가능함??

[TiuseJ(59.30)]

 

생성형 AI는 결국 인터넷을 서치해서 답변을 하는거잖아?

인터넷이 안되는 상황에서 (데이터 공급이 막힌)

작동가능한 AI는 있을수 없는거지?

[강철톤(succeed5444)]

컴퓨팅만 바쳐주면 다 가능하지 검색 기능만 막히는거고

[강철톤(succeed5444)]

검색은 ai가 가지고 있는 툴중에 하나인거임

[TiuseJ(59.30)]

극한상황에 대비한 생존벙커에 AI를 하나 만들어 놓으려고 한다면 어떻게 해야됨? (발전기는 있어서 전기는 들어옴)

[강철톤(succeed5444)]

@TiuseJ(59.30) h100 갖다 놔

[TiuseJ(59.30)]

4천만원 밖에 안하네 그것만 사면 벙커 안에서 AI 사용 가능해?

[익명1(grocery8445)]

컴퓨터 본체만 사면 게임 가능하냐 정도의 질문임

[TiuseJ(59.30)]

물론 그에 상응하는 뭔가 다른 부품이랑 컴퓨터도 사야겠지? 그런데 제일 핵심은 h100 << 얘가 제일 중요하다는거지?

[익명1(grocery8445)]

@TiuseJ(59.30) ㅇㅇ 하드웨어는 갖췄으니 소프트웨어만 구축하면 가능

[익명1(grocery8445)]

@TiuseJ(59.30) 그 소프트웨어는 리눅스처럼 오픈 소스 풀린거 활용하면 됨

[TiuseJ(59.30)]

@ㅇㅇ1 소프트웨어가 또 문제네; 생존벙커 내에서 필요한 생존 관련 지식(의료,전기장치,급수 등)을 검색할수 있게 만들려면 어떤 소프트웨어를 써야할까?

[강철톤(succeed5444)]

@TiuseJ(59.30) 그래도 좆만한 모델밖에 못 돌림 장난감 정도겠지 갇혀서 갖고놀정도는 되도 상활 타개하는게 목적이라면 agi 모델과 데이터센터 지어야 함

[강철톤(succeed5444)]

@TiuseJ(59.30) 오픈소스 모델들 찾아보셈

[익명1(grocery8445)]

오픈소스로 풀린 llm모델들은 이미 대부분 상식 수준의 정보는 갖고있고, 만약 생존 특화를 하고 싶다면 생존 매뉴얼 정보를 미리 잔뜩 수집해서 RAG(참고 자료용 데이터)화 시켜두거나 파인튜닝으로 생존 정보 특화 llm을 만들 수 있음. 이건 인터넷 끊기기 전 미리 해 둘 일임

[TiuseJ(59.30)]

@강철톤 결국 관련 데이터를 이미 축적한 상태의 소프트웨어가 있어야 된다는거네.. 데이터센터까지 안가고 10억 정도로 개인용 벙커에 필요한 맞춤형 AI 구현할수는 없음??

[강철톤(succeed5444)]

@TiuseJ(59.30) 의료 전기장치 급수시설에 대한건 어느정도 성능 합의만 되면 가벼운 모델로도 가능하긴함 그럼 1억이면 떡을 치지

[TiuseJ(59.30)]

@ㅇㅇ1 그래 그게 내가 원하던 거야 생존 특화 llm << 그러면 그거를 만들려면 관련지식 공부를 따로 해야 됨? 아니면 그냥 지피티나 클로드,제미니 에 만들어달라고 해도 됨?

[익명1(grocery8445)]

@TiuseJ(59.30) 유지보수 하려면 구축 방법을 니가 배워야겠지. ai한테 가르쳐달라고 하면 가르쳐줄거임

[TiuseJ(59.30)]

@강철톤 그렇게 특정 목적을 위한 AI와 데이터 구하려면 어떻게 해야할까? 지피티한테 물어보니까 추상적인 얘기만 하길래.. 시중에는 그런 온디바이스, 로컬 전용 오프라인 모델 시장이 좀 작은거 같음

[강철톤(succeed5444)]

@TiuseJ(59.30) 중국쪽 오픈소스모델 쪽으로 알아보고 데이터는 알아서 만들거나 ai가 가진걸로 해결하거나 전문적이게 물을수록 더 자세하게 답변 해주니 자세한 답변을 유도하는 프롬프트도 ai한태 요청해

[TiuseJ(59.30)]

@ㅇㅇ1 답변 ㄳㄳ

[TiuseJ(59.30)]

@강철톤 님 말 듣고보니 필요한게 대충 머릿속에 그려지네 ㄳㄳ

[익명1(grocery8445)]

@TiuseJ(59.30) 당연히 개인을 위한 그런 시장은 존재하지 않음. ai가 방향성은 알려줘도 디테일한 공부는 본인이 직접해야 할거임. 그래도 오픈소스를 이용한 로컬 llm 구축법, RAG 구축법, finetuning 방법 기본적인 내용은 이미 충분히 공개되어있어서 배울 수 있을거임.

[TiuseJ(59.30)]

@ㅇㅇ1 감사콩

[ㅇㅇ 1(143.248)]

생성형 ai가 뭔지 전혀 모르고 있는 것 같은데?

[익명(sguyff)]

온디바이스면 가능함

[TiuseJ(59.30)]

아.. 있긴 있구나 생존벙커 안에서 구현하려면 어떻게 해야되는거지..

[익명1(grocery8445)]

첫줄부터 틀림

[익명(concept7248)]

생성형 ai는 서치해서 답변하는게 아니야 서치는 도구 중 하나임

[TiuseJ(59.30)]

극한상황에 대비한 생존벙커에 AI를 하나 만들어 놓으려고 한다면 어떻게 해야됨? (발전기는 있어서 전기는 들어옴)

[익명(concept7248)]

@TiuseJ(59.30) gpu나 npu 같은 것과 저장장치 등? ㅋㅋ 그런데 로컬로 돌리는 장치가 존나 비싸 비싼값에 사더라도 open ai에서 서비스 해주는 ai만 못함

[TiuseJ(59.30)]

만약 로컬로 구현한다고 치면 위급상황 대처법, 생존지식, 의료지식, 전기장치 관련 지식 같은거 물어볼 수준은 됨? 말그대로 생존벙커에 쓸거라

[ㅇㅇ 2(121.141)]

그정도면 따로 서치 도구나 추가 학습 안시키고 공개된 모델만 그대로 써도 충분함. 생존 기술이라 한들 그냥 일반 상식 수준이거잖아. gpt 3.5나 4.0 한테 물어봐도 잘 나오는 대답이라면 추가학습이나 서치까지는 필요없음

[익명(novel1295)]

인터넷 서치가 아니라 학습해서 내부자료로 가지고 있음, ai가 최신정보 헛소리 하는 것처럼 보이는 것도 학습기준점이 있기 때문임, 그걸 로컬로 풀면 인터넷 없어도 돌아감, 물론 자료가 너무 방대해서 현실적으로 로컬로 푸는건 경량화 모델임

[익명(unlocked11)]

모델 준비하고 모델 돌릴 컴퓨터 준비해

[익명(soap4147)]

그런 용도로는 책이 낫지 않나..? 컴퓨터 수명 생각보다 짧다

[TiuseJ(59.30)]

필요한 정보만 즉각적으로 찾기 위해선 AI 만한게 없지 않나? 오프라인으로 구현만 할수있다면?

[익명(soap4147)]

너가 로컬로 돌리는 모델은 정확도도 정보량도 많이 떨어짐 아포칼립스를 대비하는거라면 그냥 책만한게 없지 대신 좀 귀찮겠지만

[TiuseJ(59.30)]

@ㅇㅇ 그건 맞긴해 근데 그게 싫어서 AI를 찾는건데 ㅜㅜ

[데미스하사비스(power2345)]

가능함. 요즘 로컬에도 훌륭한거 많아서

[ㅇㅇ 2(121.141)]

그냥 로컬모델 돌리는법 알아보면 쉽게 알수있음. gpu 성능 높을수록 더 똑똑한 애로 돌릴수 있는거고. 좋은 컴퓨터 한대랑 모델 다운받아서 돌릴줄만 알면됌

[TiuseJ(59.30)]

그 '돌릴'줄 안다는게.. 전공자만 가능한거임? 아니면 대충 AI 코딩 활용하고 독학으로 가능함?

[익명(novel1295)]

@TiuseJ(59.30) 단순히 로컬 돌리는건 코딩 1도 몰라도 할 수 있고, 파인튜닝해서 자기만의 llm으로 만들려면 공부해야 하는데, 전공자일 필요 없음

[ㅇㅇ 2(121.141)]

그냥 게임같이 모델을 다운받아서 실행시킨다고 생각해. 당장 여기가 아니라 gpt나 제미나이한테 물어보면 다운부터 실행까지 상세하게 알려줌 ㅇㅇ

[익명(112.150)]

그래픽카드 vram 16gb이상이면 gpt oss 검색해서 돌리는 방법 찾아서 돌려보면 감좀 잡힐듯

[ㅇㅇ 3(121.137)]

인터넷 써치해서 답변하는 거였구나. 그렇구나.