요즘에 LLM 크기가 경량화되면서도 성능은 나름 쓸만해서 이런 추세면 온디바이스 ai도 충분히 경쟁력 있겠는걸? 생각했는데
Gpt-4o처럼 텍스트,영상,오디오 다 딜레이없이 정확하게 처리하려면 모델 크기가 다시 커질수밖에 없지
아마도 서버를 지역?대륙? 별로 분산해서 핑을 조금이라도 줄이려고 하지 않을까 싶네
이미 ms랑 구글은 대륙 별로 서버 다 있는걸로 아는데 h100이 충분히 갖춰져 있는지는 몰겠다만