Adapter 구조 채택함
온디바이스 모델은 3B 패러미터
IFEval
온디바이스 모델은 3B 짜리로
더 큰 마소 파이3 미니, 구글 젬마 다 쳐바름
서버에선 GPT-4 터보랑 비등
(iOS 기반의 애플 실리콘 서버에서 구동)
[일반] 애플 자체 LLM 벤치마크 떴다
익명(rq6s9hz6n8ye)
2024-06-11 15:52
추천 0
댓글 36
다른 게시글
-
오빠야들모해영[일반] 꼬마귀염선..(marry4934) | 24.06.11추천 0
-
미국이나 캐나다 가고 싶었는데[일반] 익명(w3gq0w2syydw) | 24.06.11추천 0
-
내가원하는 ai [11][일반] 가속(pioneer8076) | 24.06.11추천 0
-
OAI 몇 달 전에 각 분야 박사급 인재 뽑은 거 [1][일반] 초존도초(htr3c654r6ft) | 24.06.11추천 0
-
gpt5 가장 와닿는 말 [6][일반] 이런내가특..(andud96) | 24.06.11추천 0
-
GPT가 제미나이보다 뛰어남[일반] 익명(121.182) | 24.06.11추천 0
-
애플 삼성 떡밥 굴리는 거 그거임[일반] 익명(hell4911) | 24.06.11추천 0
-
글고 삼성이 구글os 쓴다고 비관하는 ㅄ들 있던데 [10][일반] 익명(220.79) | 24.06.11추천 1
-
싱가포르랑 일본 중 한 곳으로 이민간다면 어디로갈거 [15][일반] 익명(221.160) | 24.06.11추천 0
-
ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [1][일반] 익명(221.167) | 24.06.11추천 2
"애플 서버" ㅋㅋㅋㅋ
애플 서버에서 돌아가는건 자체 모델 맞음 오픈AI가 팀쿡한테 최면어플 걸린것도 아니고 미쳤다고 모델을 주냐
그러니까 그 애플서버 보여달라고
출처점
트위타 ai 연구자가 올렸던데
ㄹㅇ 애플걱정은 세상에서 젤 쓸모없는 걱정ㅋㅋㅋㅋㅋㅋ
이새끼 앱등이를 넘어서서 무슨 종.교집단 신r도 같네
얜 왜케 화남
아답타 구조 저거 로라인데 뭐 대단한거마냥 글쓰는데 화가 안남?
아니 걍 벤치마크 성능 떴다! 인데 누가 대단하다 함..?
대단하다 한적도 없는데 별거 아닌걸로 화내고 발작하는 이유가 뭐지
근데 온디바이스는 왜내는거임?그냥 서버에서 돌리면안되나 그게 성능더좋으면
모든 연산을 서버에서만 돌리면 아이폰이 1억대인데 감당이 되겠냐. 쉬운작업은 온디바이스로 돌리는거지
온디바이스로 돌아가는데 굳이 전력 많이 먹고 돈 많이 빨리는 서버로 돌릴이유가 없자나
그냥 챗gpt api를 빌려와서 기본앱을 탑재하면되는거아님?
그 돈은 누가 대주노? ㅋㅋ
그럼 비싸니까 자체 LLM성능으로 충분하면 그거 쓰는게 맞지. 일단 대부분 시리 기능, 사용자 정보 쓰는 기능은 다 자체 모델 쓰더라. 오픈AI는 뭐 물어볼때 대답해주는 용도인듯
애플같은 거대기업이면 다량 사니까 싸게할인해줄거같은데
용도가다른가?
애플이 원하는데로 모델을 특정 기능들에 맞게 계속 튜닝해줘야하는데 외부로 맡기면 그런게 전혀 안되니까
튜닝은 일반인도 가능함 튜닝이 문제되진않음
나도 오픈ai api 써서 앱 만들어보려는데 생성형 ai라 제멋대로인 부분이 있어서 제대로 써먹기 어렵더라고 예를들어 어떤 문장 번역해달라는것도 “그럼 ~을 번역해드리겠습니다” 이런식의 쓸데없는 아웃풋도 출력하니까 프롬프트 수정해도 제대로 안지켜질때도 많아
오픈ai에서 제공하는 파인튜닝은 한계가 있음
그냥 직접 해보면 아 ㅈㄴ 허들이 많겠구나 싶음 마소 코파일럿도 그냥 gpt-4 + 검색기능 수준인것도 다 이유가 있음 시스템에 긴밀하게 통합하려면 결국은 직접 해야 한다
그럼 애플이 oai한테 파인튜닝 요청했는데 Oai가 거절했다는거임?
그리 단순한게 아니라 뭐 해줘 저거 해조 이런식으로 오랫동안 유지가 안되는건 뻔하니까. 오픈AI가 애플 하나 요청만 들어줄수도 없고
아 그리고 내 답변은 애플 자체 서버용 LLM 쓰는 이유에 대한거였고 온디바이스 하는 이유는, 기기 자체의 사용자 데이터들도 활용하려고 하는거래 서버가 읽을 수 있는 토큰 길이는 짧으니까 매번 LLM 쓸 때마다 사용자 정보를 전부 토큰화해서 보낼수도 없고
그건 잘못된 논리임 oai같은경우 서버가 읽을수있는 토큰길이가 짧고 매번LLM사용할때마다 토큰화해서 서버에보냄
ㅇㅇ 그래서 oai 모델로는 한계가 있어서 디바이스 자체에 인덱스 처리해줄 AI모델이 따로 있어야 한다는겨
왜 oai모델에 한계가 있음?
서버로 보내는 방식이라 토큰길이 한계가 있어서
그건 이유가 안됨 토큰길이에 한계가 있어도 계속 주고받기는 가능함
엄마가 메세지로 보내준 생일 일정 미리알림에 추가해줘 이런 기능 구현한다고 생각해봐 그럼 메세지 내용을 싹다 긁어서 보내야 하는데 이걸론 토큰길이 넘어서서 구현이 힘들다는거지 매번 할때마다 최대 토큰길이만큼 데이터를 보내는것도 비효율적이고 그래서 디바이스 자체에서 시맨틱 인덱스를 생성하는 AI가 따로 있는거야
또 예를 들면 '나랑 친구가 클럽에서 찍은 사진 보여줘' 이런것도 할때마다 사용자 사진을 죄다 서버로 보낼수는 없잖아
그건 온디바이스에도 토큰을 늘려서낼지 미지수고 토큰의 한계때문에 caching이 있는거임
구현하려다 보니 서버에서 사용자 하나하나 다 캐싱해주는게 현실적으로 안맞다고 판단했겠지 애플 말고 LLM기반으로 이런 기능 구현한 곳 없는것도 사실이잖아