[📪정보] GN⁺: 애플의 새로운 Transformer 기반 예측 텍스트 모델

[익명(landofooo)]

애플, 트랜스포머 언어 모델을 활용한 iOS와 macOS의 새로운 기능 발표: 사용자가 타이핑하면서 예측 텍스트 추천 제공

애플이 공개적으로 인정한 첫 번째 트랜스포머 기반 모델 중 하나로, 운영 체제에 통합될 예정

Gmail의 자동완성과 유사하게, 개별 단어를 완성하고 때때로 한 번에 두 단어 이상을 제안하는 기능

예측 텍스트 모델은 사용자가 타이핑하면서 철자와 문법 오류를 확인하는 macOS 내부 애플리케이션인 AppleSpell에서 발견

모델은 타이핑 중 사용되는 여러 Espresso 모델 파일이 포함된 /System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle에 위치

예측 텍스트 모델의 어휘는 특수 토큰, 축약어, 이모티콘을 포함한 15,000개의 토큰으로 구성

예측 텍스트 모델의 구조는 토큰 임베딩, 위치 인코딩, 일련의 디코더 블록, 출력 계층을 포함하여 GPT-2를 기반으로 한 것으로 보임

애플의 예측 텍스트 모델은 약 3,400만 개의 파라미터와 512개의 히든 유닛을 가지고 있어, GPT-2의 가장 작은 버전보다 훨씬 작음

모델의 작은 크기로 인해 기기의 배터리를 많이 소모하지 않고 빠르고 자주 실행 가능, 사용자 경험 향상

모델의 크기 제한으로 인해 전체 문장이나 문단을 작성하는 데는 능력이 부족하지만, 다음 단어나 두 단어에 대한 높은 확신을 보일 때는 사용자에게 제안하기에 충분히 좋음

예측 텍스트 기능을 직접 시도해보고 싶은 사람들을 위해 저자가 GitHub에 스크립트를 제공

▲

neo 15시간전  [-]

Hacker News 의견

게시글의 저자가 HackerNews에서 자신의 기사가 인기를 끌고 있는 것에 놀라고 있으며, 이에 대한 질문에 답하겠다고 밝혔습니다.

일부 사용자들은 Apple의 새로운 예측 텍스트 모델이 GPT2보다 우수한지 의문을 제기하고 있습니다. 후자는 사용자의 입력에 기반하여 관련 없는 텍스트를 생성하는 경향이 있습니다.

예측 텍스트 모델이 전체 문장을 생성해야 하는지, 아니면 사용자의 의도한 입력을 단순히 예측해야 하는지에 대한 논란의 여지가 있습니다.

상위 예측이 아닌 토큰을 선택할 확률을 제어하는 온도 설정이 테스트에서 언급되지 않았습니다. 이 설정은 모델의 출력의 창의성과 반복성에 영향을 줄 수 있습니다.

일부 사용자들은 iOS 시뮬레이터의 콘솔 로그를 관찰함으로써 "unilm.bundle"이 새로운 텍스트 예측 모델임을 발견했습니다.

애플의 모델의 미래 버전이 더 높은 품질의 데이터로 훈련된 더 작은 모델로 전환할 것인지, 그리고 애플이 Xcode용 Copilot의 자체 버전을 개발할 것인지에 대한 추측이 있습니다.

일부 사용자들은 텍스트 예측의 목적이 텍스트 입력을 가속화하는 것이라면, 입력 인터페이스가 병목 현상이 될 수 있으며, 이는 텍스트를 더 빠르게 입력할 수 있는 방법의 필요성을 제안합니다.

AI의 배포가 논의되고 있으며, 일부 사용자들은 AI가 end-to-end 솔루션으로 판매되기보다는 작고 신뢰할 수 있는 작업을 수행하는 데 사용되어야 한다고 제안합니다.

새로운 예측 텍스트 모델이 경험 또는 iMessage 기록을 바탕으로 개선할 수 있는지에 대한 질문이 제기되었습니다.

"UnilmCtrl"이라는 용어는 Socher의 CTRL 모델에 어떤 의존성을 시사하는 것으로 추측되지만, 이는 확인되지 않았습니다. 일부 사용자들은 애플이 NLP 분야에서 더 오랫동안 일해왔다면 더 존경할 것이라고 말합니다.

https://news.hada.io/topic?id=10913

애플의 새로운 'Transformer' 기반 예측 텍스트 모델 | GeekNews

개인적인 사견인데

보니까 애플이 쓰는 언어모델은 서버에서 구동되는게 아니라

기존에 애플이 늘 하던 온디바이스 머신러닝에서 쓰이는 그냥 단순 텍스트 예측 기능에 불과한 거 같고

바드/GPT/제미니같이 로컬 구동이 불가능한 애플판 LLM은 이번에 VR기기 발표한 것처럼 아마 별도의 서비스로 만들듯

얘네가 LLM 만들 돈이 모자를거같진 않음

[부패하는유전자!!!(sansss2015)]

애플도 기대해 봐도 되나?

[익명(landofooo)]

나오는데 시간이 좀 걸릴텐데 얘네가 일단 데이터 모을 기기는 ㅈㄴ많이 가지고있고 칩성능 뽑아내는거 보면 자체적으로 구축했을때 좀 늦긴해도 뭐 내놓긴 할거 같은데... 당장 검색엔진만 GPT처럼 구글 안쓰고 지네 거 쓰게해서 서비스 연동시키면 돈을 갈퀴로 쓸어담을테니까

[부패하는유전자!!!(sansss2015)]

으... 미국에서 반독점 규제 심한 이유를 알겠다

[익명(landofooo)]

애초에 애플은 엔비디아랑 사이도 안좋을거고 자체 칩설계능력도 보유한데다 애플실리콘으로 다 이전까지 했으니까 자체 데이터센터에 언어모델용 ASIC 따로 만들어서 당장은 H100보단 못해도 천천히 따라가려 할듯 구글 아마존도 지네거 하드웨어 만들어서 따로 서비스로 팔아먹는데 애플도 그럴수 있고

[부패하는유전자!!!(sansss2015)]