애플, 휴대폰 화면 이해하고 작용하는 AI 출시...모바일 'AI 에이전트' 공개하나애플이 휴대폰의 화면의 정보를 이해해 '시리(Siri)'와 같은 인공지능(AI) 에이전트과의 상호 작용을 지원하는 새로운 모델을 공개했다. 이를 바탕으로, 6월 개발자 행사에서 '모바일용 AI 에이전트'를 공개할 수도 있을 것으로 보인다.마크테크포스트는 11일(현지시간) 애플이 모바일 사용자 인터페이스(UI)에 대한 이해와 상호 작용을 향상하기 위해 특별히 개발된 모델인 ‘패럿-UI(Ferret-UI)’에 관한 논문을 온라인 아카이브에 게재했다고 전했다.패럿-UI는 사용자가 AI 에이전트와 대화할 때 화면 내의 이미지, 데이터 등www.aitimes.com

마크테크포스트는 11일(현지시간) 애플이 모바일 사용자 인터페이스(UI)에 대한 이해와 상호 작용을 향상하기 위해 특별히 개발된 모델인 ‘패럿-UI(Ferret-UI)’에 관한 논문을 온라인 아카이브에 게재했다고 전했다.

패럿-UI는 사용자가 AI 에이전트와 대화할 때 화면 내의 이미지, 데이터 등 상호작용할 모든 엔터티들을 참조하거나 사용할 수 있다. 

예를 들어 사용자는 휴대폰의 검색앱 화면에서 ‘근처 약국을 찾아줘’라고 AI 에이전트에 요청할 수 있다. 패럿-UI를 적용한 AI 에이전트는 모바일 UI를 이해해 검색창에 검색어를 입력하고 실행까지 할 수 있다.

패럿-UI는 UI 벤치마크 테스트에서 오픈 소스 멀티모달언어모델(LMM) ‘패럿’과 'GPT-4V'를 능가하는 성능을 보였다.

아이콘 인식 작업에서 패럿-UI는 GPT-4V 모델에 비해 25% 향상된 정확도 95%를 달성했다. 위젯 분류 성공률은 90%로 GPT-4V를 30% 능가했다. 위젯, 아이콘 찾기 등의 접지 작업에서는 패럿-UI가 각각 92%, 93%의 정확도를 유지해 기존 모델 대비 20%, 22% 향상된 성능을 보였다 

더불어 애플은 지난 1일 음성 비서와의 자연스러운 상호 작용을 위해 화면상에 나타낸 각종 참조 사항은 물론 대화 및 배경 맥락에 참조를 이해할 수 있는 새로운 언어모델 ‘렐름(ReALM)’을 공개했다.

이는 시리와 같은 음성 비서와 대화할 때 백그라운드 작업, 화면 데이터, 대화 관련 엔터티 등 상호작용할 상황별 정보를 참조할 수 있도록 한 것으로, 역시 AI 에이전트에 필요한 기능이다. 

다만 AI 에이전트에서 가장 중요한 대형언어모델(LLM)은 아직 출시한 바 없다. 이 때문에 자체 모델 출시에 앞서, 이미 검증된 구글이나 오픈AI 모델을 도입하기 위해 파트너십을 추진한다는 소식도 전해졌다