애플, 화면 맥락을 보고 이해할 수 있는 AI 개발 - 특이점이 온다 마이너 갤러리

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] 애플, 화면 맥락을 보고 이해할 수 있는 AI 개발

ㅇㅇ(182.230) 2024.04.02 21:04:45

조회 2316 추천 19 댓글 8

https://www.aitimes.com/news/articleView.html?idxno=158475

애플, 화면 맥락을 보고 이해할 수 있는 AI 개발

애플이 화면 상에 표시된 전화번호, URL 링크, 이메일 주소와 같은 다양한 유형의 참조 정보를 이해해 시리(Siri)와 같은 음성 비서와 상황에 맞는 대화를 나눌 수 있도록 지원하는 새로운 언어모델을 공개했다.벤처비트는 1일(현지시간) 애플이 음성 비서와의 자연스러운 상호 작용을 위해 화면상에 나타낸 각종 참조 사항은 물론 대화 및 배경 맥락에 참조를 이해할 수 있는 새로운 언어모델 ‘렐름(ReALM)’에 관한 논문을 온라인 아키이브에 게재했다고 전했다.시리와 같은 음성 비서와 대화할 때 사용자는 백그라운드 작업, 화면 데이터,

www.aitimes.com

7ce88872b28707f739ef82ec4eee776fe66bf143d737b938a33cfe6bc3cfe84f2c37

애플이 화면 상에 표시된 전화번호, URL 링크, 이메일 주소와 같은 다양한 유형의 참조 정보를 이해해 시리(Siri)와 같은 음성 비서와 상황에 맞는 대화를 나눌 수 있도록 지원하는 새로운 언어모델을 공개했다.

벤처비트는 1일(현지시간) 애플이 음성 비서와의 자연스러운 상호 작용을 위해 화면상에 나타낸 각종 참조 사항은 물론 대화 및 배경 맥락에 참조를 이해할 수 있는 새로운 언어모델 ‘렐름(ReALM)’에 관한 논문을 온라인 아키이브에 게재했다고 전했다.

시리와 같은 음성 비서와 대화할 때 사용자는 백그라운드 작업, 화면 데이터, 대화 관련 엔터티 등 상호작용할 상황별 정보를 얼마든지 참조할 수 있다.

예를 들어 사용자가 근처 약국을 요청하고 시리가 인근 약국 목록을 화면에 제시한 후 사용자는 다시 ‘맨 아래 번호로 전화해’ 라고 요청할 수 있다. 이때 기존 시리는 이 요청을 수행할 수 없었지만, 렐름을 적용한 시리는 맥락을 이해해 화면 상의 목록 데이터의 맨 아래 부분에 나와 있는 약국으로 전화를 걸 수 있다.

사람의 말은 일반적으로 ‘그들’이나 ‘그것’과 같은 모호한 대상을 포함한다. 사람은 이런 참조가 무엇을 가리키는 지 맥락에 따라 명백히 이해할 수 있지만, 이제까지 기계는 어려웠다.

참조 해결(reference resolution)이란 컴퓨터 프로그램이 사용자가 ‘이것’ 또는 ‘저것’이라고 말하는 방식과 같은 모호한 언어 입력을 기반으로 작업을 수행하는 것을 의미한다.

이런 참조 해결은 다양한 종류의 맥락을 이해하고 사용자의 요구 사항을 자연스럽게 전달하거나 성공적으로 처리하는 음성 비서에게는 필수적인 능력이다.

이러한 맥락에는 🔼화면 엔터티 🔼대화 엔터티 🔼배경 엔터티와 관련된 맥락이 포함된다. 화면 엔터티는 현재 사용자 화면에 표시되는 엔터티다. 예를 들어 전화번호, URL 링크, 이메일 주소와 같은 참조 정보가 포함된다.

대화 엔터티는 대화 내용과 관련있는 참조 엔터티를 의미한다. 예를 들어 사용자가 ‘엄마에게 전화해’라고 말하면 엄마의 연락처가 관련 엔터티가 된다.

배경 엔터티는 백그라운드에서 실행 중인 엔티티로 울리기 시작하는 알람이나 배경에서 재생되는 음악 등이 될 수 있다.

7ce88872b28707f739ef82ec4fee776fa442df7fc3e2de99f4faa771fd51341aeb

렐름은 참조 해결의 복잡한 작업을 언어 모델링 문제로 변환, 다양한 유형의 참조를 성능을 저하시키지 않고 해결한다.

GPT-4는 화면 정보를 이해하기 위해 이미지 분석에 의지하는 반면, 렐름은 모든 것을 텍스트로 변환하여 접근 방식을 간소화했다. 화면 엔터티의 경우 화면을 그리드로 나누고 화면에 있는 엔터티의 캡처 데이터를 상대적인 공간 위치와 함께 텍스트로 인코딩하는 식이다.

기존 시스템과 비교, 8000만 매개변수의 가장 작은 모델 ‘렐름-80M’이 화면 참조에 대해 5% 이상의 퍼포먼스 향상을 이루는 등 다양한 유형의 참조에 대해 큰 개선을 보였다.

또 GPT-3.5 및 GPT-4와의 벤치마크 테스트에서는 렐름-80M 모델이 GPT-4와 유사한 성능을 기록했으며, 2억5000만 매개변수의 ‘렐름-250M’과 10억 매개변수의 ‘렐름-1B’ 및 30억 매개변수의 ‘렐름-3B’ 모델 등이 모두 GPT-4를 능가하는 뛰어난 성능을 보였다.

가장 작은 렐름-80M 모델이 훨씬 적은 매개변수로 GPT-4와 유사하게 작동, 온디바이스 AI에 적합하다는 설명이다.

이번 연구 결과를 발표는 애플이 시리 및 기타 제품을 친숙하고 상황에 맞게 인식하도록 만들기 위해 지속적으로 투자하고 있음을 시사한다는 분석이다. 즉 이 기능을 이용, 아이폰 내 기능을 향상하겠다는 의도다.

그러나 연구진은 자동화된 화면 분석에 의존하는 데에는 한계가 있다고 경고했다. 여러 이미지를 구별하는 것과 같이 복잡한 시각적 참조를 처리하려면 결국 컴퓨터 비전과 멀티모달 기술을 통합해야 한다는 지적이다.

고정닉 12

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2861	설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
468764	일반	뭐가 마법이고 뭐가 8배임?	ㅇㅇ	05.14	25	0
468763	일반	이게 마법이냐 시발 ㅋㅋㅋ	특붕이(1.55)	05.14	21	0
468762	일반	영어 못하면 오선 유튜브 봐라	ㅇㅇ(211.168)	05.14	71	0
468761	일반	일용직 알아보고있는 특붕이들은 개추 ㅋㅋㅋㅋㅋㅋ	비닌	05.14	42	0
468759	일반	이개시발 ui개선으로 박수를 쳐 치네 개시발	ㅇㅇ(121.124)	05.14	17	0
468758	일반	에휴 씨발 pc 설치용 gpt	ㅇㅇㅇㅇ(121.153)	05.14	42	0
468757	일반	빠르다 ㅅㅂㅋㅋㅋ	ㅇㅇ(58.29)	05.14	13	0
468756	일반	저 여자가 사실 sora로 만든거아님??	ㅇㅇ(211.62)	05.14	28	0
468755	일반	에라이	ㅇㅇ(211.230)	05.14	15	0
468754	일반	딱! one more thing	ㅇㅇ(220.117)	05.14	16	0
468753	일반	시발 그냥 gpt 성능을 올리라고	ㅇㅇ(118.33)	05.14	22	0
468752	일반	김정은식 북한 박수 실화냐고 ㅋㅋㅋㅋ	ㅇㅇ(121.124)	05.14	19	0
468751	일반	ai도 약빨 끝나는게 보이누	ㅇㅇ(220.116)	05.14	44	0
468750	일반	모두 잠수준비	ㅇㅇ(125.128)	05.14	23	0
468749	일반	씨발 알트만 어그로 분탕충련 언금시켜 그냥 ㅋㅋㅋㅋㅋ	ㅇㅇ	05.14	35	0
468748	일반	오피셜))국내 선형주의 갤러리입니다. [2]	lightvector	05.14	74	1
468747	일반	좆된거냐..?	ㅇㅇ(121.188)	05.14	22	0
468746	일반	억지호응 씨발 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ	ㅇㅇ(218.153)	05.14	21	0
468744	일반	개씨발좆되는UI 지리네ㄷㄷㄷㄷ AGI특이점왔네 ㄷㄷㄷㄷ	ㅇㅇ(1.252)	05.14	44	0
468743	일반	정말 대단하다ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ	ㅇㅇ(220.123)	05.14	18	0
468742	일반	일단 gpt4 o 가 핵심이다	ㅇㅇ(125.137)	05.14	30	0
468741	일반	이게 마법같다고 시발 ???????????ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ	ㅇㅇ(59.17)	05.14	28	0
468740	일반	빅뉴스 GPT-4o 입갤 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ	ㅇㅇ(121.162)	05.14	58	0
468739	일반	박수!!	ㅇㅇ(1.243)	05.14	14	0
468738	일반	데스크톱앱 자율에이전트 아니면 끝	ㅇㅇ(14.36)	05.14	25	0
468737	일반	아니 UI도르 실화냐 억지 박수 실화냐 진짜 진짜 진짜	ㅇㅇ(121.124)	05.14	17	0
468736	일반	8배라잖아 상식적으로 저게 다겠냐고 [1]	ㅇㅇ(175.213)	05.14	56	0
468735	일반	gpt-4애미 입갤.....	ㅇㅇ	05.14	20	0
468734	일반	하 시발 유아이 개선ㅋㅋㅋㅋㅋ	ㅇㅇ(125.183)	05.14	33	0
468733	일반	이새끼 만들었단거임? [1]	ㅇㅇ(58.29)	05.14	150	2
468732	일반	업뎃된 UI 빙 코파일럿 똑띠네 ㅇㅇ	ㅇㅇ(58.127)	05.14	39	0
468731	일반	ㅋㅋㅋㅋㅋㅋㅋㅋㅋ 발표 10초만에 다들 곧장 결론 냐는거 웃기네	나일론마스크	05.14	87	0
468730	일반	어이없어서 걍 칼바람 매칭 마저 돌렸따 ㅋㅋㅋ	ㅇㅇ(222.101)	05.14	13	0
468729	일반	죽을게요	ㅁㄱㅌㅊ(39.122)	05.14	9	0
468728	일반	지피티4로 사골 존나 끓여먹노ㅋㅋㅋㅋ	ㅇㅇ(222.112)	05.14	14	0
468727	일반	어? 좀 망한듯	ㅁㄴㅇ(222.112)	05.14	21	0
468726	일반	아 애미 씨발 유출이 사실이였노 ㅋㅋㅋㅋㅋㅋ	비닌	05.14	180	0
468724	일반	지피티 PC앱 생겼노	ㅇㅇ(121.128)	05.14	22	0
468723	일반	마법같다며 시발	ㅇㅇ(121.124)	05.14	11	0
468722	일반	싹다 노동시켜	ㅇㅇ(121.178)	05.14	14	0
468721	일반	개씨발좆되는UI입갤ㅋㅋㅋㅋㅋㅋㅋㅋㅋ	ㅇㅇ	05.14	40	0
468720	일반	애미 시발 겨우 데스크톱앱 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ	ㅇㅇ(121.162)	05.14	33	0
468719	일반	실전) 이럴 줄 알았다 ㅋㅋㅋ 싹 다 노동시켜	ㅇㅇ(211.43)	05.14	22	0
468718	일반	her은 무슨ㅅㅂㅋㅋㅋ	ㅇㅇ(211.230)	05.14	34	0
468717	일반	제발 큰거 내놔ㅠㅠㅠ	ㅇㅇ	05.14	8	0
468716	일반	알트만 낚시 잘하네 ㅇㅇ	ㅇㅇ(218.153)	05.14	16	0
468715	일반	4o free??? 그럼 유료는 뭐가 되는거야? ㅋㅋㅋ	ㅇㅇ(218.232)	05.14	65	0
468714	일반	아. [2]	부패하는유전자!!!	05.14	77	1
468713	일반	pc로도 저게 되네 이제	ㅇㅇ(121.124)	05.14	24	0
468712	일반	자고 일어날테니깐 정리해줘	ㅇㅇ(115.139)	05.14	11	0