[📪정보] 객체 관계를 이해하는 인공 지능

객체 관계를 이해하는 인공 지능

새로운 기계 학습 모델을 통해 로봇은 인간이 하는 방식으로 세상의 상호 작용을 이해할 수 있습니다.

아담 제웨 | MIT 뉴스 오피스
Artificial intelligence that understands object relationships | MIT News | Massachusetts Institute of Technology

2021년 11월 29일

인간은 장면을 볼 때 사물과 사물 간의 관계를 봅니다. 책상 위에는 컴퓨터 모니터 앞에 있는 전화기 왼쪽에 랩톱이 있을 수 있습니다.

많은 딥 러닝 모델은 개별 객체 간의 얽힌 관계를 이해하지 못하기 때문에 세상을 이런 식으로 보는 데 어려움을 겪습니다. 이러한 관계에 대한 지식이 없으면 부엌에서 누군가를 돕기 위해 설계된 로봇은 "스토브 왼쪽에 있는 주걱을 들어 도마 위에 올려 놓으십시오"와 같은 명령을 따르는 데 어려움을 겪을 것입니다.

이 문제를 해결하기 위한 노력의 일환으로 MIT 연구원들은 장면에 있는 물체 간의 근본적인 관계를 이해하는 모델을 개발했습니다. 그들의 모델은 개별 관계를 한 번에 하나씩 표현한 다음 이러한 표현을 결합하여 전체 장면을 설명합니다. 이렇게 하면 장면에 서로 다른 관계로 배열된 여러 개체가 포함된 경우에도 모델이 텍스트 설명에서 보다 정확한 이미지를 생성할 수 있습니다.

이 작업은 산업용 로봇이 창고에 물건을 쌓거나 기기를 조립하는 것과 같이 복잡한 다단계 조작 작업을 수행해야 하는 상황에 적용될 수 있습니다. 또한 인간처럼 환경에서 학습하고 환경과 상호 작용할 수 있는 기계를 가능하게 하는 데 한 단계 더 가까워집니다.

“테이블을 볼 때 XYZ 위치에 개체가 있다고 말할 수 없습니다. 우리의 마음은 그렇게 작동하지 않습니다. 우리가 마음속으로 장면을 이해할 때, 우리는 사물들 사이의 관계를 기반으로 그것을 실제로 이해합니다. 우리는 물체 사이의 관계를 이해할 수 있는 시스템을 구축함으로써 그 시스템을 사용하여 환경을 보다 효과적으로 조작하고 변경할 수 있다고 생각합니다. - 논문의 주 저자.

Du는 공동 저자인 CSAIL 박사 과정 학생인 Shuang Li와 Urbana-Champaign에 있는 일리노이 대학의 대학원생인 Nan Liu와 함께 논문을 작성했습니다. 또한 CSAIL의 회원이자 뇌 및 인지 과학과의 인지 과학 및 계산 분야의 Paul E. Newton 경력 개발 교수인 Joshua B. Tenenbaum; 그리고 선임 저자인 Antonio Torralba, Delta Electronics 전기 공학 및 컴퓨터 과학 교수이자 CSAIL 회원입니다. 이 연구는 12월 신경정보처리시스템 컨퍼런스에서 발표될 예정이다.

한 번에 하나의 관계

연구원들이 개발한 프레임워크는 "파란색 의자 왼쪽에 있는 나무 탁자"와 같이 물체와 그 관계에 대한 텍스트 설명을 기반으로 장면 이미지를 생성할 수 있습니다. 파란 의자 오른쪽에 있는 빨간 소파.”

그들의 시스템은 이 문장을 각각의 개별 관계를 설명하는 두 개의 작은 조각("파란색 의자의 왼쪽에 있는 나무 테이블"과 "파란색 의자의 오른쪽에 있는 빨간색 소파")으로 나눈 다음 각 부분을 개별적으로 모델링합니다. . 그런 다음 장면의 이미지를 생성하는 최적화 프로세스를 통해 이러한 조각이 결합됩니다.

연구원들은 에너지 기반 모델이라고 하는 기계 학습 기술을 사용하여 장면 설명에서 개별 개체 관계를 나타냅니다. 이 기술을 통해 하나의 에너지 기반 모델을 사용하여 각 관계 설명을 인코딩한 다음 모든 개체와 관계를 추론하는 방식으로 함께 구성할 수 있습니다.

문장을 각 관계에 대해 더 짧은 조각으로 나누면 시스템이 다양한 방식으로 문장을 재결합할 수 있으므로 이전에 본 적이 없는 장면 설명에 더 잘 적응할 수 있다고 Li는 설명합니다.

“다른 시스템은 모든 관계를 전체적으로 취하여 설명에서 한 번에 이미지를 생성합니다. 그러나 이러한 접근 방식은 더 많은 관계가 있는 설명과 같은 배포 외 설명이 있는 경우 실패합니다. 이러한 모델은 실제로 더 많은 관계를 포함하는 이미지를 생성하기 위해 한 번의 샷을 조정할 수 없기 때문입니다. 그러나 이러한 개별적인 더 작은 모델을 함께 구성할 때 더 많은 수의 관계를 모델링하고 새로운 조합에 적응할 수 있습니다.”라고 Du는 말합니다.

이 시스템은 반대로도 작동합니다. 이미지가 주어지면 장면의 개체 간의 관계와 일치하는 텍스트 설명을 찾을 수 있습니다. 또한 해당 모델을 사용하여 장면의 개체를 재정렬하여 새 설명과 일치하도록 이미지를 편집할 수 있습니다.

복잡한 장면 이해하기

연구원들은 자신의 모델을 텍스트 설명이 제공되고 해당 개체와 해당 개체의 관계를 표시하는 이미지를 생성하는 다른 딥 러닝 방법과 비교했습니다. 각 사례에서 그들의 모델은 기준선을 능가했습니다.

그들은 또한 생성된 이미지가 원래 장면 설명과 일치하는지 여부를 평가하도록 인간에게 요청했습니다. 설명에 세 가지 관계가 포함된 가장 복잡한 예에서 참가자의 91%가 새 모델의 성능이 더 우수하다고 결론지었습니다.

"우리가 발견한 한 가지 흥미로운 점은 우리 모델의 경우 문장을 하나의 관계 설명에서 2, 3, 심지어 4개의 설명으로 늘릴 수 있다는 것입니다. 다른 방법은 실패하지만 설명은 다음과 같습니다.”라고 Du는 말합니다.

연구원들은 또한 이전에 본 적이 없는 장면의 모델 이미지와 각 이미지에 대한 여러 가지 다른 텍스트 설명을 보여주었고 이미지의 개체 관계와 가장 잘 일치하는 설명을 성공적으로 식별할 수 있었습니다.

그리고 연구자들이 시스템에 동일한 이미지를 다른 방식으로 설명하는 두 개의 관계형 장면 설명을 제공했을 때 모델은 설명이 동일하다는 것을 이해할 수 있었습니다.

연구원들은 특히 이전에 접하지 못한 설명으로 작업할 때 모델의 견고성에 깊은 인상을 받았습니다.

“인간이 일하는 방식에 더 가깝기 때문에 이것은 매우 유망합니다. 인간은 몇 가지 예만 볼 수 있지만 그 몇 가지 예에서 유용한 정보를 추출하고 결합하여 무한한 조합을 만들 수 있습니다. 그리고 우리 모델에는 더 적은 수의 데이터에서 학습하지만 더 복잡한 장면이나 이미지 생성으로 일반화할 수 있는 속성이 있습니다.”라고 Li가 말했습니다.

이러한 초기 결과는 고무적이지만 연구원들은 노이즈가 많은 배경과 서로를 차단하는 물체가 있는 더 복잡한 실제 이미지에서 그들의 모델이 어떻게 작동하는지 보고 싶어합니다.

그들은 또한 궁극적으로 자신의 모델을 로봇 공학 시스템에 통합하여 로봇이 비디오에서 개체 관계를 추론한 다음 이 지식을 적용하여 세계의 개체를 조작할 수 있도록 하는 데 관심이 있습니다.

“주변 세계의 구성적 특성을 처리할 수 있는 시각적 표현을 개발하는 것은 컴퓨터 비전의 주요 공개 문제 중 하나입니다. 이 논문은 이미지에 묘사된 객체들 사이의 다중 관계를 명시적으로 모델링하는 에너지 기반 모델을 제안함으로써 이 문제에 상당한 진전을 이루었습니다. 결과는 정말 인상적입니다.” 이 연구에 참여하지 않은 체코 공과 대학의 정보, 로봇 공학 및 사이버네틱스의 체코 연구소의 저명한 연구원인 Josef Sivic은 말합니다.

[📪정보] 객체 관계를 이해하는 인공 지능

댓글 6

다른 게시글