[📪정보] 딥마인드 추론 ai 달성!

주 형사는 재떨이에 버린 담배와 옷깃에 머리카락을 조사한 다음 살인 사건을 해결했다고 선언 할 수 있습니다. 이러한 놀라운 결론은 겉보기에 이질적이거나 거리가 먼 항목과 사건 사이의 연결을 기반으로 예측을 형성 할 수있는 미묘하고 독특한 인간 기술인 추론 적 추론을 통해 달성됩니다. 추론은 오늘날의 신경망 연구자들에게 인기있는 주제이지만, 심지어 SOTA 모델조차도 여전히 우수한 성능을 달성하기 위해 노력하고 있습니다.

이제 DeepMind와 UCL (University College London)은 텍스트 이해 및 추론을 테스트하기 위해 Facebook의 bAbI 데이터 세트에서 SOTA 결과와 일치하는 MEMO라는 새로운 딥 네트워크를 도입했으며, 오랜 시퀀스의 새로운 추론 작업을 해결할 수있는 최초이자 유일한 아키텍처입니다.

bAbI 트레이닝 세트와 테스트 세트의 유사성이 높기 때문에 신경망은 과적 합을 통해 신뢰할 수없는 결과를 생성 할 수 있습니다. 따라서 연구원들은 PAI (Paired Associative Inference)라는 새로운 작업을 소개했는데, 이는 신경 과학 문헌을 기반으로하며 장거리 추론을 테스트하도록 설계되었습니다.

PAI는 전체적으로 절차 상 생성되므로 신경망은 개별 항목 간의 간접 관계를 학습해야합니다. PAI는 이미지 쌍을 표시하고 모델은 개별적으로 공통 이미지와 쌍을 이루는 두 개의 이미지를 연결하려고 시도합니다.

대응 연관 추론

고정 메모리 표현을 사용하는 ETM (End-to-End Memory Networks)과 같은 다른 메모리 확장 아키텍처와 달리 MEMO는 메모리 클립에 대한 강력한 반복주의 메커니즘과 쌍을 이루는 선형 투영법을 자세히 설명합니다. EMN과 동일한 기본 구조를 기반으로 MEMO는 추론 적 추론을 지원하기 위해 새로운 아키텍처 구성 요소로 설계되었습니다.

REMERGE 모델 (재귀 및 에피소드 메모리가 일반화 됨)에서 검색된 메모리는 네트워크가 기존 메모리와 일치하는 것을 찾기 위해 재순환 프로세스를 시작하는 새 쿼리로 간주됩니다. 네트워크는 재순환 프로세스에서 서로 다른 시간 단계에서 검색된 콘텐츠 간의 차이를 고정 포인트로 정산합니다.

REMERGE 및 ACT (Adaptive Computing Time)에서 영감을 얻은 연구원들은 연결 네트워크를위한 연관 강화 학습 알고리즘 클래스 인 REINFORCE를 사용하여 MEMO를 교육하여 최적의 계산 단계 수를 식별하고 성능 저하없이 필요한 계산을 최소화했습니다.

실험에서 연구원들은 PAI 추론 쿼리 세트에서 SOTA 아키텍처 EMN, 차동 신경 컴퓨터 (DNC) 및 범용 변압기 (UT)에 대해 MEMO를 테스트했습니다. MEMO는 모든 세트에서 전체적으로 더 높은 점수를 보였으며 특히 AE가 가장 먼 길이에서 다른 아키텍처의 점수를 거의 두 배로 높였습니다.

또한 연구원들은 bAbI 데이터 셋에 대한 MEMO 성능을 테스트했으며, 여기에서 더 낮은 오류율을 기록하면서 UT 아키텍처의 SOTA 결과와 일치했습니다.

논문 메모 : 에피소드 메모리의 유연한 조합을위한 딥 네트워크는 ICLR 2020에 의해 승인되었으며 arXiv에서 사용할 수 있습니다 .

https://syncedreview.com/2020/01/31/deepmind-ucl-introduce-new-model-and-test-set-for-inference/

[📪정보] 딥마인드 추론 ai 달성!

댓글 3

다른 게시글