[📪정보] Sapienza대학 & OpenAI, 설명 학습 제안

https://syncedreview.com/2022/01/31/deepmind-podracer-tpu-based-rl-frameworks-deliver-exceptional-performance-at-low-cost-196/

Sapienza 대학 & OpenAI, 기계가 설명을 이해하고 생성할 수 있도록 설명 학습 제안

Sapienza 대학과 OpenAI의 연구팀은 기계가 기호 시퀀스에서 기존 설명을 이해하고 설명되지 않는 현상에 대한 새로운 설명을 생성할 수 있도록 하는 설명 학습 절차를 도입하고 추가로 새로운 현상에 대한 설명을 발견하기 위한 CRN(Critical Rationalist Network) 모델을 제안합니다.

------------------

인간 언어의 설명력은 잠재적으로 고통스러운 다수의 발견 과정을 거치지 않고도 다수의 현상을 정확하게 예측할 수 있게 해주기 때문에 인간의 진.화에 필수적이었습니다. 비슷한 능력을 가진 기계를 부여할 수 있습니까?

새로운 논문 Explanatory Learning: Beyond Empiricism in Neural Networks 에서 로마 사피엔자 대학과 OpenAI의 연구팀은 기계가 기호 시퀀스의 기존 설명을 이해하고 설명할 수 없는 현상에 대한 새로운 설명을 생성할 수 있도록 하는 설명 학습 절차를 소개합니다. 연구자들은 또한 새로운 현상에서 그러한 설명을 발견하기 위해 합리주의 기반 접근 방식을 사용하는 CRN(Critical Rationalist Network) 딥 러닝 모델을 제안합니다.

연구원들은 주요 기여를 다음과 같이 요약합니다.

1. 우리는 언어를 마스터하는 기계를 만드는 도전을 형식의 예제 모음에서 통역사를 배우는 문제로 공식화합니다(설명, 관찰). 우리가 가정하는 유일한 가정은 데이터의 이 이중 구조입니다. 설명은 자유 문자열이며 형식 문법에 맞지 않아도 됩니다.

2. 보드 게임 Zendo(Heath, 2001)에서 영감을 얻은 EL 접근 방식을 테스트하기 위한 기본 환경인 Odeen을 소개합니다. Odeen은 단순한 기하학적 인물의 작은 우주에서 과학자의 작업을 시뮬레이션합니다.

3. 우리는 지배적인 경험주의적 ML 접근 방식이 EL 문제에 적합하지 않다고 주장합니다. Popper(1935)가 추진한 인식론적 철학에 따라 설계된 일련의 모델인 CRN(Critical Rationalist Networks)을 제안합니다. CRN은 두 개의 신경망을 사용하여 구현되지만 이러한 모델의 작업 가설은 조정 가능한 네트워크 매개변수와 일치하지 않고 toto에서만 허용되거나 거부될 수 있는 언어 제안과 일치합니다.

제안된 설명 학습(EL) 프레임워크는 기계 학습 문제의 새로운 클래스로 취급됩니다. 팀은 주어진 현상에 대해 새로운 예측을 하는 일반적인 문제를 이진 분류 작업으로 재구성합니다. 즉, 가능한 모든 관찰의 샘플이 해당 현상에 속하는지 여부를 예측합니다.

팀은 퍼즐 게임 환경이자 EL 패러다임을 실험하기 위한 벤치마크인 Odeen을 소개합니다. 각 Odeen "게임"은 각 요소가 일련의 기하학적 도형인 우주에서 다른 현상으로 간주될 수 있습니다. 플레이어는 다른 현상에 대한 설명 및 관찰과 함께 몇 가지 관찰에서 주어진 새로운 현상에 대한 정확한 예측을 시도합니다.

그런 다음 연구원들은 두 개의 신경망을 사용하여 구현되고 EL 문제를 해결하기 위한 지식 획득에 대한 합리주의적 관점을 취하는 CRN(Critical Rationalist Networks) 딥 러닝 모델을 제안합니다. 팀은 CRN 예측이 출력에서 사용할 수 있는 인간이 이해할 수 있는 설명에 의해 직접 발생하므로 구성으로 설명할 수 있다는 점에 주목합니다. CRN은 또한 더 어려운 추론을 위해 테스트 시간에 처리를 조정할 수 있으며 예측에 대한 강력한 확신을 제공할 수 있습니다.

평가에서 팀은 CRN을 Odeen 과제에 대한 급진적(EMP-R) 및 의식적(EMP-C) 경험주의 모델과 비교했습니다. 결과는 CRN이 1132개의 새로운 현상 중 880개에 대한 올바른 설명을 발견하여 다른 모델보다 지속적으로 우수함을 보여줍니다. 경험주의 모델의 최고 22.5%와 비교하여 NRS(최근접 규칙 점수) 77.7%입니다.

https://arxiv.org/abs/2201.10222

[📪정보] Sapienza대학 & OpenAI, 설명 학습 제안

댓글 5

다른 게시글