[📪정보] 컴퓨터 과학자들은 더 큰 신경망이 더 나은 이유를 증명합니다

컴퓨터 과학자들은 더 큰 신경망이 더 나은 이유를 증명합니다 | 퀀타 매거진 (quantamagazine.org)

컴퓨터 과학자들은 더 큰 신경망이 더 나은 이유를 증명합니다

두 연구원은 신경망이 더 잘 기억할 수 있으려면 이전에 생각했던 것보다 훨씬 더 많은 매개변수가 필요하다는 것을 보여줍니다.

우리 종족은 반대되는 엄지손가락에 많은 빚을 지고 있습니다. 그러나 진.화가 우리에게 더 많은 엄지손가락을 주었다면 상황이 많이 개선되지 않았을 것입니다. 한 손에 엄지손가락 하나만으로 충분합니다.

인간과 같은 작업을 수행하기 위한 최고의 인공 지능 시스템인 신경망은 그렇지 않습니다. 그들이 더 커짐에 따라 더 많은 것을 이해하게 되었습니다. 이것은 구경꾼들에게 놀라움을 선사했습니다. 기본적인 수학적 결과는 네트워크가 너무 커야 한다고 제안했지만 현대 신경망은 일반적으로 예상 요구 사항 이상으로 확장됩니다(과매개변수화로 알려진 상황).

선도적인 컨퍼런스인 NeurIPS에서 12월에 발표된 논문 에서 Microsoft Research의 Sébastien Bubeck 과 Stanford University의 Mark Sellke 는 확장성 성공의 비밀에 대한 새로운 설명을 제공했습니다. 그들은 신경망이 특정 기본 문제를 피하기 위해 기존에 예상했던 것보다 훨씬 커야 함을 보여줍니다. 이 발견은 수십 년 동안 지속된 질문에 대한 일반적인 통찰력을 제공합니다.

스위스 로잔 공과 대학의 Lenka Zdeborová 는 "정말 흥미로운 수학 및 이론 결과 입니다. “그들은 매우 일반적인 방식으로 그것을 증명합니다. 그런 의미에서 컴퓨터 과학의 핵심이 될 것입니다.”

신경망의 크기에 대한 표준 기대치는 데이터를 기억하는 방법에 대한 분석에서 비롯됩니다. 그러나 암기를 이해하려면 먼저 네트워크가 무엇을 하는지 이해해야 합니다.

신경망의 일반적인 작업 중 하나는 이미지에서 개체를 식별하는 것입니다. 이를 수행할 수 있는 네트워크를 만들기 위해 연구원들은 먼저 많은 이미지와 객체 레이블을 제공하고 이들 간의 상관 관계를 학습하도록 훈련합니다. 그 후 네트워크는 이미 본 이미지에서 개체를 올바르게 식별합니다. 즉, 훈련은 네트워크가 데이터를 기억하도록 합니다. 더욱 놀라운 사실은 네트워크가 훈련 데이터를 충분히 기억하면 한 번도 본 적이 없는 객체의 레이블을 다양한 정확도로 예측할 수 있다는 것입니다. 후자의 과정을 일반화라고 합니다.

기억할 수 있는 양은 네트워크의 크기에 따라 결정됩니다. 이것은 그래픽으로 이해할 수 있습니다. xy 평면 에 두 개의 데이터 포인트를 배치한다고 상상해보십시오 . 두 개의 매개변수로 설명되는 선으로 이러한 점을 연결할 수 있습니다. 선의 기울기와 수직 축을 교차할 때의 높이입니다. 다른 사람에게 선과 원래 데이터 포인트 중 하나의 x 좌표가 주어지면 선 을 보거나 매개변수를 사용하여 해당 y 좌표를 파악할 수 있습니다. 선은 두 개의 데이터 포인트를 기억했습니다.

신경망도 비슷한 일을 합니다. 예를 들어 이미지는 픽셀당 하나씩 수백 또는 수천 개의 값으로 설명됩니다. 이 많은 자유 값 집합은 고차원 공간에서 한 점의 좌표와 수학적으로 동일합니다. 좌표의 수를 차원이라고 합니다.

오래된 수학적 결과에 따르면 n개의 데이터 포인트를 곡선으로 맞추려면 n개의 매개변수 가 있는 함수가 필요합니다 . (이전 예에서 두 점은 두 개의 매개변수가 있는 곡선으로 설명되었습니다.) 신경망이 1980년대에 힘으로 처음 등장했을 때 같은 것을 생각하는 것이 합리적이었습니다. 데이터 차원에 관계없이 n개의 데이터 포인트 에 맞추기 위해 n개의 매개변수 만 필요 합니다.

오스틴에 있는 텍사스 대학의 Alex Dimakis 는 "이것은 더 이상 일어나지 않는 일입니다."라고 말했습니다 . “지금 우리는 훈련 샘플의 수보다 더 많은 매개변수를 가진 신경망을 일상적으로 만들고 있습니다. 이것은 책을 다시 써야 한다는 것을 의미합니다.”

Bubeck과 Sellke는 아무 것도 다시 쓰기 시작하지 않았습니다. 그들은 신경망에 종종 결여 되어 있는 다른 속성 인 견고성(robustness)을 연구하고 있었습니다. 이는 작은 변화를 처리하는 네트워크의 능력입니다. 예를 들어, 견고하지 않은 네트워크는 기린을 인식하는 방법을 배웠을 수 있지만 거의 수정되지 않은 버전을 gerbil로 잘못 분류할 수 있습니다. 2019년, Bubeck과 동료들은 문제가 네트워크의 크기와 연결되어 있다는 것을 깨달았을 때 문제에 대한 정리를 증명하려고 했습니다.

"우리는 적대적인 예를 연구하고 있었고 규모가 우리에게 부과되었습니다."라고 Bubeck이 말했습니다. "규모 자체를 이해해야 하는 필요성이 있었기 때문에 이것이 놀라운 기회라는 것을 깨달았습니다."

그들의 새로운 증명에서, 쌍은 네트워크가 견고하기 위해 과매개변수화가 필요함을 보여줍니다. 그들은 견고성과 동등한 수학적 속성인 부드러움을 가진 곡선으로 데이터 포인트를 맞추는 데 필요한 매개변수의 수를 파악하여 이를 수행합니다.

이를 보기 위해 x 좌표가 단일 픽셀의 색상을 나타내고 y 좌표가 이미지 레이블을 나타내는 평면의 곡선을 다시 상상해 보십시오. 곡선이 부드럽기 때문에 픽셀의 색상을 약간 수정하고 곡선을 따라 짧은 거리를 이동하면 해당 예측이 약간만 변경됩니다. 반면에 매우 들쭉날쭉한 곡선의 경우 x 좌표(색상)의 작은 변화가 y 좌표(이미지 레이블) 의 극적인 변화로 이어질 수 있습니다 . 기린은 저빌이 될 수 있습니다.

Bubeck과 Sellke는 고차원 데이터 포인트를 매끄럽게 맞추려면 n 매개변수뿐만 아니라 n × d 매개변수가 필요하다는 것을 보여주었습니다. 여기서 d 는 입력의 차원입니다(예: 784픽셀 이미지의 경우 784). 다시 말해, 네트워크가 훈련 데이터를 강력하게 기억하기를 원한다면 과매개변수화가 도움이 될 뿐만 아니라 필수입니다. 증명은 고차원 기하학에 대한 흥미로운 사실에 의존합니다. 즉, 구의 표면에 배치된 무작위로 분포된 점이 서로 거의 모두 전체 직경으로 떨어져 있다는 것입니다. 점 사이의 큰 분리는 하나의 부드러운 곡선으로 모든 점을 맞추는 데 많은 추가 매개변수가 필요함을 의미합니다.

예일 대학의 아민 카바시( Amin Karbasi ) 는 "증명은 매우 기초적인 것입니다. 무거운 수학이 필요하지 않으며 매우 일반적인 것을 말해줍니다."라고 말했습니다 .

결과는 신경망을 확장하는 간단한 전략이 왜 그렇게 효과적인지 이해하는 새로운 방법을 제공합니다.

다른 연구에서는 과매개변수화가 도움이 되는 추가 이유를 밝혔습니다. 예를 들어, 훈련 과정의 효율성과 네트워크의 일반화 능력을 향상시킬 수 있습니다. 이제 우리는 견고성을 위해 과매개변수화가 필요하다는 것을 알고 있지만, 다른 것들에 대해 견고성이 얼마나 필요한지는 불분명합니다. 그러나 이를 과매개변수화에 연결함으로써 새로운 증거는 견고성이 생각했던 것보다 더 중요할 수 있음을 암시합니다. 이는 많은 이점을 제공하는 단일 키입니다.

"강건성은 일반화의 전제 조건처럼 보입니다."라고 Bubeck이 말했습니다. “만약 당신이 그것을 약간 혼란스럽게 하고 엉망이 되는 시스템이 있다면 그것은 어떤 종류의 시스템입니까? 합리적이지 않습니다. 저는 그것이 매우 기초적이고 기본적인 요구 사항이라고 생각합니다.”

[📪정보] 컴퓨터 과학자들은 더 큰 신경망이 더 나은 이유를 증명합니다

댓글 4

다른 게시글