[📪정보] 뇌를 모방한 AI 알고리즘을 찾아서, Hopfield 네트워크

[익명(182.230)]

https://research.ibm.com/blog/dmitri-krotov-hopfield-networks-ai

AI가 너무 빠르게 발전하고 있어서 현대 AI의 기반이 되는 심층 신경망이 아직도 얼마나 신비로운지 잊기 쉽습니다. Dima Krotov는 딥러닝이 막 떠오르던 시기에 이론 물리학 박사과정을 마무리하고 있었습니다. 딥러닝의 잠재력에 매료된 그는 양자장론을 접고 신경망과 그 놀라운 계산 능력을 이해하는 데 초점을 맞추었습니다.

그는 아인슈타인과 오펜하이머의 학문적 고향인 프린스턴 고등연구소(IAS)에서 딥러닝 선구자인 John Hopfield와 함께 박사후 연구원으로 일했습니다. Hopfield는 1980년대 벨 연구소의 물리학자로, 뇌의 연상 기억에서 영감을 받은 새로운 유형의 신경망인 Hopfield 네트워크를 설명했습니다. 그들은 함께 이 연구를 확장했고, Krotov는 2018년 IBM 연구소에 도착하면서 이를 계속했습니다.

수십 년 동안 변방의 아이디어였던 Hopfield 네트워크는 현재 주목받고 있습니다. 최근 NeurIPS 2023에서는 AI 분야의 거물들이 참석한 가운데 하루 종일 워크숍의 주제가 되기도 했습니다. 트랜스포머를 기반으로 한 파운데이션 모델이 여전히 대세지만, 그 한계 역시 분명해졌습니다. 짧은 주의 지속 시간, 환각을 볼 수 있으며, 의사결정 과정이 불투명합니다. 또한 훈련과 실행에 많은 연산이 필요합니다. Krotov와 다른 이들은 Hopfield 네트워크가 이러한 문제들 중 적어도 일부를 해결할 수 있는 잠재력을 가지고 있다고 봅니다.

심층 신경망에는 두 가지 종류가 있습니다. 트랜스포머를 포함하는 피드포워드(Feedforward) 네트워크는 한 방향으로 정보를 처리합니다. 반복 신경망(RNN)은 뇌의 실제 뉴런처럼 매 단계마다 원하는 답에 더 가까워지면서 정보를 반복적으로 처리합니다. Hopfield 네트워크는 대량의 정보를 저장할 수 있는 잠재력을 가진 간단한 유형의 RNN입니다. 또한 검색 과정에 대한 통찰력을 제공하여 피드포워드 네트워크보다 잠재적으로 더 해석 가능합니다.

실제 뉴런과의 유사성은 AI를 개선하려는 Krotov의 탐구에 영감을 주었습니다. 하지만 그것은 또한 우리에게 뇌에 대한 새로운 것을 보여줄 수도 있습니다. 우리는 케임브리지에서 Krotov를 만나 Hopfield 네트워크와 그것이 AI의 미래와 지능 자체에 대해 우리에게 말해줄 수 있는 것에 대해 이야기를 나누었습니다.

Hopfield 네트워크가 특별한 이유는 무엇인가요?

그것들은 피드백 루프가 내장된 가장 단순한 수학적 모델입니다. 대조적으로 AI 모델의 90%는 정보를 한 방향으로만 처리하는 피드포워드 네트워크입니다. 대규모 언어 모델(LLM)에 질문을 입력하면, 생성되는 각 단어는 프롬프트 및 이전에 생성된 단어와 비교되어야 합니다. 이 텍스트 범위를 컨텍스트 윈도우라고 합니다. 컨텍스트 윈도우가 길어질수록 계산 복잡성이 급격히 증가합니다. 다음 단어가 예측되면 이 과정을 다시 시작해야 합니다. 이는 트랜스포머 기반 모델의 훈련 및 실행이 느리고 계산량이 많은 이유를 설명합니다.

대조적으로 뇌는 반복적인 피드백 루프를 사용하여 과거 정보를 요약하고 기억에 저장합니다. 뇌에서는 엄격하게 피드포워드인 경로가 거의 없습니다. 우리의 눈은 이미지를 훑어보고 조각조각 처리합니다. 최초의 연상 깜박임 이후에 완전한 기억이 점차 밝혀집니다. Hopfield 네트워크가 비슷한 방식으로 작동하기 때문에, 우리는 그것이 오늘날의 피드포워드 네트워크에 대한 유망한 대안이 될 수 있다고 생각합니다.

그것들의 한계는 무엇인가요?

1980년대의 Hopfield 네트워크는 제한된 메모리 저장 용량을 가지고 있었습니다. 그것들이 저장하고 검색할 수 있는 메모리 수는 입력 뉴런 수에 선형적으로 비례하므로, 현대 AI 응용 프로그램에는 실용적이지 않았습니다. 하지만 John과 저는 2016년에 뉴런 간의 상호 작용을 더 많이 도입함으로써 그들의 메모리를 확장할 수 있다는 것을 깨달았습니다. 우리는 이 향상된 네트워크를 "조밀한 연상 메모리(Dense Associative Memory)"라고 불렀는데, 그것은 같은 공간에 더 많은 메모리를 압축하기 때문입니다. 전통적인 Hopfield 네트워크는 두 개의 뉴런 상호 작용으로 제한되었지만, 현대적 형태에서는 세 개 이상의 뉴런이 하나의 지점에서 상호 작용할 수 있습니다. 상호 작용이 많을수록 메모리 저장 용량이 커집니다.

1년 후, Mete Demircigil과 동료들은 이러한 상호 작용을 조정하여 메모리를 기하급수적으로 증가시킬 수 있다는 것을 보여주었습니다. 메모리가 상태 공간 내부에 밀집되어 있더라도 연상 속성은 유지됩니다. 저하된 메모리가 주어지면 조밀한 연상 메모리는 오류를 수정할 수 있습니다. 그것은 이진 변수와 연속 변수 모두에서 작동하므로 현대 AI 응용 프로그램에 적합합니다.

최근 Hopfield 네트워크에 대해 무엇을 알게 되었나요?

Hopfield 네트워크는 코로나 발생 전까지 주목받지 못했습니다. 그 후, LSTM 모델의 공동 발명자인 Sepp Hochreiter가 이끄는 그룹은 트랜스포머의 어텐션 작업이 많은 뉴런 상호 작용을 신중하게 선택하여 조밀한 연상 메모리에서 파생될 수 있음을 보여주었습니다. 이전에는 사람들이 어텐션이 데이터의 장거리 상관 관계를 추적하는 전역 컨볼루션 연산이라고 생각했습니다. Hochreiter는 어텐션이 실제로는 메모리 시스템이라고 주장했습니다. LLM에 질의를 입력할 때 텍스트는 효과적으로 단기 메모리(조밀한 연상 메모리)에 로드됩니다. 어텐션 연산은 데이터를 검색하고 트랜스포머는 그 데이터에 대해 작동합니다.

그러나 조밀한 연상 메모리에는 중요한 차이점이 있습니다. 트랜스포머와 달리 런타임에 메모리 벡터가 일정하게 유지됩니다. 트랜스포머에는 또한 어텐션 외에도 피드포워드 다층 퍼셉트론, 계층 정규화, 스킵 연결 등의 작업이 포함됩니다. 우리는 2023년 NeurIPS 논문인 Energy Transformer에서 이러한 작업을 단일 아키텍처에 통합하여 전체 트랜스포머 블록을 연상 메모리로 설명했습니다.

뇌에 조밀한 연상 메모리가 존재하나요?

그럴 수도 있습니다. 우리는 확신할 수 없습니다. 조밀한 연상 메모리는 인공 신경망과 생물학적 신경망 모두를 모델링하는 데 사용할 수 있는 계산의 수학적 이론입니다. 수학적으로 구축하려면 세 개 이상의 뉴런이 가상의 시냅스에서 연결되어야 합니다. 그러나 대부분의 신경과학자들은 실제 뉴런이 쌍으로만 연결된다고 믿습니다. 시냅스 틈새를 통해 연결된 시냅스 전 뉴런과 시냅스 후 뉴런이 있으며, 여기서 화학적 신호 또는 신경전달물질이 교환됩니다.

생물학적 뉴런에서 조밀한 연상 메모리를 구축하는 데에는 두 가지 이론이 있습니다. 하나는 뇌에 이러한 다중 뉴런 상호 작용을 설명하기 위한 숨겨진 뉴런이 있다는 것입니다. 다른 하나는 뇌의 별아교세포가 한 번에 여러 개의 뉴런을 연결하여 효과적으로 다중 뉴런 시냅스를 만든다는 것입니다. 별아교세포는 모든 뇌세포의 상당 부분을 차지합니다. 그것들은 우리의 조밀한 연상 메모리 수학 모델이 뇌에서 어떻게 구현될 수 있는지를 잠재적으로 설명할 수 있습니다.

우리는 또한 조밀한 연상 메모리가 수학적으로 트랜스포머로 환원될 수 있다는 것을 알고 있습니다. 트랜스포머에 의해 수행되는 계산이 뉴런과 별아교세포를 사용하여 구현될 수 있을까요? 우리는 작년 PNAS 논문에서 그렇게 할 수 있음을 시사하는 수학적 모델을 만들었습니다. 이러한 아이디어는 여전히 단순한 모델일 뿐이지만, 우리는 이것이 신경과학자들이 살아있는 세포에서 이를 테스트하도록 영감을 줄 수 있기를 희망합니다.

AI가 어디로 향하고 있다고 보시나요?

메모리는 인간의 인지에 필수적이지만 현대 AI에서는 최소한의 역할만 합니다. 연구자들은 현재 트랜스포머에 추가 메모리를 보강하려고 시도하고 있습니다. 내년에는 이 분야에서 많은 독창적인 아이디어가 나올 것으로 기대합니다.

에너지 기반 모델은 신경망이 원하는 답을 생성하도록 강요하는 대신 에너지 경관을 조정하여 계산을 설계할 수 있기 때문에 매력적입니다. 그것들은 여전히 변방의 아이디어이지만 흥미로운 잠재력을 가지고 있습니다.

마지막으로, 뇌는 많은 형태의 특수한 계산을 진화시켜 왔습니다. 예를 들어 과실파리는 강한 후각을 가지고 있습니다. 우리는 그들의 뇌에서 이를 가능하게 만드는 네트워크를 모델링하고 이를 자연어 처리에 적용했습니다. 2021년 ICLR 논문에서 우리는 과실파리 후각 시스템의 수학적 모델이 어떻게 효율적으로 원시 텍스트에서 단어 임베딩을 "학습"할 수 있는지 보여주었습니다. 물론 과실파리는 언어를 구사하지 않지만, 그들의 뇌가 냄새를 "계산"하는 방식은 다른 작업에 적용할 수 있는 더 나은 AI 모델을 설계하는 데 도움이 될 수 있습니다. 자연은 향후 새로운 AI 아키텍처의 모델이 될 수 있는 특수한 지능의 사례로 가득 차 있습니다.

[익명(211.212)]

[익명(223.38)]

차라리 이쪽이 신빙성있노

[익명(175.206)]

신빙성 있는 이론들은 많지. 납득 가능한 이론들도 많고. 다만 결과물을 명확하게 낸 게 트랜스포머.

[익명(180.65)]

지옥에 있는 홉필드 나와라!!!!

[나진(doom3750)]

홉필드 살아있다 - dc App

[부패하는유전자!!!(sansss2015)]

[ㅇㅋ(ijh2005)]

연구자분들에게 죄송하지만 저런 기초레벨에서의 시도들이 진짜 산더미수준으로 많아서 거대모델에 검증완료된 모델아니면 제대로 읽어보기도 귀찮다

[하늘섬(spelling8070)]

왜 미개한 인간의 뇌를 모방하는거지?

[익명(223.62)]

미개한 너의 뇌조차 현재의 컴퓨터보단 효율적이니까

[익명(14.53)]

미개한 인간의 뇌는 애너지 효율성, 공간효율성에 있어서 현대의 컴퓨터에 비해 넘사벽 ㅋㅋㅋㅋ

[익명(defense1888)]

그래서 저게 왜 특별한데?반복적인 피드백 루트 그거 다른 모델들은 안 씀?