뇌를 모방한 AI 알고리즘을 찾아서, Hopfield 네트워크

ㅇㅇ · 2024.04.02 14:10:41

https://research.ibm.com/blog/dmitri-krotov-hopfield-networks-ai

09b0d932f7cb078d7cb0c2ba00ee07327409f4a7e3812dd30b482f5c7b114068524949eb719dabe49ace364424d05982ef459fe5bbcb05e1

AI가 너무 빠르게 발전하고 있어서 현대 AI의 기반이 되는 심층 신경망이 아직도 얼마나 신비로운지 잊기 쉽습니다. Dima Krotov는 딥러닝이 막 떠오르던 시기에 이론 물리학 박사과정을 마무리하고 있었습니다. 딥러닝의 잠재력에 매료된 그는 양자장론을 접고 신경망과 그 놀라운 계산 능력을 이해하는 데 초점을 맞추었습니다.

그는 아인슈타인과 오펜하이머의 학문적 고향인 프린스턴 고등연구소(IAS)에서 딥러닝 선구자인 John Hopfield와 함께 박사후 연구원으로 일했습니다. Hopfield는 1980년대 벨 연구소의 물리학자로, 뇌의 연상 기억에서 영감을 받은 새로운 유형의 신경망인 Hopfield 네트워크를 설명했습니다. 그들은 함께 이 연구를 확장했고, Krotov는 2018년 IBM 연구소에 도착하면서 이를 계속했습니다.

수십 년 동안 변방의 아이디어였던 Hopfield 네트워크는 현재 주목받고 있습니다. 최근 NeurIPS 2023에서는 AI 분야의 거물들이 참석한 가운데 하루 종일 워크숍의 주제가 되기도 했습니다. 트랜스포머를 기반으로 한 파운데이션 모델이 여전히 대세지만, 그 한계 역시 분명해졌습니다. 짧은 주의 지속 시간, 환각을 볼 수 있으며, 의사결정 과정이 불투명합니다. 또한 훈련과 실행에 많은 연산이 필요합니다. Krotov와 다른 이들은 Hopfield 네트워크가 이러한 문제들 중 적어도 일부를 해결할 수 있는 잠재력을 가지고 있다고 봅니다.

심층 신경망에는 두 가지 종류가 있습니다. 트랜스포머를 포함하는 피드포워드(Feedforward) 네트워크는 한 방향으로 정보를 처리합니다. 반복 신경망(RNN)은 뇌의 실제 뉴런처럼 매 단계마다 원하는 답에 더 가까워지면서 정보를 반복적으로 처리합니다. Hopfield 네트워크는 대량의 정보를 저장할 수 있는 잠재력을 가진 간단한 유형의 RNN입니다. 또한 검색 과정에 대한 통찰력을 제공하여 피드포워드 네트워크보다 잠재적으로 더 해석 가능합니다.

실제 뉴런과의 유사성은 AI를 개선하려는 Krotov의 탐구에 영감을 주었습니다. 하지만 그것은 또한 우리에게 뇌에 대한 새로운 것을 보여줄 수도 있습니다. 우리는 케임브리지에서 Krotov를 만나 Hopfield 네트워크와 그것이 AI의 미래와 지능 자체에 대해 우리에게 말해줄 수 있는 것에 대해 이야기를 나누었습니다.

Hopfield 네트워크가 특별한 이유는 무엇인가요?

그것들은 피드백 루프가 내장된 가장 단순한 수학적 모델입니다. 대조적으로 AI 모델의 90%는 정보를 한 방향으로만 처리하는 피드포워드 네트워크입니다. 대규모 언어 모델(LLM)에 질문을 입력하면, 생성되는 각 단어는 프롬프트 및 이전에 생성된 단어와 비교되어야 합니다. 이 텍스트 범위를 컨텍스트 윈도우라고 합니다. 컨텍스트 윈도우가 길어질수록 계산 복잡성이 급격히 증가합니다. 다음 단어가 예측되면 이 과정을 다시 시작해야 합니다. 이는 트랜스포머 기반 모델의 훈련 및 실행이 느리고 계산량이 많은 이유를 설명합니다.

대조적으로 뇌는 반복적인 피드백 루프를 사용하여 과거 정보를 요약하고 기억에 저장합니다. 뇌에서는 엄격하게 피드포워드인 경로가 거의 없습니다. 우리의 눈은 이미지를 훑어보고 조각조각 처리합니다. 최초의 연상 깜박임 이후에 완전한 기억이 점차 밝혀집니다. Hopfield 네트워크가 비슷한 방식으로 작동하기 때문에, 우리는 그것이 오늘날의 피드포워드 네트워크에 대한 유망한 대안이 될 수 있다고 생각합니다.

그것들의 한계는 무엇인가요?

1980년대의 Hopfield 네트워크는 제한된 메모리 저장 용량을 가지고 있었습니다. 그것들이 저장하고 검색할 수 있는 메모리 수는 입력 뉴런 수에 선형적으로 비례하므로, 현대 AI 응용 프로그램에는 실용적이지 않았습니다. 하지만 John과 저는 2016년에 뉴런 간의 상호 작용을 더 많이 도입함으로써 그들의 메모리를 확장할 수 있다는 것을 깨달았습니다. 우리는 이 향상된 네트워크를 "조밀한 연상 메모리(Dense Associative Memory)"라고 불렀는데, 그것은 같은 공간에 더 많은 메모리를 압축하기 때문입니다. 전통적인 Hopfield 네트워크는 두 개의 뉴런 상호 작용으로 제한되었지만, 현대적 형태에서는 세 개 이상의 뉴런이 하나의 지점에서 상호 작용할 수 있습니다. 상호 작용이 많을수록 메모리 저장 용량이 커집니다.

1년 후, Mete Demircigil과 동료들은 이러한 상호 작용을 조정하여 메모리를 기하급수적으로 증가시킬 수 있다는 것을 보여주었습니다. 메모리가 상태 공간 내부에 밀집되어 있더라도 연상 속성은 유지됩니다. 저하된 메모리가 주어지면 조밀한 연상 메모리는 오류를 수정할 수 있습니다. 그것은 이진 변수와 연속 변수 모두에서 작동하므로 현대 AI 응용 프로그램에 적합합니다.

최근 Hopfield 네트워크에 대해 무엇을 알게 되었나요?

Hopfield 네트워크는 코로나 발생 전까지 주목받지 못했습니다. 그 후, LSTM 모델의 공동 발명자인 Sepp Hochreiter가 이끄는 그룹은 트랜스포머의 어텐션 작업이 많은 뉴런 상호 작용을 신중하게 선택하여 조밀한 연상 메모리에서 파생될 수 있음을 보여주었습니다. 이전에는 사람들이 어텐션이 데이터의 장거리 상관 관계를 추적하는 전역 컨볼루션 연산이라고 생각했습니다. Hochreiter는 어텐션이 실제로는 메모리 시스템이라고 주장했습니다. LLM에 질의를 입력할 때 텍스트는 효과적으로 단기 메모리(조밀한 연상 메모리)에 로드됩니다. 어텐션 연산은 데이터를 검색하고 트랜스포머는 그 데이터에 대해 작동합니다.

그러나 조밀한 연상 메모리에는 중요한 차이점이 있습니다. 트랜스포머와 달리 런타임에 메모리 벡터가 일정하게 유지됩니다. 트랜스포머에는 또한 어텐션 외에도 피드포워드 다층 퍼셉트론, 계층 정규화, 스킵 연결 등의 작업이 포함됩니다. 우리는 2023년 NeurIPS 논문인 Energy Transformer에서 이러한 작업을 단일 아키텍처에 통합하여 전체 트랜스포머 블록을 연상 메모리로 설명했습니다.

뇌에 조밀한 연상 메모리가 존재하나요?

그럴 수도 있습니다. 우리는 확신할 수 없습니다. 조밀한 연상 메모리는 인공 신경망과 생물학적 신경망 모두를 모델링하는 데 사용할 수 있는 계산의 수학적 이론입니다. 수학적으로 구축하려면 세 개 이상의 뉴런이 가상의 시냅스에서 연결되어야 합니다. 그러나 대부분의 신경과학자들은 실제 뉴런이 쌍으로만 연결된다고 믿습니다. 시냅스 틈새를 통해 연결된 시냅스 전 뉴런과 시냅스 후 뉴런이 있으며, 여기서 화학적 신호 또는 신경전달물질이 교환됩니다.

생물학적 뉴런에서 조밀한 연상 메모리를 구축하는 데에는 두 가지 이론이 있습니다. 하나는 뇌에 이러한 다중 뉴런 상호 작용을 설명하기 위한 숨겨진 뉴런이 있다는 것입니다. 다른 하나는 뇌의 별아교세포가 한 번에 여러 개의 뉴런을 연결하여 효과적으로 다중 뉴런 시냅스를 만든다는 것입니다. 별아교세포는 모든 뇌세포의 상당 부분을 차지합니다. 그것들은 우리의 조밀한 연상 메모리 수학 모델이 뇌에서 어떻게 구현될 수 있는지를 잠재적으로 설명할 수 있습니다.

우리는 또한 조밀한 연상 메모리가 수학적으로 트랜스포머로 환원될 수 있다는 것을 알고 있습니다. 트랜스포머에 의해 수행되는 계산이 뉴런과 별아교세포를 사용하여 구현될 수 있을까요? 우리는 작년 PNAS 논문에서 그렇게 할 수 있음을 시사하는 수학적 모델을 만들었습니다. 이러한 아이디어는 여전히 단순한 모델일 뿐이지만, 우리는 이것이 신경과학자들이 살아있는 세포에서 이를 테스트하도록 영감을 줄 수 있기를 희망합니다.

AI가 어디로 향하고 있다고 보시나요?

메모리는 인간의 인지에 필수적이지만 현대 AI에서는 최소한의 역할만 합니다. 연구자들은 현재 트랜스포머에 추가 메모리를 보강하려고 시도하고 있습니다. 내년에는 이 분야에서 많은 독창적인 아이디어가 나올 것으로 기대합니다.

에너지 기반 모델은 신경망이 원하는 답을 생성하도록 강요하는 대신 에너지 경관을 조정하여 계산을 설계할 수 있기 때문에 매력적입니다. 그것들은 여전히 변방의 아이디어이지만 흥미로운 잠재력을 가지고 있습니다.

마지막으로, 뇌는 많은 형태의 특수한 계산을 진화시켜 왔습니다. 예를 들어 과실파리는 강한 후각을 가지고 있습니다. 우리는 그들의 뇌에서 이를 가능하게 만드는 네트워크를 모델링하고 이를 자연어 처리에 적용했습니다. 2021년 ICLR 논문에서 우리는 과실파리 후각 시스템의 수학적 모델이 어떻게 효율적으로 원시 텍스트에서 단어 임베딩을 "학습"할 수 있는지 보여주었습니다. 물론 과실파리는 언어를 구사하지 않지만, 그들의 뇌가 냄새를 "계산"하는 방식은 다른 작업에 적용할 수 있는 더 나은 AI 모델을 설계하는 데 도움이 될 수 있습니다. 자연은 향후 새로운 AI 아키텍처의 모델이 될 수 있는 특수한 지능의 사례로 가득 차 있습니다.

번호	말머리	제목	글쓴이	작성일	조회	추천
2863	설문	시세차익 부러워 부동산 보는 눈 배우고 싶은 스타는?	운영자	24/05/27	-	-
455563	정보/ 정보/뉴스	빌게이츠가 말하는 AI 시대에 살아남을 직업 3가지 [20]	ㅇㅇ(119.207)	04.13	3968	36
455533	정보/ 정보/뉴스	뇌 없이 운동 학습하고 기억하는 메커니즘 찾았다 [4]	ㅇㅇ(182.230)	04.13	1387	15
455520	일반	얀르쿤은 빌라에 사는 성난 아줌마다. [25]	ㅇㅇ	04.13	2079	46
455500	일반	난 왜 얀르쿤 말이 맞아보이지 [21]	ㅇㅇ(39.7)	04.13	2711	45
455452	일반	오늘도 연전연승	ㅇㅇ(58.127)	04.13	1242	27
455447	정보/ 정보/뉴스	삼성, 갤럭시 S22·21에도 AI 일부 적용 [2]	ㅇㅇ(182.230)	04.13	2389	24
455442	정보/ 정보/뉴스	오픈AI, 기업 시장 확장 위해 MS와 경쟁 불사 [2]	ㅇㅇ(182.230)	04.13	1307	20
455441	정보/ 정보/뉴스	오픈AI, 유출 혐의로 연구원 2명 해고..."효과적인 이타주의 연관" [8]	ㅇㅇ(182.230)	04.13	1408	18
455438	정보/ 정보/뉴스	메타가 공개한 AGI로 가는 방법, 'V-제파'란 [13]	ㅇㅇ(182.230)	04.13	2042	30
455436	정보/ 정보/뉴스	메타, AI의 ‘현실 이해' 돕는 오픈 소스 데이터셋 출시 [2]	ㅇㅇ(182.230)	04.13	803	13
455435	정보/ 정보/뉴스	그록 1.5v 발표 [14]	특술람	04.13	1554	28
455434	정보/ 정보/뉴스	"로봇이 일자리를 빼앗는다는 것은 '신화'에 불과" [7]	ㅇㅇ(182.230)	04.13	1844	17
455433	정보/ 정보/뉴스	아마존 "생성 AI는 인터넷 이후 최고 기술"...앤드류 응 이사회 합류 [4]	ㅇㅇ(182.230)	04.13	1068	13
455432	정보/ 정보/뉴스	생추어리, 자동차 부품 생산에 AI 로봇 투입 파트너십 [1]	ㅇㅇ(182.230)	04.13	481	15
455430	정보/ 정보/뉴스	애플, AI 강화 위해 'M4' 칩 조기 업그레이드 [3]	ㅇㅇ(182.230)	04.13	1065	18
455428	정보/ 정보/뉴스	MS, 군사용 도구로 오픈AI '달리' 판매 시도 [1]	ㅇㅇ(182.230)	04.13	191	10
455415	일반	개발자 근들갑보다 특이쭝이들 조울증이 더 꼴보기 실어여 ㅇㅅㅇ [18]	ㅇㅇ(122.36)	04.13	1388	41
455397	AI창 AI창작	샘 알트만 디스곡 만들어 줘 [5]	ㅇㅇ	04.13	1340	30
455396	정보/ 정보/뉴스	Cognition의 Devin으로 알아보는 AI업계의 과대광고 [17]	ㅇㅇ(218.53)	04.13	1586	55
455381	일반	부자들도 역노화 포기한것같다 [10]	ㅇㅇ(125.180)	04.13	1929	14
455363	일반	테슬라, 첨단 휴머노이드 로봇 특허 기술 공개 [3]	ㅇㅇ(116.120)	04.13	1511	25
455357	일반	와 ㅅㅂ뭐냐 수학성능 ㅈㄴ올랐네 [17]	ㅇㅇ(221.160)	04.13	2359	21
455341	일반	오픈ai가 데이터 엄청 긁어 모으고 있네 [3]	ㅇㅇ	04.13	1966	26
455340	일반	전 PayPal CEO "gpt5는 정말 놀라운 순간이 될 것" [25]	특술람	04.13	2683	35
455335	일반	Mistral AI CEO "나는 AGI를 믿지 않는다" [10]	특술람	04.13	1900	23
455328	일반	특갤말투로 해달라니까 탈옥됐다 [9]	ㅇㅇ(14.36)	04.13	2116	40
455315	일반	이새끼 뭐임?? [11]	ㅇㅇ	04.13	1513	23
455278	일반	내가 믿고 거르는 기술소식 4가지 [43]	ㅇㅇ(183.106)	04.12	3555	109
455200	정보/ 정보/뉴스	하이브리드 소듐 전지 개발…"수 초 만에 급속 충전" [29]	니지카엘	04.12	1982	23
455194	일반	커즈와일 : 자신의 예상보다 기술발전이 빠르게 진행중 [58]	부패하는유전자!!!	04.12	3494	48
455183	일반	GPT 신버전이 클로드 벤치 이겼다며 [6]	ㅇㅇ(182.211)	04.12	903	14
455064	정보/ 정보/뉴스	MS, 5월 컨퍼런스서 '윈도우 AI 기능' 발표에 초점 [8]	ㅇㅇ(182.230)	04.11	1715	17
455143	정보/ 정보/뉴스	Rho-1: 모든 토큰이 필요한 것은 아닙니다 [10]	특술람	04.12	1343	18
455126	정보/ 정보/뉴스	GPT-4 turbo 0409 공식벤치결과 [12]	특술람	04.12	2254	22
455113	정보/ 정보/뉴스	OAI 연구원 2명 정보 유출 혐의로 해고됨 [14]	ㅇㅇ(211.59)	04.12	2154	18
455084	정보/ 정보/뉴스	[사이언스샷] 꿈의 면역항암제, 줄기세포처럼 회춘해 업그레이드 [8]	ㅇㅇ	04.12	1343	20
455165	일반	0409 버전 다른건 몰라도 수학은 꽤 상승폭이 크네 [2]	ㅇㅇ(218.154)	04.12	403	14
455158	일반	gpt4 0410 ㄷㄷㄷㄷㄷㄷㄷ [7]	ㅇㅇ(182.229)	04.12	809	15
455078	일반	앤드류 응, 아마존 이사회에 합류 [9]	ㅇㅇ(116.120)	04.12	1641	15
455076	AI창 AI창작	그냥 존나 아름답네 [20]	ㅇㅇ	04.12	4764	33
455063	정보/ 정보/뉴스	구글, '생성 AI 사진 편집' 기능 무료로 확대 [10]	ㅇㅇ(182.230)	04.11	2142	16
455061	정보/ 정보/뉴스	GPU 배송 2~3개월로 단축..."연말쯤 지연 없어질 것" [5]	ㅇㅇ(182.230)	04.11	1675	18
454901	정보/ 정보/뉴스	구글 무한 컨텍스트 트랜스포머 발표 [11]	특술람	04.11	2443	22
454792	정보/ 정보/뉴스	현재까지 인류가 만든 가장 정확하고 큰 뇌지도 [11]	ㅇㅇ(220.118)	04.11	3962	31
454778	정보/ 정보/뉴스	전례없는 해상도로 뇌를 스캔하는 초강력 MRI [4]	ㅇㅇ(182.230)	04.11	923	17
454739	일반	작년에 내년 4월초까지도 GPT5 안나왔을줄 상상도 못했으면 개추ㅋㅋ [9]	ㅇㅇ(121.130)	04.11	2803	46
454712	정보/ 정보/뉴스	메타, '라마 3' 대형 버전 매개변수는 1400억개 [7]	ㅇㅇ(182.230)	04.10	1853	21
454698	정보/ 정보/뉴스	달 표면 티타늄, 맨틀까지 가라앉았다가 분출됐다 [3]	ㅇㅇ(182.230)	04.10	1709	18
454689	AI창 AI창작	Suno 킬러 AI 출시기념 [19]	ㅇㅇ	04.10	2916	35
454679	일반	udio 미쳤는데? [22]	디시콘발사대	04.10	2484	20

최근 방문

즐겨찾기

즐겨찾기 갤러리

마이너 갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

마이너 갤러리 소개

차단하기

[특이점이 온다 갤러리]

갤러리 본문 영역

게시물을 간편하게 NFT로 만들어 보세요!

NFT 발행 방법

NFT 발행

비회원 글삭제,수정

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

파워링크 광고

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결