뇌를 모방한 AI 알고리즘을 찾아서, Hopfield 네트워크

ㅇㅇ · 2024.04.02 14:10:41

https://research.ibm.com/blog/dmitri-krotov-hopfield-networks-ai

09b0d932f7cb078d7cb0c2ba00ee07327409f4a7e3812dd30b482f5c7b114068524949eb719dabe49ace364424d05982ef459fe5bbcb05e1

AI가 너무 빠르게 발전하고 있어서 현대 AI의 기반이 되는 심층 신경망이 아직도 얼마나 신비로운지 잊기 쉽습니다. Dima Krotov는 딥러닝이 막 떠오르던 시기에 이론 물리학 박사과정을 마무리하고 있었습니다. 딥러닝의 잠재력에 매료된 그는 양자장론을 접고 신경망과 그 놀라운 계산 능력을 이해하는 데 초점을 맞추었습니다.

그는 아인슈타인과 오펜하이머의 학문적 고향인 프린스턴 고등연구소(IAS)에서 딥러닝 선구자인 John Hopfield와 함께 박사후 연구원으로 일했습니다. Hopfield는 1980년대 벨 연구소의 물리학자로, 뇌의 연상 기억에서 영감을 받은 새로운 유형의 신경망인 Hopfield 네트워크를 설명했습니다. 그들은 함께 이 연구를 확장했고, Krotov는 2018년 IBM 연구소에 도착하면서 이를 계속했습니다.

수십 년 동안 변방의 아이디어였던 Hopfield 네트워크는 현재 주목받고 있습니다. 최근 NeurIPS 2023에서는 AI 분야의 거물들이 참석한 가운데 하루 종일 워크숍의 주제가 되기도 했습니다. 트랜스포머를 기반으로 한 파운데이션 모델이 여전히 대세지만, 그 한계 역시 분명해졌습니다. 짧은 주의 지속 시간, 환각을 볼 수 있으며, 의사결정 과정이 불투명합니다. 또한 훈련과 실행에 많은 연산이 필요합니다. Krotov와 다른 이들은 Hopfield 네트워크가 이러한 문제들 중 적어도 일부를 해결할 수 있는 잠재력을 가지고 있다고 봅니다.

심층 신경망에는 두 가지 종류가 있습니다. 트랜스포머를 포함하는 피드포워드(Feedforward) 네트워크는 한 방향으로 정보를 처리합니다. 반복 신경망(RNN)은 뇌의 실제 뉴런처럼 매 단계마다 원하는 답에 더 가까워지면서 정보를 반복적으로 처리합니다. Hopfield 네트워크는 대량의 정보를 저장할 수 있는 잠재력을 가진 간단한 유형의 RNN입니다. 또한 검색 과정에 대한 통찰력을 제공하여 피드포워드 네트워크보다 잠재적으로 더 해석 가능합니다.

실제 뉴런과의 유사성은 AI를 개선하려는 Krotov의 탐구에 영감을 주었습니다. 하지만 그것은 또한 우리에게 뇌에 대한 새로운 것을 보여줄 수도 있습니다. 우리는 케임브리지에서 Krotov를 만나 Hopfield 네트워크와 그것이 AI의 미래와 지능 자체에 대해 우리에게 말해줄 수 있는 것에 대해 이야기를 나누었습니다.

Hopfield 네트워크가 특별한 이유는 무엇인가요?

그것들은 피드백 루프가 내장된 가장 단순한 수학적 모델입니다. 대조적으로 AI 모델의 90%는 정보를 한 방향으로만 처리하는 피드포워드 네트워크입니다. 대규모 언어 모델(LLM)에 질문을 입력하면, 생성되는 각 단어는 프롬프트 및 이전에 생성된 단어와 비교되어야 합니다. 이 텍스트 범위를 컨텍스트 윈도우라고 합니다. 컨텍스트 윈도우가 길어질수록 계산 복잡성이 급격히 증가합니다. 다음 단어가 예측되면 이 과정을 다시 시작해야 합니다. 이는 트랜스포머 기반 모델의 훈련 및 실행이 느리고 계산량이 많은 이유를 설명합니다.

대조적으로 뇌는 반복적인 피드백 루프를 사용하여 과거 정보를 요약하고 기억에 저장합니다. 뇌에서는 엄격하게 피드포워드인 경로가 거의 없습니다. 우리의 눈은 이미지를 훑어보고 조각조각 처리합니다. 최초의 연상 깜박임 이후에 완전한 기억이 점차 밝혀집니다. Hopfield 네트워크가 비슷한 방식으로 작동하기 때문에, 우리는 그것이 오늘날의 피드포워드 네트워크에 대한 유망한 대안이 될 수 있다고 생각합니다.

그것들의 한계는 무엇인가요?

1980년대의 Hopfield 네트워크는 제한된 메모리 저장 용량을 가지고 있었습니다. 그것들이 저장하고 검색할 수 있는 메모리 수는 입력 뉴런 수에 선형적으로 비례하므로, 현대 AI 응용 프로그램에는 실용적이지 않았습니다. 하지만 John과 저는 2016년에 뉴런 간의 상호 작용을 더 많이 도입함으로써 그들의 메모리를 확장할 수 있다는 것을 깨달았습니다. 우리는 이 향상된 네트워크를 "조밀한 연상 메모리(Dense Associative Memory)"라고 불렀는데, 그것은 같은 공간에 더 많은 메모리를 압축하기 때문입니다. 전통적인 Hopfield 네트워크는 두 개의 뉴런 상호 작용으로 제한되었지만, 현대적 형태에서는 세 개 이상의 뉴런이 하나의 지점에서 상호 작용할 수 있습니다. 상호 작용이 많을수록 메모리 저장 용량이 커집니다.

1년 후, Mete Demircigil과 동료들은 이러한 상호 작용을 조정하여 메모리를 기하급수적으로 증가시킬 수 있다는 것을 보여주었습니다. 메모리가 상태 공간 내부에 밀집되어 있더라도 연상 속성은 유지됩니다. 저하된 메모리가 주어지면 조밀한 연상 메모리는 오류를 수정할 수 있습니다. 그것은 이진 변수와 연속 변수 모두에서 작동하므로 현대 AI 응용 프로그램에 적합합니다.

최근 Hopfield 네트워크에 대해 무엇을 알게 되었나요?

Hopfield 네트워크는 코로나 발생 전까지 주목받지 못했습니다. 그 후, LSTM 모델의 공동 발명자인 Sepp Hochreiter가 이끄는 그룹은 트랜스포머의 어텐션 작업이 많은 뉴런 상호 작용을 신중하게 선택하여 조밀한 연상 메모리에서 파생될 수 있음을 보여주었습니다. 이전에는 사람들이 어텐션이 데이터의 장거리 상관 관계를 추적하는 전역 컨볼루션 연산이라고 생각했습니다. Hochreiter는 어텐션이 실제로는 메모리 시스템이라고 주장했습니다. LLM에 질의를 입력할 때 텍스트는 효과적으로 단기 메모리(조밀한 연상 메모리)에 로드됩니다. 어텐션 연산은 데이터를 검색하고 트랜스포머는 그 데이터에 대해 작동합니다.

그러나 조밀한 연상 메모리에는 중요한 차이점이 있습니다. 트랜스포머와 달리 런타임에 메모리 벡터가 일정하게 유지됩니다. 트랜스포머에는 또한 어텐션 외에도 피드포워드 다층 퍼셉트론, 계층 정규화, 스킵 연결 등의 작업이 포함됩니다. 우리는 2023년 NeurIPS 논문인 Energy Transformer에서 이러한 작업을 단일 아키텍처에 통합하여 전체 트랜스포머 블록을 연상 메모리로 설명했습니다.

뇌에 조밀한 연상 메모리가 존재하나요?

그럴 수도 있습니다. 우리는 확신할 수 없습니다. 조밀한 연상 메모리는 인공 신경망과 생물학적 신경망 모두를 모델링하는 데 사용할 수 있는 계산의 수학적 이론입니다. 수학적으로 구축하려면 세 개 이상의 뉴런이 가상의 시냅스에서 연결되어야 합니다. 그러나 대부분의 신경과학자들은 실제 뉴런이 쌍으로만 연결된다고 믿습니다. 시냅스 틈새를 통해 연결된 시냅스 전 뉴런과 시냅스 후 뉴런이 있으며, 여기서 화학적 신호 또는 신경전달물질이 교환됩니다.

생물학적 뉴런에서 조밀한 연상 메모리를 구축하는 데에는 두 가지 이론이 있습니다. 하나는 뇌에 이러한 다중 뉴런 상호 작용을 설명하기 위한 숨겨진 뉴런이 있다는 것입니다. 다른 하나는 뇌의 별아교세포가 한 번에 여러 개의 뉴런을 연결하여 효과적으로 다중 뉴런 시냅스를 만든다는 것입니다. 별아교세포는 모든 뇌세포의 상당 부분을 차지합니다. 그것들은 우리의 조밀한 연상 메모리 수학 모델이 뇌에서 어떻게 구현될 수 있는지를 잠재적으로 설명할 수 있습니다.

우리는 또한 조밀한 연상 메모리가 수학적으로 트랜스포머로 환원될 수 있다는 것을 알고 있습니다. 트랜스포머에 의해 수행되는 계산이 뉴런과 별아교세포를 사용하여 구현될 수 있을까요? 우리는 작년 PNAS 논문에서 그렇게 할 수 있음을 시사하는 수학적 모델을 만들었습니다. 이러한 아이디어는 여전히 단순한 모델일 뿐이지만, 우리는 이것이 신경과학자들이 살아있는 세포에서 이를 테스트하도록 영감을 줄 수 있기를 희망합니다.

AI가 어디로 향하고 있다고 보시나요?

메모리는 인간의 인지에 필수적이지만 현대 AI에서는 최소한의 역할만 합니다. 연구자들은 현재 트랜스포머에 추가 메모리를 보강하려고 시도하고 있습니다. 내년에는 이 분야에서 많은 독창적인 아이디어가 나올 것으로 기대합니다.

에너지 기반 모델은 신경망이 원하는 답을 생성하도록 강요하는 대신 에너지 경관을 조정하여 계산을 설계할 수 있기 때문에 매력적입니다. 그것들은 여전히 변방의 아이디어이지만 흥미로운 잠재력을 가지고 있습니다.

마지막으로, 뇌는 많은 형태의 특수한 계산을 진화시켜 왔습니다. 예를 들어 과실파리는 강한 후각을 가지고 있습니다. 우리는 그들의 뇌에서 이를 가능하게 만드는 네트워크를 모델링하고 이를 자연어 처리에 적용했습니다. 2021년 ICLR 논문에서 우리는 과실파리 후각 시스템의 수학적 모델이 어떻게 효율적으로 원시 텍스트에서 단어 임베딩을 "학습"할 수 있는지 보여주었습니다. 물론 과실파리는 언어를 구사하지 않지만, 그들의 뇌가 냄새를 "계산"하는 방식은 다른 작업에 적용할 수 있는 더 나은 AI 모델을 설계하는 데 도움이 될 수 있습니다. 자연은 향후 새로운 AI 아키텍처의 모델이 될 수 있는 특수한 지능의 사례로 가득 차 있습니다.

번호	말머리	제목	글쓴이	작성일	조회	추천
2863	설문	시세차익 부러워 부동산 보는 눈 배우고 싶은 스타는?	운영자	24/05/27	-	-
456384	정보/ 정보/뉴스	(오늘의 입털기)샘알트만- 당신들을 찍어누를 것 [31]	ㅇㅇ(118.235)	04.16	2534	24
456370	정보/ 정보/뉴스	일본에 자리 잡은 사카나 AI "기업 관심 집중...아직 경쟁자 없어" [2]	ㅇㅇ(182.230)	04.16	509	12
456363	일반	생각해보면 모든 행복의 근원은.. [6]	ㅇㅇ	04.16	1702	23
456347	역노화	내 몸에 새로운 간을 키운다...간이식 대체할 림프절 간세포 이식술 [25]	ㅇㅇ	04.16	1918	25
456321	일반	ㄹㅇ 나도 현.직자인데 [8]	ㅇㅇ	04.15	981	14
456319	일반	오늘자 얀르쿤 트윗: 25년도까지 AGI 불가능 [12]	ㅇㅇ(112.144)	04.15	883	11
456310	일반	산수문제 하나 풀고 가실게요 (gpt4 재평가) [9]	mahogany	04.15	2116	21
456297	일반	라마3 곧 발표예정이라함 [9]	ㅇㅇ(125.191)	04.15	2178	26
456204	정보/ 정보/뉴스	스테이블 디퓨전 만든 CEO 근황 [11]	ㅇㅇ(121.132)	04.15	3351	26
456178	정보/ 정보/뉴스	오픈AI, 아시아 최초 사무소인 OpenAI Japan 설립 [28]	월코존버	04.15	2405	22
455877	정보/ 정보/뉴스	엔트로픽 CEO, ASL-4는 2025~2028 사이에 일어날 수 있다 [14]	ㅇㅇ(218.52)	04.14	980	12
455701	정보/ 정보/뉴스	다트머스 연구진은 현대 AI와 치료 앱을 융합하려고 합니다. [12]	ㅇㅇ	04.14	1415	15
455985	정보/ 정보/뉴스	미스트랄 8x22b성능은 오픈소스중최고 mmlu 77.3 [11]	ㅇㅇ(149.88)	04.14	1490	15
456113	정보/ 정보/뉴스	2024년 가장 많이 사용되는 AI 플랫폼 20개는 [9]	ㅇㅇ(182.230)	04.15	2541	21
455398	일반	페이팔ceo 시발년아 [16]	ㅇㅇ(14.53)	04.13	2725	20
456112	일반	알트만 스캠이라면 영악한게 , 5~10년안에 올지도 모른다 [2]	ㅇㅇ(118.129)	04.15	544	10
456111	정보/ 정보/뉴스	"기존 벤치마크 한계 도달"...새로운 LLM 평가 수단 속속 등장 [4]	ㅇㅇ(182.230)	04.15	1743	13
456069	일반	와 자율주행 신기하네 [1]	ㅇㅇ	04.15	996	11
455998	일반	알트만 새 트윗 개인적인 해석 [4]	ㅇㅇ(112.144)	04.14	779	10
455964	정보/ 정보/뉴스	특이점이 온 미국의 노동시장 [11]	테이리	04.14	1020	10
455902	정보/ 정보/뉴스	채신논문) 어리석음을 찬양하며: 유연한 목표와 인간의 인지 능력 [6]	ㅇㅇ	04.14	2706	24
455884	정보/ 정보/뉴스	구글 삼성결별 2025년부터 TSMC에서 생산 [6]	ㅇㅇ(125.143)	04.14	754	10
455850	일반	데빈 저격영상 떳네 ㅋㅋ [15]	상한포도	04.14	3204	27
455846	일반	devin 걍 사기꾼이였네 [8]	ㅇㅇ(211.36)	04.14	2808	20
455800	일반	샘 알트만 ”agi 개발완료“는 날조임 [10]	ㅇㅇ(116.120)	04.14	3499	44
455774	일반	“韓 연구진이 개발한 뇌 영상 기술 …연이은 검증 실패 [9]	ㅇㅇ(211.234)	04.14	2534	22
455743	일반	이런일 다들 경험해봣을건데 [22]	ㅇㅇ(117.20)	04.14	2868	31
455680	일반	2025년이 7개월남았다는게 어이가없네 [7]	ㅇㅇ(211.197)	04.13	3585	33
455679	정보/ 정보/뉴스	AI가 월스트리트에 온다, 은행 분석가 채용 2/3로 줄이는 것을 고려중 [4]	ㅇㅇ(125.191)	04.13	796	10
455648	일반	영상다시봤는데 힌튼이 말을 이상하게했음 [8]	ㅇㅇ(211.197)	04.13	1609	16
455619	일반	특갤에 갈수록 병신새끼들만 남는거같다고? [17]	ㅇㅇ(58.127)	04.13	2877	53
455614	AI창 AI창작	AI야 클레 귀엽게 그려줘 [17]	ㅇㅇ	04.13	2489	24
455604	일반	내 사촌여동생(12살)한테 특이점 설명해줬음 [64]	초존도초	04.13	2784	33
455584	일반	제프리 힌튼 "AI 챗봇은 감각과 주관적 경험을 가지고 있다" [16]	ㅇㅇ(1.237)	04.13	2322	24
455563	정보/ 정보/뉴스	빌게이츠가 말하는 AI 시대에 살아남을 직업 3가지 [20]	ㅇㅇ(119.207)	04.13	3968	36
455533	정보/ 정보/뉴스	뇌 없이 운동 학습하고 기억하는 메커니즘 찾았다 [4]	ㅇㅇ(182.230)	04.13	1384	15
455520	일반	얀르쿤은 빌라에 사는 성난 아줌마다. [25]	ㅇㅇ	04.13	2077	46
455500	일반	난 왜 얀르쿤 말이 맞아보이지 [21]	ㅇㅇ(39.7)	04.13	2710	45
455452	일반	오늘도 연전연승	ㅇㅇ(58.127)	04.13	1240	27
455447	정보/ 정보/뉴스	삼성, 갤럭시 S22·21에도 AI 일부 적용 [2]	ㅇㅇ(182.230)	04.13	2383	24
455442	정보/ 정보/뉴스	오픈AI, 기업 시장 확장 위해 MS와 경쟁 불사 [2]	ㅇㅇ(182.230)	04.13	1305	20
455441	정보/ 정보/뉴스	오픈AI, 유출 혐의로 연구원 2명 해고..."효과적인 이타주의 연관" [8]	ㅇㅇ(182.230)	04.13	1406	18
455438	정보/ 정보/뉴스	메타가 공개한 AGI로 가는 방법, 'V-제파'란 [13]	ㅇㅇ(182.230)	04.13	2036	30
455436	정보/ 정보/뉴스	메타, AI의 ‘현실 이해' 돕는 오픈 소스 데이터셋 출시 [2]	ㅇㅇ(182.230)	04.13	803	13
455435	정보/ 정보/뉴스	그록 1.5v 발표 [14]	특술람	04.13	1553	28
455434	정보/ 정보/뉴스	"로봇이 일자리를 빼앗는다는 것은 '신화'에 불과" [7]	ㅇㅇ(182.230)	04.13	1841	17
455433	정보/ 정보/뉴스	아마존 "생성 AI는 인터넷 이후 최고 기술"...앤드류 응 이사회 합류 [4]	ㅇㅇ(182.230)	04.13	1067	13
455432	정보/ 정보/뉴스	생추어리, 자동차 부품 생산에 AI 로봇 투입 파트너십 [1]	ㅇㅇ(182.230)	04.13	479	15
455430	정보/ 정보/뉴스	애플, AI 강화 위해 'M4' 칩 조기 업그레이드 [3]	ㅇㅇ(182.230)	04.13	1064	18
455428	정보/ 정보/뉴스	MS, 군사용 도구로 오픈AI '달리' 판매 시도 [1]	ㅇㅇ(182.230)	04.13	191	10

최근 방문

즐겨찾기

즐겨찾기 갤러리

마이너 갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

마이너 갤러리 소개

차단하기

[특이점이 온다 갤러리]

갤러리 본문 영역

게시물을 간편하게 NFT로 만들어 보세요!

NFT 발행 방법

NFT 발행

비회원 글삭제,수정

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

파워링크 광고

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결