다음에 나와야할 모델에 대해 갖고왔다.

앞으로 이걸 주장할 것

그건 바로 token에서 독립된 모델이다.

간단히 말하자면 기억과 망각을 할 줄 아는 모델이지.

아마 대부분의 특붕이가 원하는 장기기억과 같다.


나는 개인적으로 이러한 모델을 만들어 본 적이 있다.

비트 단위 수준의 모델이지만

Seq의 크기에 상관없이 1과 0이 들어온 순서를

기억할 수 있는 모델이다.

1100111이 입력으로 들어오면

모델에는 1, 1, 0, 0, 1, 1, 1이 입력된다.

각각의 인풋이 들어올 때마다

기억을 담당하는 hidden state와 이 hidden state를 디코딩한 출력이 나오고

출력은 대충 이런식

1000000
1100000
1100000
1100000
1100100
1100110
1100111

실제로 이러한 모델을 residual mlp를 사용하여 구현이 가능했다.

문제는 보다시피 출력 길이에 제한이 있는 것

이는 모델의 decoder가 들어온 순서를 기억해야 하는 방식으로

학습되었기 때문이지 실제 기억되는 곳은 hidden state이기 때문에

큰 문제는 아니다. 물론 hidden state의 크기가 커야 더 많은 정보를

기억할 수 있다.

아니면 앞서 말한 "망각"을 구현하는 것이다.

망각을 굳이 의도적으로 구현하지 않아도 기억하는 방법만 학습하면

알아서 구현될 것 같다는 게 내 소소한 예측이다.

이 모델은 RNN과 유사한 점이 많지만

RNN 또한 입력 크기에 종속적이다.

내가 생각하는 가장 유사한 모델은 Mamba이다.

다만 아직 이 모델을 이용한 유명한 모델이 없다는 게 아쉬울 따름이다.

아니면 다시 한번 트랜스포머를 사용하여

기억까지 구현할 수도 있지 않을까