역전파는 신경망모델이 정답을 내도록 만듬

어텐션도 다음에 올단어(정답)을 내도록 만듬

어텐션이 정답을 내는 방식은(여기서부터 뇌피셜임)

원래문장이 있고 이 원래문장의 단어를 가진 다른 여러 문장들을 모두 불러들인후

그 불러들인 문장들에서 가장많이 공통적으로 등장하는 단어를 다음 단어로 예측함

이는,

패턴A가 존재하고, 패턴A를 이루는 구성요소를 가진 다른 여러 패턴을 불러들인후

그 불러들인 여러패턴들에게서 가장많이 공통적으로 등장하는 구성요소를 다음 단어로 예측함

문장을 패턴으로 얘기했을 뿐임

여기서 중요한점은

1. 패턴 A에서 다른 여러 패턴을 불러내는 작업

2. 불러내진 다른 여러 패턴에서 공통적으로 가장 자주등장하는 구성요소를 지목

이 두단계 모두 "패턴의 겹침"이 있음으로서 가능해지는 작업임

즉, 어텐션의 원리는 패턴의 겹침으로 답을 내는것임

패턴이란? 같이 등장하는 요소들을 묶어서 한 패턴이라 말함

이 원리가 역전파를 대체하게 된다면

만약 고양이를 인식하는 작업이 있다면,

고양이 사진에서 같이 등장하는 요소들끼리 묶을수 있음(패턴생성)

예를들면 고양이 귀를 구성하는 픽셀들을 모아서 한 패턴으로 정할수도 있고

아니면 고양이 발과 고양이 귀를 모아서 한 패턴으로 정할수도 있음

즉, 랜덤하게 패턴을 가정함

그리고 다른 고양이 사진을 보면서 또 랜덤하게 패턴을 가정함

그럼 두 고양이 사진에서 얻은 패턴들간의 겹침이 발생함

이 겹쳐진 패턴의 겹쳐진 부분이 정답인것임

진짜 고양이의 특징은 이 겹쳐진 패턴의 부분에 있는것임