일종의 추론이라는 것이 선험적인가, 후험적인가 하는 것임.

선험적은 경험 이전 것. 즉, 데이터를 얻기 전에 것.

후험적인 것은 경험한 것, 즉, 데이터를 얻고 나서에 것.

이런 선험적, 후험적이란 개념을 만든 철학자 '칸트'는 이성을 선험적으로 만들어지는 것으로 생각했고, 현대 과학자들은 이 견해에 동의하지 않음.

입장의 차이는 여기서 생김.

추론이 후험적이라 주장하는 학자들은 현재 LLM의 한계를 데이터의 한계로 생각함. 데이터의 형식은 많음. 글, 그림, 영상, 음성등, 그런 데이터의 총합이 추론을 만든다고 생각함. (직관적으로 이해하기는 어렵지만, 그림AI는 그림에 대한 추론을 가지고 있고, 음악 AI는 음악에 대한 추론을 가지고 있는 거임. LLM은 글에 대한 추론을 가지고 있으나, 수학에 대한 추론은 약함.(아예 안 가지고 있다는 뜻이 아님.))

선험주의자는 그냥 안 된다고 생각함. 추론을 추상적으로 정의내리면서 그 무엇도 안 함. LLM을 통계적(확률적)  앵무새라고 깐다면 인간은 확정적(이상한 표현이지만) 앵무새인가?

여담으로 난 데이터의 형식이 수동적이랑 능동적 형식이 있지 않을까 생각함.(물론 난 전문가가 아니니까, 잘 모르지만)

수동적은 그냥 현재 데이터

능동적은 AI모델이 열심히 생각한 것을 재학습 하는 것.

비유하자면 퀴즈는 정답을 외우는 것이 의미있는 행위인가.(다음 똑같지만, 약간 변형된 문제를 보아도 잘 풀어낼 수 있는가.)

수학공부를 하는 것이 수학책을 암기하는 것으로 잘 될 수 있는가.

진정한 수학 공부는 일종의 확장적 사고임. 기존의 알고 있는 지식을 확장해서 문제를 풀어야 실력이 상승함. 중요한 사실은 모르고 있다고 해서 무작정 찾아보는 건, 실력 상승에 도움이 되지 않는다는 것.

즉, 나의 표현을 이용하자면 능동적인 데이터인 거임.

능동적 데이터는 인터넷에 떠돌아 다니지 않음. 이건 결론을 내리기 전에 생각한 내용과 관련된 데이터니까. 뭔 대가리를 뚜따하지 않는 이상 알지 못하는 데이터라 할 수 있음.

난 그래서 자율에이전트가 Agi의 핵심이라 생각하고 있음. 능동적 그 자체가 전체적인 지능을 상승시킬 수 있다는 거임.

이상, 병신의 망상이었습니다. 전문가도 아닌 집구석 백수의 생각이니 적당히 걸러 들어주면 좋겠씀.