https://arxiv.org/abs/2405.00662

강화 학습(RL)은 훈련 중에 에이전트가 관찰하는 상태와 보상이 변화하는 정책에 따라 달라지기 때문에 본질적으로 비정상성이 많습니다. 따라서 심층 RL의 네트워크는 새로운 관찰에 적응하고 새로운 목표를 맞출 수 있어야 합니다. 그러나 이전 연구에서는 정책을 벗어난 심층 가치 기반 방법의 네트워크가 표현 순위의 감소를 나타내며 종종 학습을 계속할 수 없거나 성능이 붕괴되는 것과 관련이 있음을 관찰했습니다. 이 현상은 일반적으로 비정상성 하의 신경망 학습에 기인하지만, 종종 무기한 훈련이 가능하다고 생각되는 정책 기반 최적화 방법에서는 간과되어 왔습니다. 이 작업에서 우리는 Atari 및 MuJoCo 환경에서 PPO(Proximal Policy Optimization)의 표현 역학을 경험적으로 연구하여 PPO 에이전트도 기능 순위 저하 및 가소성 손실의 영향을 받는다는 것을 밝혔습니다. 우리는 이것이 더 강한 비정상성(non-stationarity)으로 악화되어 궁극적으로 비평가의 연기와 관계없이 배우의 연기가 무너지는 것을 보여줍니다. 우리는 PPO의 표현 붕괴, 성능 붕괴, 신뢰 영역 문제 사이의 연관성을 도출하고 표현 역학을 정규화하면 PPO 에이전트의 성능이 향상된다는 것을 보여주는 새로운 보조 손실인 PFO(Proximal Feature Optimization)를 제시합니다.