DRAP: Dynamics-Risk Adaptive Plasticity for Continual Learning in Physical AI
물리적 에이전트의 궤적 오차 누적 문제를 해결하기 위해, 궤적 증폭 위험도를 기반으로 파라미터 가소성을 조절하는 Replay-free 지속 학습 방법론
논문이 다루는 내용
물리적 AI 환경에서의 지속 학습은 미세한 정책 오류가 궤적을 따라 누적되어 작업 실패로 이어지는 특수한 문제를 가집니다. 기존 방식은 데이터 분포 이탈과 예측 오차 증가를 제어하기 어렵습니다. 본 논문은 궤적 증폭 위험도(trajectory-amplification risk)를 가중치로 사용하여 텐서별 중요도를 추정하는 DRAP 방식을 제안합니다. Lyapunov 이론에서 영감을 얻어 상태 전이 행렬의 최대 특이값을 통해 섭동 증폭도를 계산하고, 이를 통해 이전 작업에 중요한 텐서의 학습률을 동적으로 조절합니다. 실험 결과, DRAP는 Replay 없이도 기존 AdamW나 EWC 대비 이전 작업의 성능을 유지하면서 새로운 작업 학습 능력을 확보했습니다.
핵심 결과
-
궤적 증폭 위험도(Trajectory-amplification risk)를 활용한 정책 독립적 중요도 추정
-
Replay 없이 텐서별 중요도 메모리를 활용한 가소성(Plasticity) 제어
-
Lyapunov 기반의 상태 전이 행렬 특이값을 통한 안정적 섭동 제어
실무에서 볼 만한 점
로봇/에이전트 학습 시 과거 데이터를 저장하는 Replay 버퍼 없이도, 이전 지식의 파괴(Catastrophic Forgetting)를 효과적으로 막을 수 있는 실용적인 방법론입니다.
읽을 때 확인할 점
-
OpenVLA와 같은 대형 모델의 특정 서브네트워크에 DRAP 로직 적용 실험
-
기존 EWC/LwF와 비교하여 궤적 오차 누적에 따른 성능 저하 폭 측정
-
다양한 물리 시뮬레이션 환경에서 섭동 증폭도(Singular value)의 유효성 검증