Rethinking Critic Learning in PPO: Understanding and Mitigating Value Flattening
PPO 학습 시 발생하는 가치 평탄화(Value Flattening) 문제를 해결하기 위해 소수의 상태에만 손실을 적용하는 희소 감독(Sparse Supervision) 기법을 제안합니다.
논문이 다루는 내용
LLM 강화학습에서 PPO는 분산 감소를 위해 크리틱(Critic)을 사용하지만, 실제로는 예측값이 평탄해지는 'Value Flattening' 현상이 발생합니다. 연구진은 이 현상이 상태 공간이 커질수록 심화되며, 크리틱 손실의 암시적 분산 페널티와 중복된 업데이트가 원인임을 밝혀냈습니다. 이를 해결하기 위해 각 응답에서 분리된 소수의 상태에만 가치 손실을 적용하는 SP^3O 알고리즘을 도입했습니다. 실험 결과, 응답당 단 3개의 상태만 감독해도 가치 평탄화를 완화하고 정책 성능을 일관되게 향상시켰습니다. 결과적으로 이 연구는 PPO의 잠재적 실패 모드를 식별하고 간단한 희소 감독 전략의 효용성을 입증했습니다.
핵심 결과
-
PPO 크리틱에서 상태 가치 변화가 예측값에 반영되지 않는 'Value Flattening' 현상 규명
-
상태 공간 확대 및 시간적 상관관계가 가치 평탄화를 심화시키는 원인임을 이론적/경험적으로 분석
-
SP^3O: 적은 수의 분리된 상태에만 가치 손실을 적용하여 중복 업데이트와 분산 문제를 해결
실무에서 볼 만한 점
LLM RLHF 과정에서 크리틱 학습 효율을 높이고, 불필요한 계산 비용을 줄이면서도 정책 성능을 안정적으로 유지할 수 있는 실무적 가이드라인을 제공합니다.
읽을 때 확인할 점
-
기존 PPO 학습 시 크리틱의 가치 예측값과 실제 보상 간의 편차(Flattening)가 발생하는지 모니터링
-
학습 시 모든 타임스텝이 아닌, 특정 간격이나 핵심 상태에만 가치 손실을 적용하는 실험 수행
-
상태 공간 크기에 따른 크리틱 수렴도 변화를 관찰하며 SP^3O 전략 적용 검토