EmoReward: Self-Evolving Reward Calibration for Emotional Video Generation RL
학습 과정에서 수집된 보상 데이터를 활용해 감정 표현 중심의 비디오 생성 보상 가중치를 스스로 최적화하는 자기 진화형 RL 프레임워크
논문이 다루는 내용
기존의 비디오 생성 RL은 고정된 보상 체계로 인해 감정적 의도를 정확히 포착하지 못하거나 보상 해킹(Reward Hacking)이 발생하는 문제가 있었습니다. 특히 주관적인 미적 기준과 복잡한 감정 표현을 정량화하기 어렵다는 점이 한계였습니다. 이를 해결하기 위해 EmoReward는 학습 과정에서 수집된 보상 흔적(Reward Traces)으로부터 증거의 신뢰도를 추출하는 자기 진화형 메커니즘을 제안합니다. 구체적으로는 감정 프롬프트에 기반한 Grounding Cue 계획, 이종 신호 프리미티브를 통한 스코어링, 그리고 Reflective Reward Gating을 통한 가중치 보정 과정을 거칩니다. 최종적으로 RewardMemory가 이전 학습 단계의 결과를 바탕으로 다음 학습의 보상 가중치를 조정함으로써 모델 업데이트 없이도 보상 체계를 최적화합니다. 실험 결과 HunyuanVideo 1.5 등에서 우수한 성능 향상을 입증하였습니다.
핵심 결과
-
Self-Evolving Mechanism: 학습 중 수집된 보상 흔적을 통해 보상 가중치를 적응적으로 조정하는 메커니즘 도입
-
Reflective Reward Gating: 페이스 신뢰도, 갈등, 미묘함 등 인스턴스 수준의 게이트를 통해 다중 보상 기여도를 보정
-
RewardMemory: 모델 업데이트 없이 이전 학습 단계의 결과로부터 보상 프리미티브의 신뢰도를 추정하여 차기 학습 가중치 결정
실무에서 볼 만한 점
정답이 없는 주관적 생성 작업(비디오, 이미지)에서 RL을 적용할 때 발생하는 보상 해킹과 가중치 설정 문제를 자동화할 수 있는 방법론을 제시합니다.
읽을 때 확인할 점
-
고정된 가중치 기반 RL과 EmoReward 방식의 보상 분포 변화 비교 실험
-
감정적 표현이 강한 프롬프트 세트에서의 보상 신뢰도(Reliability) 추적 실험
-
HunyuanVideo나 FLUX와 같은 최신 비디오/이미지 모델에 해당 가중치 보정 로직 이식 테스트