Turns Matter: Advancing Streaming Video RL via Turn-Level Credit
스트리밍 비디오 이해를 위해 트레이닝 단계에서 턴(Turn) 단위의 보상을 할당하여 중복 응답을 방지하고 정보 효율성을 높인 RL 프레임워크
논문이 다루는 내용
스트리밍 비디오 이해 모델은 관찰을 계속할지 혹은 응답할지를 반복적으로 결정해야 합니다. 기존의 GRPO 방식은 트레이닝 시 전체 경로(Trajectory)에 대해 단일 보상을 부여하여, 이전 결정의 성공/실패가 이후의 유효한 결정에 영향을 미치는 신호 왜곡 문제가 발생했습니다. 이를 해결하기 위해 제안된 TurnWise는 개별 결정에 대한 신호를 분리하는 턴 단위 신용 할당(Turn-level credit assignment) 방식을 도입했습니다. 또한, 응답 길이와 상관없이 대기(Waiting)와 응답(Response) 결정에 균등한 가중치를 부여하는 Turn-mean 정책 최적화를 적용했습니다. 실험 결과, TurnWise는 별도의 Critic 모델 없이도 기존 RL 방식보다 우수한 성능을 보이며 중복 응답을 줄이고 정보 전달력을 높였습니다.
핵심 결과
-
Turn-level credit assignment: 이전 결정의 보상과 분리된 턴별 상대적 이점(Advantage) 계산
-
Turn-mean policy optimization: 토큰 손실을 턴 단위로 평균화하여 응답 길이 차이에 따른 편향 제거
-
Critic-free learning: 추가적인 Critic 모델이나 Rollout 없이 효율적인 스트리밍 정책 학습 가능
실무에서 볼 만한 점
실시간 비디오 스트리밍 환경에서 모델이 불필요하게 말을 길게 하거나, 적절한 타이밍에 응답하지 못하는 문제를 RL로 해결하는 실무적 방법론을 제시합니다.
읽을 때 확인할 점
-
기존 GRPO 기반 에이전트의 보상 구조를 턴 단위로 분리하여 적용해보기
-
응답 길이(Token length)가 보상에 미치는 편향을 제거하기 위한 Loss 평균화 로직 테스트
-
비디오 스트리밍 데이터셋에서 Turn-level vs Trajectory-level 보상 효율 비교 실험