Game-Guided Skill Discovery through Self-Play for Playable Agent Control

기존의 비지도 스킬 발견 방식은 의미적 구별성, 해석 가능성, 표현력을 동시에 확보하기 어려웠습니다. 본 논문은 게임 환경에서의 경쟁적 플레이를 통해 인간이 직접 제어할 수 있는 모터 스킬을 발견하는 GGSD 프레임워크를 제안합니다. 계층적 구조를 통해 상위 정책은 이산적인 스킬 세트를 선택하고, 하위 정책은 해당 스킬에 따른 동작을 학습하며 자기 대전 방식으로 훈련됩니다. 훈련 후에는 상위 정책을 인간의 입력으로 교체하여 에이전트를 직접 조작할 수 있습니다. 실험 결과, 제안된 스킬은 인간이 조합하여 미지의 작업(Maze, CubePush 등)을 해결할 수 있을 만큼 높은 표현력을 보여주었습니다.

• 자기 대전(Self-play)을 활용하여 인간이 직관적으로 사용할 수 있는 의미 있는 스킬 세트 발견

• 상위 정책(스킬 선택)과 하위 정책(동작 실행)의 계층적 구조를 통한 제어 추상화

• 적은 수의 이산적 스킬 조합만으로도 복잡한 태스크를 해결하는 창발적 콤보 동작 구현

• 제공된 데모를 통해 스킬 간의 전이 및 조합 특성 분석

• 간단한 물리 시뮬레이션 환경에서 이산적 스킬 세트의 표현력 테스트

• 기존 비지도 학습 기반 스킬 학습 방식과 비교 실험