논문Hugging Face
JarvisHub: An Open Harness for Canvas-Native Multimodal Creative Agents
논문 ID: 2607.23588101 추천
#Agent#Multimodal#Canvas-Native#Workflow#Vision#Video#Audio#Evaluation
핵심 요약
캔버스 기반의 상태 관리와 에이전트 실행 환경을 결합하여 장기적인 멀티모달 창작 작업을 지원하는 오픈 프레임워크
상세 내용
최근 생성형 AI는 단일 자산 생성을 넘어 장기적인 멀티모달 제작 단계로 진화하고 있습니다. 그러나 기존의 채팅이나 노드 기반 시스템은 작업 과정에서의 맥락, 버전 관리, 도구 간 의존성 등을 통합적으로 관리하기 어렵다는 한계가 있습니다. 이를 해결하기 위해 본 논문은 캔버스를 에이전트의 외부 메모리이자 작업 공간으로 활용하는 JarvisHub를 제안합니다. JarvisHub는 캔버스 상태, 프로토콜 브리지, 에이전트 런타임의 3계층 구조를 통해 에이전트가 생성된 결과물을 검토, 수정, 조직화할 수 있게 합니다. 결과적으로 사용자의 개입이 용이하면서도 에이전트가 지속적인 창작 자동화를 수행할 수 있는 환경을 제공합니다.
주요 내용
- 캔버스를 에이전트의 외부 메모리, 액션 공간, 공유 프로젝트 상태로 정의하는 설계
- 멀티모달 결과물, 의존성, 버전을 타입화된 노드와 링크로 관리하는 구조
- 사용자의 개입과 에이전트의 자동화가 공존하는 3계층 아키텍처(Canvas State, Protocol Bridge, Agent Runtime)
실무에서 볼 만한 점
단순 챗봇 형태를 넘어, 복잡한 워크플로우와 버전 관리가 필요한 에이전트 시스템 설계 시 참조할 수 있는 구조적 프레임워크를 제시합니다.
참고할 행동
- 캔버스 기반 UI와 에이전트 상태 동기화 로직 구현 실험
- 멀티모달 자산 간의 의존성 그래프(Dependency Graph) 관리 모델 적용
- 사용자 피드백이 에이전트의 계획(Planning)에 반영되는 루프 설계