OpenTumorBoard: A Real-World Benchmark of Multidisciplinary Tumor Board Discussion Trajectories

다학제 암 진료 협진(Tumor Board)은 복잡한 임상 데이터와 환자 이력을 통합하여 전문가들이 논의하는 과정이지만, 이를 평가할 벤치마크는 부족한 실정입니다. 연구진은 YouTube의 공개된 진료 영상을 기반으로 611개 환자 사례와 19,157개의 발화로 구성된 OpenTumorBoard 벤치마크를 구축했습니다. 이 벤치마크는 특정 질문에 답하는 'SPECIALIST TURN'과 전체 토론을 시뮬레이션하여 합의에 도달하는 'BOARD SIMULATION' 두 가지 설정을 평가합니다. 실험 결과, 최신 범용 및 의료 특화 LLM들은 전문가의 답변과 합의 도달 측면에서 성능 한계를 보였습니다. 하지만 SFT와 RL을 통한 미세 조정은 성능 향상을 이끌어내어 실무 데이터가 모델 적응에 유효함을 입증했습니다. 최종적으로 연구진은 멀티 에이전트 기반의 개인 맞춤형 암 치료 의사결정 모델 개발을 위해 이 벤치마크를 공개합니다.

• 611개 환자 사례 및 19,157개 발화로 구성된 대규모 실세계 진료 협진 벤치마크 구축

• 단일 질문 응답(Specialist Turn)과 전체 토론 시뮬레이션(Board Simulation) 두 가지 평가 프레임워크 제공

• SFT 및 RL을 통한 모델 미세 조정이 실세계 토론 궤적 학습에 효과적임을 입증

• 제공된 데이터셋을 활용하여 멀티 에이전트 협업 프레임워크(AutoGPT, LangGraph 등)의 성능 테스트

• SFT/RL 기법을 적용하여 특정 전문의 역할(Role-playing)에 대한 모델 정렬 실험

• LLM 기반의 임상 합의 도출(Consensus reaching) 알고리즘 성능 비교