Halley: A Predictive Control Plane for Optical AI Data Center Networks
광학 기반 AI 데이터 센터 네트워크의 장애를 예측하여 가용성과 처리량을 극대화하는 제어 프레임워크 Halley 제안
논문이 다루는 내용
대규모 AI 모델 학습을 위해 수만 개의 가속기가 연결된 광학 네트워크 환경에서는 구성 요소 간의 상관관계가 높은 장애가 발생할 위험이 큽니다. 기존의 고정된 예비 부품 비율 방식은 상관관계가 있는 장애 발생 시 가용성을 보장하기 어렵다는 문제가 있습니다. 본 논문은 각 리소스의 다음 상태를 읽고 장애 발생 전 선제적으로 대응하는 예측 제어 프레임워크인 Halley를 제안합니다. Halley는 레이저 풀 크기 최적화, 스위치 스케줄링, 마이크로링 제어, 고위험 모듈 보호를 위한 네 가지 핵심 구성 요소를 포함합니다. 시뮬레이션 결과, 예비 부품 소진 시 유효 처리량(goodput)이 65.2%에서 76.5%로 향상되었으며, 전력 대비 효율과 데이터 센터 용량 활용도 면에서 큰 개선을 보였습니다.
핵심 결과
-
상관관계가 있는 장애(Correlated failure)를 고려한 예측 제어 프레임워크 설계
-
LightReserve, FoldFit, ThermaLead, TriageGuard로 구성된 4단계 계층적 제어 구조
-
실제 하드웨어(FPGA) 및 130nm 공정 검증을 통한 실현 가능성 입증
실무에서 볼 만한 점
대규모 분산 학습 환경에서 하드웨어 장애로 인한 학습 중단 비용을 줄이고, 광학 네트워크 자원 활용도를 극대화하는 데 중요한 통찰을 제공합니다.
읽을 때 확인할 점
-
광학 네트워크의 상관관계 장애 모델링 실험
-
예측 제어 알고리즘의 하드웨어 가속(FPGA) 구현 성능 비교
-
기존 고정 정책 대비 예측 기반 정책의 가용성 벤치마크 수행