The SIMPLE Law for Energy Cost of LLM Inference
LLM 추론 에너지 비용을 아키텍처 하이퍼파라미터 기반으로 예측하는 범용적인 수식 모델(SIMPLE Law) 제안
논문이 다루는 내용
생성형 AI의 토큰 비용은 KV-캐시 누적으로 인해 비선형적으로 증가하지만, 기존에는 모델별로 개별 피팅이 필요한 모델링 방식이 주를 이루었습니다. 본 논문은 아키텍처 하이퍼파라미터를 기반으로 연산 및 메모리 접근 복잡도를 설명하는 폐쇄형 수식을 유도했습니다. 이를 통해 prefill과 decode 비용을 분리하고, KV-캐시 비용과 차기 토큰 연산 비용을 구분하는 'SIMPLE' 모델을 도출했습니다. NVIDIA H100 환경에서 13개 모델로 검증한 결과, 별도의 모델별 보정 없이도 기존 SOTA 대비 훨씬 낮은 오차율로 에너지 소비를 예측했습니다. 결과적으로 이 법칙은 GQA의 효율성, 추론 예산 증가에 따른 에너지 효율 저하, 에이전트 서비스의 높은 비용 구조를 명확히 설명합니다.
핵심 결과
-
모델별 개별 피팅 없이 아키텍처 파라미터만으로 에너지 비용을 예측하는 범용 법칙(SIMPLE) 개발
-
Prefill과 Decode(KV-cache vs Next-token) 비용을 분리하여 에너지 증가 원인을 정밀 분석
-
GQA 도입 시 에너지 절감 효과 및 추론 토큰 증가에 따른 에너지 효율(Intelligence per Joule) 저하 현상 규명
실무에서 볼 만한 점
LLM 서비스 설계 시 토큰 길이나 에이전트 워크플로우에 따른 에너지 비용 및 운영 비용을 사전에 예측하고 최적의 모델/파라미터를 결정하는 데 도움을 줍니다.
읽을 때 확인할 점
-
GQA(Grouped Query Attention) 적용 여부에 따른 추론 비용 변화량 비교 실험
-
입력 길이(Prefill)와 출력 길이(Decode) 변화에 따른 에너지 효율 곡선 시뮬레이션
-
에이전트 워크플로우 도입 시 발생하는 KV-캐시 비용 증가량 산출