OpenAIAI & LLM
Jalapeño’s first results show industry-leading speed and efficiency in AI inference - OpenAI
2026년 8월 25일 오후 02:28
#Custom-Silicon#Agentic-Workload#Infra#AI#Benchmark
요약
OpenAI가 자체 설계한 맞춤형 추론 칩 'Jalapeño'의 성능 결과가 공개되었으며, 이는 기존 하드웨어의 한계인 처리량(Throughput)과 지연 시간(Latency) 사이의 트레이드오프를 극복한 것이 특징입니다. 이 칩은 LLM(Large Language Model) 추론에 최적화된 풀스택 설계를 통해 에너지 효율과 응답 속도를 동시에 혁신했습니다.
기술적으로 볼 만한 점
Jalapeeño는 GPT-OSS 120B, DeepSeek R1, Kimi K2.5 1T 등 다양한 모델에서 기존 시스템 대비 1.5~1.9배 높은 전력 대비 성능(Work per watt)과 1.7~3.6배 낮은 엔드투엔드(End-to-end) Latency를 달성했습니다. 특히 Prefill(입력 처리) 단계의 연산 집약적 특성과 Decode(토큰 생성) 단계의 메모리 대역폭 제약 문제를 해결하기 위해, KV Cache를 포함한 모델 상태를 로컬에 유지하며 데이터 이동을 최소화하는 아키텍처를 채택했습니다. 또한, AI가 직접 칩의 산술 회로를 최적화하고 프로그래밍하는 루프를 구축하여 설계부터 테이프아웃(Tapeout)까지 9개월 만에 완료하는 압도적인 개발 속도를 보여주었습니다.
주요 내용
- Jalapeño는 데이터 이동과 통신 지연을 최소화하여, 연산 성능과 메모리 대역폭 사이의 균형을 맞춘 'Pareto frontier'급 효율을 제공합니다.
- Agentic workload(에이전트형 작업)처럼 연속적인 단계가 필요한 작업에서 2.1~4.1배 높은 성능을 발휘하여 복합적인 추론 과제를 효율적으로 처리합니다.
- AI가 설계 및 최적화에 직접 참여하는 'AI-driven design' 방식을 통해, 인간 전문가가 작성한 코드보다 1.5~1.8배 빠른 커널 구현 성능을 입증했습니다.
- 하드웨어, 메모리, 네트워크, 소프트웨어를 통합 설계하는 풀스택 전략을 통해 모델 규모가 커질수록 유리한 구조적 우위를 확보했습니다.