OpenAI, 첫 자체 설계 AI 칩 '할라피뇨(Jalapeño)' 공개… 추론 전용으로 엔비디아에 정면 도전

OpenAI가 마침내 자체 칩을 손에 쥐었습니다. 6월 24일(현지시간) OpenAI는 브로드컴(Broadcom)과 함께 설계한 첫 맞춤형 AI 칩 'Jalapeño(할라피뇨)'를 공개했는데요. 챗GPT를 만든 회사가 소프트웨어와 모델을 넘어 그것을 굴리는 하드웨어까지 직접 만들기 시작했다는 점에서 의미가 큰 발표입니다.
OpenAI는 Jalapeño를 자사의 첫 '인텔리전스 프로세서(Intelligence Processor)'라고 부릅니다. OpenAI 블로그의 표현을 빌리면 "거대언어모델(LLM) 추론(inference)의 미래에 대한 OpenAI의 비전을 중심으로 설계된 가속기"인데, 쉽게 말해 챗GPT 같은 LLM을 돌리는 데 특화된 칩이라는 거죠. 발표 현장에서는 브로드컴의 혹 탄(Hock Tan) CEO가 OpenAI의 샘 올트먼 CEO와 그렉 브록만 사장에게 칩을 직접 전달하는 장면이 연출됐습니다.
Jalapeño의 정체성은 '추론 전용 ASIC'이라는 데 있습니다. 추론은 이미 학습을 끝낸 AI 모델이 실제 사용자에게 답을 만들어 주는 과정을 말합니다. 모델을 훈련시키는 학습(training)과 달리, 챗GPT가 답을 내놓는 그 순간순간이 전부 추론이거든요. AI가 실제로 사람과 만나는 지점이 바로 여기인 만큼, 추론의 비용·속도·안정성을 개선하면 챗GPT 응답이 빨라지고 API 운영비가 내려가는 식으로 곧장 체감된다는 게 OpenAI의 논리입니다.
OpenAI는 Jalapeño가 엔비디아·AMD가 내놓는 범용 GPU나, 기존 학습용 가속기를 추론에 맞게 손본 칩이 아니라고 못 박았습니다. LLM 추론만을 위해 백지에서 새로 설계했다는 겁니다. 데이터 이동을 줄이고 연산·메모리·네트워킹 자원의 균형을 맞춰, 이론상 최대 성능에 훨씬 가깝게 칩을 활용하도록 구조를 짰다고 설명합니다. OpenAI 하드웨어 프로그램을 이끄는 리처드 호(Richard Ho)는 "초기 테스트 기준으로 Jalapeño는 가장 중요한 작업들을 하드웨어의 이론적 한계에 가깝게 효율적으로 실행할 것"이라고 밝혔습니다.
성능에 대해 OpenAI는 "와트당 성능(performance per watt)이 현재 최고 수준(state-of-the-art)보다 상당히 우수하다"고 주장했습니다. 다만 여기엔 단서가 붙습니다. 최종 성능 측정이 아직 진행 중이고, 구체적인 기술 보고서는 향후 몇 달 안에 따로 내겠다고 했거든요. 어떤 칩과 비교했는지, 어떤 작업·조건에서 측정했는지는 공개되지 않았습니다. 따라서 이 단계에서는 "OpenAI의 주장" 수준으로 받아들이는 게 정확합니다.
현재 Jalapeño의 엔지니어링 샘플은 실험실에서 실제 생산 목표 주파수·전력으로 머신러닝 작업을 돌리고 있으며, 여기엔 GPT-5.3-Codex-Spark 모델도 포함된다고 합니다.
개발 속도도 화제입니다. OpenAI는 Jalapeño가 "초기 설계부터 제조용 테이프아웃(tape-out)까지 단 9개월 만에 공동 개발됐다"고 밝혔습니다. 새 프로세서 개발 주기가 보통 몇 년 단위인 점을 감안하면 이례적으로 빠른 속도인데, OpenAI는 이 속도가 자사 엔지니어링 팀과 브로드컴의 실리콘 구현 역량, 그리고 설계·최적화 과정 일부에 OpenAI 자체 모델을 활용한 결과라고 설명했습니다. AI가 AI 칩을 만드는 데 거들었다는 얘기죠. 두 회사의 협업이 공식 발표된 게 2025년 10월이었으니, 그로부터 따져도 상당히 빠른 셈입니다.
Jalapeño는 일회성 제품이 아니라, OpenAI와 브로드컴이 함께 구축하는 '여러 세대에 걸친 컴퓨팅 플랫폼(multi-generation compute platform)'의 첫 칩으로 자리매김됐습니다. 보드·랙·시스템 통합에는 셀레스티카(Celestica)가, 네트워킹에는 브로드컴의 Tomahawk 실리콘이 함께 들어갑니다.
배치 시점은 2026년 말로 예정돼 있습니다. 혹 탄 CEO는 "마이크로소프트를 비롯한 파트너들과 기가와트급 데이터센터 배치를 2026년부터 시작한다"고 밝혔습니다. 도시 단위의 전력을 요구하는 규모의 데이터센터입니다. 외신에 따르면 마이크로소프트가 이 칩의 상당 물량을 확보할 것으로 전해지며, 일부 보도(블룸버그)는 Jalapeño가 추론 비용을 약 50%가량 낮출 것으로 봤습니다. 다만 이 수치는 OpenAI 공식 발표가 아닌 외신 보도 기반이라는 점은 감안해야 합니다.
이번 발표는 OpenAI의 '풀스택(full-stack)' 전략을 상징합니다. 모델과 애플리케이션(챗GPT, Codex)에 이어 그것을 돌리는 칩까지 직접 설계함으로써, 칩부터 제품까지 위아래를 모두 손에 쥐겠다는 겁니다. 구글·메타·아마존이 자체 칩으로 걸어온 길과 같은 맥락입니다.
업계는 이를 엔비디아에 대한 견제로 읽습니다. OpenAI는 여전히 엔비디아의 최대 고객 중 하나이고, 올해 2월에는 엔비디아로부터 300억 달러 직접 투자를 포함한 대규모 자금을 유치하기도 했습니다. 그러면서도 AMD, 아마존, 세레브라스(Cerebras) 등과 칩 협력을 넓히고, 이번엔 자체 칩까지 내놓으며 엔비디아 의존도를 분산시키는 모습입니다. 흥미로운 건 OpenAI가 Jalapeño를 자사 모델뿐 아니라 업계 전반의 현재·미래 LLM과도 호환되도록 설계했다고 밝힌 점입니다. 공급만 뒷받침된다면 OpenAI가 향후 하드웨어를 외부에 판매하는 인프라 사업자로 변모할 가능성까지 열어둔 셈입니다.
발표 직후 브로드컴 주가는 3% 이상 올랐습니다. 생성형 AI 붐의 최대 수혜주 중 하나인 브로드컴에게, OpenAI와의 협업은 단순한 수주를 넘어 평판을 끌어올리는 촉매로 작용하고 있습니다.
참고링크
- OpenAI : https://openai.com/index/openai-broadcom-jalapeno-inference-chip/
- Engadget : https://www.engadget.com/2201045/openai-broadcom-jalapeno-inference-processor-ai-accelerator/
- VentureBeat : https://venturebeat.com/infrastructure/openai-unveils-first-custom-ai-inference-chip-jalapeno-with-broadcom-and-its-development-was-sped-up-with-openais-own-models