요약
인텔이 HBM 대신 최대 480GB LPDDR5X를 단 추론 전용 GPU Intel D270을 공개했습니다.
인텔이 제품 페이지로 소개한 데이터센터 GPU입니다. 대형 모델 학습보다는 이미 배포한 모델을 돌리는 추론, 특히 에이전트 AI와 긴 문맥 처리를 겨냥했습니다.
왜 중요한가
- 값비싼 HBM(고대역폭 메모리) 없이 메모리 용량을 키워, 더 적은 GPU로 큰 모델과 긴 문맥을 올리려는 접근입니다.
- 공랭식 PCIe 카드라서 지금 쓰는 서버와 전력, 랙 안에서 추론 용량을 늘리려는 기업과 정부 클라우드를 노립니다.
핵심 내용
- 카드당 최대 480GB LPDDR5X 메모리, Xe3P 코어 32개, XMX 행렬 엔진 256개를 갖췄고 소비 전력은 350W입니다.
- 표준 PCIe 5.0 카드라서 수랭 개조나 전용 네트워크 없이 기존 서버에 꽂을 수 있다고 했습니다.
- 에이전트 작업은 프롬프트를 먼저 읽어 들이는 프리필(prefill) 단계가 비용을 좌우한다며 와트당 처리량을 내세웠습니다.
- 그래픽과 레이 트레이싱 회로에 쓰던 칩 면적을 연산 코어와 행렬 엔진에 돌렸다고 밝혔습니다.
- vLLM과 PyTorch에서 주요 공개 모델을 출시 당일부터 지원한다고 했지만 가격, 출시 일정, 성능 수치는 밝히지 않았습니다.
HN 반응
- 인텔 발표에 나온 대역폭 1.5TB/s를 두고 일반 RAM 계열로는 인상적이라는 평가와, RTX 5090(1.79TB/s)보다도 낮아 큰 모델은 느릴 것이라는 반론이 갈렸습니다.
- 일부 이용자는 RTX Pro 6000보다 대역폭은 조금 낮아도 메모리는 5배, 전력은 절반 가까이라며 소규모 사업장에서 여러 모델을 함께 돌리기에 맞다고 봤습니다.
5~8년 뒤에 이걸 사면 정말 끝내주겠네요!
지금은 3090 두 장에 램 128GB로 3.8 flash-next180b(양자화 버전이 97GB입니다)를 돌리는데, 초당 120토큰으로 쌩쌩 돌아갑니다. 범용 작업에는 놀랍도록 괜찮은 모델이고, 에이전트 쪽 도구와 엮으면 어떨지는 곧 확인해 볼 참입니다. 에이전트 작업에서는 컨텍스트가 차면 속도가 꽤 떨어지긴 하지만... 일반 소비자용 하드웨어로 180b 모델을 돌리는데 뭘 더 바라겠습니까?
지금은 우리 회사 asterisk PBX와 radius 서버의 관리자 역할을 맡겨 놓았고, CCTV 영상을 보고 보안팀에 알릴지 상위 수준의 판단도 시킵니다. 지금까지는 아주 잘해 주고 있습니다. 에이전트가 새로운 UI입니다. 이제 모든 게 SSH만으로 돌아갑니다.
정의는 엉성하고 계속 바뀌고, 가끔은 버튼이 아무 일도 안 하거나 엉뚱한 일을 하거나 프로덕션 DB를 통째로 날려 버리는 게 UI라고요?
글쎄요. 프로토타입이라면 그럴 수도 있겠지만, 애초에 우리가 소프트웨어라는 걸 하는 이유가 어느 정도의 결정론을 원해서잖아요.
AI 이전 10년 동안 제가 만난 UI/UX 결정이 전부 딱 저랬거든요. 네, 완벽한 요약입니다.
ㅋㅋ 에이전트가 만드는 UX 개발은 저도 전적으로 동의해요. 형편없을 때가 많고, AI로 10배 빨라지라고 사방에 닦달하는 회사가 어디인지도 티가 나죠. 하지만 문제는 코딩이 아니라 테스트입니다. 제가 처음 만든 UX 렌더링도 대개 별로고, 완벽해지는 건 반복을 거치면서예요. 에이전트 개발도 마찬가지입니다.
제가 말한 건 에이전트가 UX를 만든다는 얘기가 아니었어요. 적어도 우리 경우엔 에이전트 자체가 UX라는 뜻이었습니다. "Sam한테 줄 내선 117을 Jane 옆 포트에 새로 만들고, 사무실에 없을 때는 휴대폰으로 연결되게 해줘. 기존 117은 그대로 두되 Sam이 있는 곳이 확인될 때만 거기서 울리게 하고" 이런 식이에요. 에이전트가 SSH로 전부 처리하니까 마우스로 여기저기 클릭하는 대신 말로 시키면 됩니다. 우리는 이제 내부 시스템용 UX를 만들지 않습니다. 올바른 도구와 정책만 갖추면 로컬 추론도 믿고 쓸 만큼 충분히 강력하고, 하드웨어에 1만~2만 달러면 자체 완결이 됩니다. (동시에 쓰는 사람이 많다면 당연히 돈이 더 들죠.)
"묘한 비법" 하나는 모든 것에 테스트 지그를 만들어 두는 겁니다. 설정을 배포하기 전에 장난감 인스턴스로 먼저 테스트하고, 기존 기능은 흔한 경우를 전부 돌려 보고, 새 기능은 검증하고, 입력은 퍼징하고, 적대적으로 괴롭혀 보고, 더미 부하로 스트레스 테스트를 합니다. 코드라면 개발 정책, 자기 완결성, 명시적인 인터페이스 경계, 경쟁 상태, 코드 표준, 복잡도, 분해 가능성을 기준으로 검토하고, 아키텍처 선택지를 A/B 테스트까지 자주 합니다. 암호화 등 몇 가지를 제외하면 라이브러리 사용은 대체로 금지합니다. 필요도 없고, 어차피 우리 테스트를 통과하는 코드가 나오지 않거든요.
사람들은 그냥 YOLO로 갑니다. 대충 돌아가고 겉보기에 맞으면 완벽하다고 여기죠. UX 담당자한테 "뻔한 것만 테스트하고, 얼핏 맞아 보이면 머지해. 꼼꼼한 테스트는 하지 마"라고 해도 결과는 똑같을 겁니다.
AI의 진짜 의미는 이제 터무니없이 많은 자동화 테스트를 감당할 수 있다는 겁니다. 테스트 픽스처, 하드웨어 시뮬레이터, 외부 인터페이스를 흉내 낸 마네킹, 퍼징 같은 걸 마음껏 구축할 수 있어요. 우리는 테스트 코드가 제품 코드의 2~3배고, 사람이 하던 때보다 버그는 10%만 내보내면서 비용은 4분의 1, 속도는 4~10배입니다.
지금 온 천지에 쓰레기를 쏟아내는 사람들은 프로세스 설계가 나쁜 겁니다. 그게 전부예요. 예전에 사람과 하던 방식 그대로 AI로 소프트웨어를 만들려 하면 고생하게 됩니다. 파이프라인이 완전히 다르거든요.
AI를 쓰면 반복 주기가 10배, 100배 빨라집니다. 개발자가 들이는 노력은 같은데 같은 시간에 수십 가지 아이디어를 시험해 볼 수 있어요.
반복에는 인간적인 측면도 있습니다. 사람이 열심히 코드를 짰으면 그 성공에 개인적으로 애착이 생기죠. 그래서 반복, 즉 누군가의 노고를 갈아엎는 일은 심리적으로 상처가 되고 팀 안에서 갈등을 낳습니다. AI가 쓰고 AI가 지우면 아무도 기분 상하지 않아요. 중요한 건 좋은 아이디어뿐입니다. 반복의 인간적 비용을 줄이는 것도 시간 절약만큼 중요합니다.
게다가 구현 시간이 줄어든 만큼 테스트에 쓸 시간이 훨씬 많아졌죠. 다들 더 하고 싶어 했던 바로 그 테스트 말입니다. 초지능 100배 개발자(AI)가 코딩 파트너고 회귀 테스트 자동화에도 100배 지렛대가 생겼으니, 이제 UX가 나쁜 건 변명의 여지가 없습니다.
> AI를 쓰면 반복 주기가 10배, 100배 빨라집니다. 개발자가 들이는 노력은 같은데 같은 시간에 수십 가지 아이디어를 시험해 볼 수 있어요.
UX만이 아니라 다른 모든 것도 마찬가지입니다. 시간이나 지식이 부족해서 묵혀 두던 아이디어와 사이드 프로젝트가 AI 덕분에 줄줄이 만들어져 시험대에 오르고 있어요.
특정 콘솔에 묶여 있던 옛날 비디오 게임을 리버스 엔지니어링해서 멀티 플랫폼으로 내놓는 사례가 최근 급증한 게 그 증거입니다.
아니면 허접한 IoT 스마트홈 기기를 리버스 엔지니어링해서 더 나은 멀티 플랫폼 UI 컨트롤러를 만드는 사람들도 있고요.
그래서 요즘도 기술 쪽 사람들이 "AI는 나한텐 쓸모없어"라고 태연히 말하는 게 정말 이해가 안 됩니다. 상상력이 부족한 걸까요?
잘 말씀하셨습니다. 바로 그겁니다. 많은 사람이 에이전트 설계를 거꾸로 합니다. YOLO로 가다가 울죠. 하지만 먼저 스킬과 스펙을 쓰고, 리뷰 계층, 판별 계층, 궤적 관리 계층까지 포함해 오케스트레이션, 아키텍처, 흐름을 구성한 다음, 그 뒤에 사람이 직접 공들여 만든 고품질 코드를 골든 샘플로 삼아 검증 가능한 테스트와 정적 분석 장치를 에이전트에게 만들게 하고, 그러고 나서야 규격에 맞는 코드를 쓰라고 시키면 됩니다.
에이전트(그리고 LLM)는 본질적으로 비결정적입니다. 코딩 현장에서는 이게 장기적으로 쓰레기 코드로 이어져요. 해법은 간단합니다. 과정을 최대한 결정적이고 검증 가능하고 엄격하게 만드는 겁니다. 그러면 에이전트 방식의 장점(어마어마한 초기 속도, 거의 공짜에 가까운 비용, 빠른 반복 등)은 전부 누리면서 흔한 문제는 하나도 겪지 않게 됩니다. 그리고 사람이 손으로 쓴 코드로는 최종 결과물의 품질을 맞추기 어려워지죠. 우리는 테스트, 퍼징, 디버깅에 약하니까요. 우리는 기본적으로 싱글 스레드고 한곳에 지나치게 매달리거든요. 반면 에이전트는 이런 일에 탁월하고, 컨텍스트 관리도 사람에 비하면 간단합니다.
체면 차리려고 뜬금없이 말 바꾸는 걸로 보이는데요.
어쨌든 넘어가죠.
기술을 잘못 쓰는 사람이 있는 건 저도 압니다. 세상 모든 기술이 그렇잖아요.
사실 대부분의 사람이 그렇습니다. 친구여, 기억하세요. 인구의 절반 정도는 정의상 IQ가 두 자릿수입니다.
우리가 그 절반에 속하지 않는다면 순전히 운이 좋아서일 뿐, 그 외에는 아무것도 아닙니다.
잘 돌아갑니다. MCP 서버를 튜닝한 뒤로 저는 석 달 넘게 쓰고 있어요. 에이전트 25~30개를 함대처럼 굴리는데 문제가 하나도 없고, Codex나 Claude Code로 제어합니다.
에이전트마다 설정이 따로 있어서 일반 UI로는 관리할 수 없는 일이에요. 제 에이전트는 세트로 구성되어 있고, 보통 한 세트나 여러 세트를 바꾸는데 에이전트당 설정이 10~15개입니다. MCP의 자잘한 문제를 다 잡고 나니 제 하네스는 단 한 번도 실수한 적이 없습니다.
"5~8년 뒤에 이걸 사면 정말 끝내주겠네요!"
기대되네요. 지금 가격이 얼마쯤일지 아는 분 계신가요?
제가 떠올릴 수 있는 가장 가까운 제품은 AMD의 MI350P인데, HBM3가 144GB 달려 있습니다.
언론 보도로는 AMD 가격이 3만~4만 달러라고 해요. eBay에 딱 하나 올라와 있는 건 90에 육박하는 가격인데, 그건 말이 안 됩니다. 그 돈이면 MI350X에 실제로 쓰는 데 필요한 관련 하드웨어까지 전부 살 수 있고, VRAM도 두 배니까요.
그래서 인텔 제품인 데다 HBM도 GDDR7도 아닌 LPDDR5라 성능도 시원치 않을 가능성이 크니까, 저는 4만~8만 달러쯤으로 봅니다.
저희 회사에는 96GB Blackwell 카드가 있는데, 거기서 Qwen3.8:27b를 초당 100토큰이 훌쩍 넘는 속도로 서빙합니다. 대부분은 codex보다 훨씬 빠르고요. 바로 오늘 아침에도 qwen과 codex에 같은 작업을 시켰는데, Sol 6.1이 놓친 문제를 Qwen이 짚어서 돌아왔습니다.
로컬 모델이 머지않아 OAI의 밥그릇을 완전히 빼앗을 겁니다. 남은 유일한 해자는 하드웨어 비용인데, 그걸 인위적으로 높게 유지하는 것도 그리 오래가지 못할 거예요.
램 대역폭이 인상적인 1.5TB/s인데 그걸 더 홍보할 만도 한데 말이죠.
마케팅 부서가 졸고 있나 봐요.
서버용 GPU치고는 아주 낮은 수치입니다. 2017년에 나온 제 V100이 0.9TB/s예요.
B300 한 장은 거의 8TB/s고요.
2023년에 나온 AMD MI300x는 5.3TB/s입니다.
수정: 제가 잘못 읽었네요. 이 수치가 인상적인 이유가 VRAM이 아니라 사실상 일반 램이기 때문이라는 말씀이군요.
VRAM은 메모리의 한 종류가 아니라 그냥 GPU용으로 쓰는 RAM입니다. 그러니 이 LPDDR5도 VRAM이에요. 제 Strix Halo 머신에서 그렇듯이요.
부분적으로만 맞는 말입니다. 3090 같은 데 들어가는 GDDRX는 Strix Halo나 맥, 일반 램에 들어가는 것과 물리적으로 많이 달라요. 예를 들어 전압 레벨이 2개가 아니라 4개라서 사이클당 두 배의 정보를 보낼 수 있습니다.
음, GDDR6X에 대해 안 알려 주는 게 있는데, 전압 레벨이 4개이긴 하지만 한 번의 전이로 최소에서 최대로, 또는 그 반대로 가는 일은 없습니다(PAM4 MTA). 사이클당 1.75비트를 전송해요.
그리고 GDDR7은 PAM3로 물러나서 사이클당 1.5비트를 보냅니다.
[LP]DDR도 같은 속도 범위에 들어서면 같은 기법을 쓸 가능성이 큽니다.
네, 셀 자체는 HBM과도 거의 같고 모든 마법은 버스와 신호 방식에서 일어납니다. HBM과 GDDR의 대역폭이 더 높은 데는 이유가 있고, 그만큼 트레이드오프도 있고요.
DDR은 지연 시간이 더 낮아서, 워크로드가 가변적이라 낮은 지연 시간이 더 중요한 CPU 작업에서 선호됩니다.
맞는 말씀이지만, 전통적으로는 GDDR을 가리키는 말이었어요.
5090은 1.79TB/s입니다.
그러니 그것만 놓고 보면 인상적이진 않죠.
메모리 용량이 크면 더 큰 모델을 서빙하거나 양자화를 덜 할 수 있지만, 대역폭이 낮아서 그만큼 느려지기도 합니다.
https://www.techpowerup.com/gpu-specs/geforce-rtx-5090.c4216
D270은 RTX 5090처럼 메모리 대역폭이 1.79TB/s인 RTX Pro 6000의 경쟁 제품으로 나온 거라고 확신합니다. 게다가 (희망 소비자 가격에 따라) '소규모' AI 개발용 Nvidia GB10 기반 시스템과도 경쟁할 가능성이 있고요. H200 카드 클러스터 같은 데서 기대하는 속도로 최첨단급 모델을 돌리라고 만든 제품이 아닙니다.
D270: 메모리 대역폭 1.5TB/s, 메모리 용량 480GB, 소비 전력 350W
RTX Pro 6000: 메모리 대역폭 1.79TB/s, 메모리 용량 96GB, 소비 전력 600W
메모리 대역폭은 약간 낮지만 메모리 용량은 5배고 전력 소모는 거의 절반입니다.
그렇긴 한데, 그 메모리를 단일 모델 가중치에 쓰면 약 5배 느려질 거예요.
그렇긴 한데, 이 가속기는 소규모 배포용으로 만든 것 같아요. 중간 크기 MoE LLM을 적당한 tk/s로 서빙하면서, LLM 말고도 임베딩, 리랭커, STT, TTS, 의사결정, 이미지, 비디오 같은 다른 모델 몇 개를 병렬로 같이 돌릴 수 있을 겁니다. 소규모 업체에 도입하면 이 모델을 전부 쓰겠지만 동시에 다 쓰진 않고 사용자도 수백 명은 아니겠죠. 그래도 이 카드 하나로 폭넓은 AI 기능을 제대로 갖출 수 있을 거예요.
이 시장에서는 마케팅 부서가 손가락 하나 까딱할 필요가 없습니다. 발표 한 번 없이 조용히 판매를 시작해도 1년치 주문이 밀릴 겁니다.
요즘 회사들은 매출보다 기업 가치와 주가 급등에 더 신경 씁니다. 신기하게도 D270 발표 뒤에 INTC가 3% 떨어졌고요.
다들 앞으로 몇 년간 모래(실리콘)에 조금이라도 관련된 건 전부 롱 포지션이라 더 사 줄 사람이 안 남았어요.
출처가 어디죠? 사실이라면 엄청나게 인상적인데요.
인상적이지 않은데요? M5 Ultra Mac Studio와 "비슷하게 느린" 수준이에요. 여기서 속도는 사실상 버스 폭에 제한되는 겁니다. 5090이나 RTX PRO 6000은 1.8TB/s가 나오잖아요.
https://www.intel.com/content/www/us/en/newsroom/news/artificial-intelligence/intel-accelerates-open-infrastructure-agentic-ai-era.html