데이터센터 투자 부담이 커지는 사이 AI 연산이 스마트폰과 자동차 안으로 이동하고 있어서 정리해 봅니다.
1. 온디바이스 AI는 데이터를 클라우드 서버로 보내지 않고 스마트폰·PC·자동차 안에서 직접 계산하는 방식임.
2. 쉽게 말해 AI에게 일을 맡길 때 먼 서버로 출장을 보내지 않고 내 기기 안에서 바로 처리하는 구조임.
3. 2024년 1분기 온디바이스 AI를 탑재한 글로벌 스마트폰 AP 출하량은 전년 동기보다 32% 증가함.
4. AP는 스마트폰의 두뇌처럼 앱 실행과 각종 연산을 맡는 핵심 반도체임.
5. 당시 퀄컴·미디어텍·애플이 온디바이스 AI용 AP 물량을 지배했고 미디어텍은 Dimensity 9300으로 진전함.
6. 2025년 북미는 글로벌 온디바이스 AI 시장 매출의 34.5%를 차지함.
7. 같은 해 하드웨어 부문은 시장 매출의 56.6%를 차지해 가장 큰 영역이 됨.
8. 칩이 시장의 절반을 넘김.
9. 2026년부터 2033년까지 온디바이스 AI 시장의 연평균 성장률은 27.8%로 전망됨.
10. 성장 동력은 스마트폰·웨어러블·차량·사물인터넷 기기가 서버 응답을 기다리지 않고 판단하려는 수요임.
11. 특화 AI 칩과 경량 모델의 발전으로 전력과 메모리가 부족한 작은 기기에서도 복잡한 AI를 돌릴 수 있게 됨.
12. 모델 압축과 양자화는 큰 AI 모델의 부피를 줄여 기기 안에 넣고 추론 속도를 높이는 포장 압축 같은 기술임.
13. 판이 달라지기 시작함.
14. AI 학습은 수천만 번에서 수조 번이 넘는 복잡한 행렬 곱셈을 빠르게 풀어야 해 병렬 처리에 강한 GPU가 필요함.
15. GPU는 학습과 추론을 모두 처리하지만 학습 중심 구조라 추론에서는 가격과 전력 소모가 부담임.
16. 추론은 이미 배운 AI가 사용자의 질문을 받고 실제 답을 만드는 과정임.
17. 여기서 NPU가 등장함.
18. NPU는 학습을 과감히 포기하고 추론에 집중해 비용과 전력을 낮추면서 성능을 확보하는 칩임.
19. 2026년 3월 정부는 GPU의 전력·비용 한계를 넘기 위한 국산 NPU 생태계 구축 계획을 내놓음.
20. 리벨리온과 퓨리오사AI 같은 국내 AI 반도체 스타트업도 NPU 개발에 뛰어듦.
21. 리벨리온은 2026년 3월 6,400억원 규모 프리 IPO 투자를 유치하며 약 3조4,000억원의 기업가치를 인정받음.
22. 리벨리온 투자에는 국민성장펀드 2,500억원과 산업은행 500억원을 합친 정책 자금 3,000억원이 투입됨.
23. 정부는 5년간 150조원 규모 국민성장펀드 가운데 15조원을 혁신 기업 지분 투자에 집행할 계획임.
24. 리벨리온은 약 300명인 조직을 국내외 엔지니어 채용으로 2배 이상 확대할 방침임.
25. 돈과 사람이 NPU로 모임.
26. 리벨리온의 ‘리벨100’도 AI 추론에 특화돼 기존 GPU 중심 구조의 약점을 보완하는 NPU임.
27. AI 추론 시장은 2023년 약 106억달러에서 2030년 255억달러로 성장할 전망임.
28. 젠슨 황 엔비디아 CEO는 AI 에이전트 등장으로 필요한 추론량이 챗GPT 초기보다 1만배 늘었다고 밝힘.
29. 데이터센터에서도 추론 수요가 커지면서 반도체 시장이 GPU 일변도에서 전력과 비용에 강한 NPU로 갈라지는 중임.
30. 온디바이스 AI는 실시간 통역·사진 편집·음성 비서·문서 요약을 인터넷 없이 빠르게 처리할 수 있음.
31. 데이터를 외부 서버로 보내지 않아 금융·의료·기업 보안처럼 개인정보가 중요한 분야에서도 의미가 커짐.
32. 인터넷이 불안정해도 작동해 스마트폰을 넘어 자동차·로봇·스마트팩토리로 적용 범위가 넓어지는 중임.
33. 작은 칩이 서버 일을 가져옴.
34. 2026년 7월 퀄컴은 Snapdragon 8 Elite Gen 5의 NPU가 이전 세대보다 37% 빠르고 전력 효율은 16% 개선됐다고 밝힘.
35. 미디어텍은 Dimensity 9500의 NPU가 전작보다 2배 빠르고 최대 전력 소비는 56% 줄었다고 밝힘.
36. 애플 A19 Pro는 16코어 Neural Engine을 GPU 기반 가속기와 밀접하게 묶어 AI와 그래픽을 함께 처리함.
37. 아이폰 17의 Apple Intelligence는 약 30억개 매개변수 규모의 기기 내 기반 모델을 A19 Neural Engine으로 실행함.
38. Apple Intelligence 요청의 약 80%는 기기 안에서 처리되고 나머지는 일반 클라우드가 아닌 Private Cloud Compute로 이동함.
39. 아이폰 17은 12개 언어의 완전 오프라인 번역을 지원하고 Gemini Nano의 오프라인 작동 범위는 5개 언어임.
40. 삼성 실시간 통화 번역은 최고 품질에서 클라우드 연결이 필요하고 오프라인에서는 낮은 품질의 기기 내 모드로 전환됨.
41. 숫자만으로 승자를 고르기는 어려움.
42. 애플 A19 Neural Engine은 38 TOPS, Snapdragon 8 Elite Gen 5는 100 TOPS로 제시됐지만 직접 비교 가능한 원시 수치 공개 여부는 자료별로 차이가 있음.
43. TOPS는 칩이 1초에 처리할 수 있다고 주장하는 연산량이지만 NPU에는 Geekbench 같은 공통 산업 표준 벤치마크가 아직 없음.
44. 실제 언어모델 추론 속도는 Pixel 10이 초당 약 10.4토큰, iPhone 17이 초당 약 52토큰으로 제시됨.
45. 토큰은 AI가 글을 읽고 내놓을 때 사용하는 짧은 글자 조각이라 초당 토큰이 많을수록 답을 더 빠르게 생성함.
46. 안드로이드는 퀄컴 QNN·미디어텍 NeuroPilot·삼성 ENN으로 개발 도구가 갈리고 세 생태계를 잇는 공통 통로가 없음.
47. 이 단편화 때문에 Snapdragon의 100 TOPS가 애플 Neural Engine처럼 다양한 외부 앱에서 그대로 활용되기 어려움.
48. 2026년 8월에도 엔비디아 GPU 주문과 HBM 수요는 강했지만 엔비디아·오라클의 CDS와 코어위브의 자금조달 비용은 상승함.
49. 시장은 AI 성능보다 “이 거대한 AI 혁명에 필요한 돈은 도대체 누가 낼 것인가”를 묻기 시작함.
한줄 코멘트. 데이터센터 전쟁이 끝나는 게 아니라 비싼 서버에 몰렸던 추론이 스마트폰·자동차·로봇으로 넓어지는 흐름임. 다음 승부는 TOPS 숫자보다 전력 효율, 실제 처리 속도, 개발자가 쉽게 쓸 수 있는 생태계에서 갈릴 가능성이 큼. GPU·HBM 수요와 별개로 NPU와 온디바이스 소프트웨어 생태계는 지켜볼 필요가 있음.
댓글