우리가 사용하는 다양한 기기에 온디바이스가 깔리게 되면 기존 빅테크 IT 기업들만 재미보던 AI 시장에 전자기기 기업들도 참전하게 돼. 스마트폰, PC, 노트북, 헤드셋은 물론 자동차, 선박, 드론, 전투기까지... 서버를 거치지않고 알아서 판단하고 움직이는 기기들이 즐비해지지. 이렇게 훨씬 더 많은 기업들이 시장에 참여하면서 온디바이스 AI 시장은 쭉쭉 성장하고 있어.

2024년 온디바이스 AI 시장 규모는 148억 7천만 달러, 벌써 우리나라 돈으로 20조가 넘는 거대한 시장이야. 이 시장은 매년 27.9% 성장할 것으로 예측되고 있어. 앞으로 5년 뒤인 2030년에는 650억 달러로, 4배 이상 성장할 것으로 전망되고 있지. 2034년엔 거기서 2.5배 더 늘어난 1,741억 달러 규모의 시장으로 늘어나고.

물론 이런 장밋빛 미래가 담보되려면 모델의 크기, 메모리, 그리고 전력 제약을 극복해야 한다는 과제가 있어. 기기에 AI를 담기엔 현재 모델들은 너무 크고 무겁거든.  가령 메타의 라마4 중에서도 가장 거대한 베히모스 모델의 경우엔 매개변수가 무려 2조 개에 달한 것으로 알려져 있어.

보통 천 억 개 넘는 매개변수를 가진 거대한 언어모델을 전자기기에 넣는 건 불가능해. 그래서 업계가 선택한 해법은 소형언어모델, SLM이야. 크기는 줄이고, 성능은 유지한 모델을 개발하는 거지.

하지만 현재 AI 모델 성능을 지배하는 건 스케일링 법칙이야. 학습 데이터의 양, 매개변수, 컴퓨팅 리소스를 늘리면 늘릴수록 모델의 성능은 좋아져. 연구진들은 이 법칙을 타개할 수 있는 방법을 고심했는데 결국 찾아낸 건, 학습 데이터의 질이었어.

마이크로소트프에서 발표한 Textbooks Are All you Need라는 논문에서 연구진들은 교과서 급으로 잘 정제되고 설명된 데이터를 학습시키면 적은 데이터만으로도 LLM 급의 성능을 낼 수 있다는 걸 증명해냈어. 실제 LLM 대비 SLM의 성능이 어느정도인지 그래프를 통해 살펴보자.

일반적인 상식 추론 영역(Commonsesnse reasoning / understanding)에서 SLM의 성능 변화를 살펴보면 과거에 비해 평균 10.4% 향상 되었어. 특히 마이크로소프트에서 개발한 Phi 3.5 모델은 메타의 오픈소스 LLM인 라마3.1과 비슷한 수준을 달성하기도 했을 정도로 성능이 나쁘지 않아.

다양한 기능을 해야하는 LLM은 방대한 정보를 학습해야 했던 반면, 소형 모델은 특정 업무에 특화된 형태로 발전 시키고 있어. 가령 수학 특화된 모델에는 양질의 수학 데이터만을 학습시키고, 또 번역에 특화된 모델에는 자연어 데이터 중심으로 학습시키는 거지.

학습 데이터도 데이터지만 모델이 훨씬 더 최적화된 상태로 추론할 수 있도록 다양한 방법을 적용하기도 해. 모델의 불필요한 연결을 줄이는 가지치기를 한다거나 모델 내에서 처리되는 데이터를 정수로 낮추는 양자화 방식 등이 대표적이야.

소프트웨어뿐 아니라 하드웨어에서도 온디바이스에 걸맞는 형태의 변형이 필요해. 일반 LLM 연산에 사용되는 거대한 GPU를 단말기에 붙일 순 없을테니까. 그러면 배보다 배꼽이 더 커지는 셈이지.

소형화되고, 경량화된 모델에는 그에 특화된 칩이 필요해. 대표적으로 AI 전용 연산 하드웨어 NPU가 있어. 탑재될 소형모델에 최적화된 NPU를 사용한다면 기존 GPU대비 전력도 덜 쓰고, 발열량도 적게 만들어서 효율을 높일 수 있게 돼.

새롭게 펼쳐질 온디바이스 시장은 기존 AI 시장에서 후발주자로 뒤쳐졌던 기업들 입장에서는 역전의 장이 될 수 있어.

빅테크 M7 중에서도 하위권으로 분류되고 있는 애플과 여전히 저평가되어 있는 구글, 두 기업은 각각 애플 생태계와 안드로이드 생태계를 갖고 있어. 애플은 아이폰, 맥북, 아이패드 같은 하드웨어가, 또 구글은 픽셀폰과 태블릿, 크롬북 등의 디바이스를 들고 있지. 이들은 각자 생태계에 온디바이스 AI를 적용해 역전을 노리고 있어.

애플은 애초부터 개인정보 보호를 최우선 가치로 내새웠던 기업이라 프라이버시 강점이 있는 온디바이스 AI 전략은 딱 알맞는 접근이 될 수 있어. 실제로 애플은 프라이버시 차별화를 내세우고 있고, 애플 인텔리전스를 내세워 온디바이스 전략을 강화하고 있지.

문제는 애플의 AI 모델 개발이 삐그덕거리고 있다는 건데, 메타의 인재 사냥에 걸린 애플의 AI 총 책임자가 메타행을 선택하면서 자체 개발 모델이 안갯속으로 빠져버렸어. 최근 보도에 따르면 애플이 클로드나 챗GPT, 혹은 구글 제미나이 같은 외부 모델을 도입하는 것도 검토중이라고 하더라고.

구글의 상황은 어떨까? 사실 구글은 최근 AI 필드에서 가장 강력한 힘을 보여주고 있는 기업 중 하나야. 그리고 일찍부터 자체 개발 하드웨어와 온디바이스 전용 모델을 결합해왔지. 특히 제미나이 나노가 최신 픽셀 라인업에 탑재되면서 네트워크 연결 없이도 녹음 요약, 통화 메모, 사진 수정 등을 처리하고 있어.

그렇다고 이미 AI 시장의 터줏대감들이 가만히 있는 건 아니야. AI 시장에서 재미를 보고 있는 메타와 마이크로소프트도 자체 디바이스를 갖고 있기 때문에 온디바이스 시장에서도 각자의 강점을 밀어붙일 계획을 갖고 있어. 메타는 XR이나 스마트 안경에, 마이크로소프트는 AI 모델이 탑재된 PC와 노트북에 초점을 맞춰 온디바이스 시장을 공략하고 있는 모습이야.

스마트폰에 들어가는 칩 생태계에 참여하는 기업들도 온디바이스에 진심이야. 대표적으로 AI 시대의 인텔을 꿈꾸는 퀄컴이 있어. 퀄컴은 강력한 성능을 자랑하는 스냅드래곤 칩을 앞세워 온디바이스 시장 영토를 확장 중이야. 퀄컴은 스마트폰을 넘어서 PC, 스마트 안경, 자동차까지 넘보고 있지.

중국의 화웨이도 미국의 제재 속에서도 AI와 칩 역량을 꾸준히 끌어올리고 있어. 젠슨 황이 화웨이의 기술력을 경고할 정도로 주요 기업들의 경계대상 1순위로 떠오르고 있어. 화웨이도 퀄컴과 비슷한 전략으로 스마트폰 칩을 넘어서서 자동차와 다양한 IoT 기기로 확장하고 있어.

미국과 중국 기업들은 이렇게 다양한 전략을 내세워서 달려들고 있는데, 우리나라 상황은 어떨까? 우리나라도 삼성전자를 필두로 온디바이스 전략을 일찍부터 가동했어.

삼성전자가 지난 2024년 공개한 S24는 세계 최초의 온디바이스 AI 스마트폰이었거든. 삼성전자의 AI, 갤럭시 AI가 탑재되어 있어서 네트워크 연결 없이도 AI 기능을 사용할 수 있지. 실시간으로 통화 번역 기능이라던가 노트 내용을 요약 및 수정해주는 기능은 망 없이도 이용할 수 있어. 온디바이스 AI 스마트폰 시장이 커지는만큼 삼성전자는 그 영향력을 더 키울 계획이야.

IT 컨설팅 기업의 전망치에 따르면 2028년까지 온디바이스 AI 스마트폰 시장은 73.1% 성장률을 기록할 것으로 예측돼. 2028년 출하량은 9억 대를 넘기면서 스마트폰이 곧 AI 단말기가 되는 흐름인거지.

이미 삼성전자는 온디바이스 AI 스마트폰에서 위치를 공고히 하고 있어. 지난 2025 갤럭시 언팩에서 올해 안에 4억대 기기에 갤럭시 AI를 탑재할 거라는 목표치를 제시할 정도로 말이야. 반면 애플은 신속하게 대응을 하지 못하면서 격차가 벌어지고 있어. 미국의 투자기관 웨드부시에선 애플이 AI 고속도로 옆 벤치에 앉아있는 수준이라고 진단할 정도더라고.

세계 최대 규모의 ICT 전시회인 CES에서도 한국의 존재감은 확실해. CES에서는 지난해부터 온디바이스 AI에 대한 이야기가 끊임없이 나오고 있었어. 2024년 CES에 참여한 퀄컴 CEO는 곧 온디바이스 AI 시대가 올 것이라 얘기했고, 올해엔 젠슨황이 온디바이스를 넘어서 물리 공간과 상호작용하는 AI, 피지컬AI라는 키워드를 던졌지.

작년부터 많은 기업들이 다양한 기기에 AI를 탑재한 서비스를 선보이고 있는데, 우리나라 기업들의 실적이 상당해. 이번 CES에선 한국 기업들이 역대 최다 규모로 혁신상을 수상하기도 했어.

이번 2025 CES에서 혁신상을 수상한 제품은 모두 458개. 그 중 우리나라 기업이 받은 건 모두 208개로 역대 최다 실적이야. 주목할만한 건 중소기업과 스타트업이야 .131개 수상작이 중소 벤처 기업에서 나오면서 전체의 63.0%를 차지할 정도로 상당해.

단순히 삼성, 엘지 같은 대기업이 이끄는 게 아니라 중견기업, 스타트업까지 다양한 혁신 주체들이 뛰어들면서 생태계 저변이 커지고 있다는 거지. 국내 기업들이 주도하고 자립할 수 있는 AI 생태계를 쌓아 올린다는 점에서, 이는 소버린 AI를 향한 의미있는 한 걸음이라고 할 수 있을 거야.

물론 여전히 클라우드 기반의 AI는 거대한 힘을 갖고 있어. 하지만 기업들은 비용과 전력의 벽에 부딪혔고 기회는 온디바이스 AI를 향하고 있지.

글로벌 레이스에 참여한 많은 기업들은 각자 생태계에 온디바이스를 깊게 심고 있어. 한국도 경쟁력이 나쁘지 않아. 대한민국의 IT 하드웨어 강점을 살리고 확장하는 스타트업 저변으로 답을 찾고 있어. 과연 온디바이스 AI 시장의 주인공은 누가 될까?

데이터센터에 돌던 AI를 내 기기 안으로 끌어오는 온디바이스AI의 선두주자로 대한민국이 우뚝 서길 바라며 오늘 준비한 편지를 마무리하려고 해. 긴 글 끝까지 읽어줘서 진심으로 고마워!

[영상] 크리터즈

오픈AI의 동영상 생성 인공지능 ‘소라’가 만든 장편 애니메이션 〈크리터즈〉가 내년 5월 칸 영화제에 출품되고 극장에서도 개봉한대. AI가 생성한 영상은 이상하지 않을까 싶었는데 생각보다 훨씬 자연스럽게 느껴졌어. 과연 AI가 영화 제작 과정도 바꾸어 놓게 될까? 궁금하다면 클릭해서 직접 확인해봐!