빅테크 리더들이 하나같이 전력 문제를 입에 올리는 이유는 AI가 전력을 엄청나게 먹기 때문이야. AI가 전력이고 전력이 곧 AI라는 말이 나올 정도로 AI는 전력을 엄청나게 소비하며 성장해. 모델을 발전시키는 학습 과정에서도 막대한 전력이 소비되고, 학습에 사용되는 GPU의 발열을 잡기 위해서 즉, 데이터센터 냉각하는 데도 전력이 들어가.

모델을 만들면 전력 소비는 끝이 나는 걸까? 아니야. 우리가 AI 모델과 상호작용을 하는 과정에서도 전력이 많이 들어가. 챗GPT나 제미나이, 클로드에 수십 억 명이 질문을 던지고 그에 따라 AI가 결과물을 뱉어내는 과정, 이른바 추론 과정에서도 엄청난 전력이 소비돼.

문제는 각 기업들이 훈련, 추론 과정에 어떤 GPU를 사용해 얼마나 전력이 소비되고 있는지 구체적인 데이터를 제대로 공개하고 있지 않는다는 거야. 이런 스펙이 일종의 모델 경쟁력이라고 볼 수 있기 때문에 기업 입장에서는 영업 비밀이라고 꽁꽁 감추고 있는 거지. 하지만 AI 시장에서 전력 소비량이 점점 늘어나고 책임있는 기업의 운영이 필요하다는 목소리가 높아지면서 데이터를 공개하라는 압박은 커지고 있어.

그 와중에 올해 구글에서 처음으로 추론 과정에서 얼마나 에너지를 소비하는지를 공개했어. 제미나이에게 한 번 질문을 던질 때마다 사용되는 평균 전력량은 0.24와트시. 0.24와트시 가운데 58%는 구글의 TPU 즉, AI 가속기가 실제 추론하고 연산하는 데 사용돼. 25%는 TPU를 구동하는 서버의 CPU와 메모리 전력으로 쓰이고. 그 외에 대기하고 있는 리소스에서도 10%를 먹고, 냉각 등 인프라 관리에 8%를 쓰고 있어.

구글이 공개한 0.24와트시는 일반 가정용 TV를 9초 정도 켜 놓는 수준이야. 하지만 이건 한 번의 프롬프트 입력만을 상정한 경우야.. 만약 이걸 전체 이용자 수준으로 확대해본다면 어떻게 될까?

이번 3분기 실적발표에서 구글은 제미나이의 월 이용자수가 6억 5천만 명을 기록했다고 밝혔어. 6억 5천만 명이 하루에 5번씩 그러니까 월간 150회의 프롬프트를 입력한다면 총 97억 5천 만개의 프롬프트에 대한 전력량이 계산될 거야. 곱해보면 월간 23.4 기가와트시의 전력이 사용돼. 이 전력량은 테슬라 모델3를 약 39만 번 충전할 수 있는 에너지 규모야. 엄청나지?

게다가 이건 구글 제미나이만 따져봤을 때이고, 점유율에서 현재 제미나이를 크게 앞서고 있는 오픈AI는 훨씬 더 많은 에너지를 쓰고 있을 거야. 미국에는 챗GPT와 제미나이 뿐 아니라 클로드, 퍼플렉시티, 그록도 있고, 중국의 딥시크, Qwen, Kimi 같은 다른 모델까지 확장한다면? 아마 쉽게 상상하기 어려울 정도로 거대한 규모의 전력 소비가 있을 거야. 그리고 그 전력 소비량은 앞으로 더 크게 늘어나겠지.

2024년 기준 전 세계 데이터센터 전력 소비량은 415테라와트시야. 전 세계 전력 소비량의 1.5%를 차지하는 수준이야. 국제에너지기구에서는 2030년까지 전력 소비량이 두 배로 늘어날 것으로 예측하고 있어. 이 945테라와트시라는 예측치는 현재 일본의 연간 전력 소비량보다 더 많은 규모야.

이렇게나 전력을 많이 쓰고 앞으로는 더 쓸 것으로 예측되는 AI 일단 전력 문제를 해결할 가장 기본적인 방법은 전력 생산량을 늘리는 걸 거야. 하지만 무작정 석탄 같은 화석 연료로 에너지 생산량을 늘릴 순 없어. 기후위기 대응을 위해서 탈탄소 노력도 함께 가야 하기 때문이지.

그러다 보니 데이터센터의 늘어나는 전력을 충당할 핵심 에너지원으로 탄소 배출이 적은 원자력 발전이 떠오르고 있어. 그래서 미국에선 가동을 중단했던 스리마일 원전을 부활시켰고 차세대 원전인 SMR을 열심히 개발하고 있는 거야.

중국도 마찬가지야. 중국은 2022년 이후 매년 10곳씩 신규 원자로 건설을 승인하고 있어. 이런 흐름이 지속되면 2030년엔 중국의 원자력 발전량이 미국을 추월할 것이라는 전망도 나오고 있더라고. 이런 노력과 함께 전력을 덜 쓰게 만드는 것도 중요해. 그래서 많은 AI 기업들이 한정된 전력 아래에서 더 많은 AI 성능을 뽑아내기 위한 '효율성' 전쟁을 치르고 있지.

과거에는 반도체 칩의 에너지 효율을 높이는 가장 대표적인 방법이 작게, 더 작게 만드는 거였어. 반도체를 구성하는 트랜지스터 수가 약 2년마다 2배씩 증가한다는 '무어의 법칙'이 대표적이야. 이렇게 트랜지스터를 작게 만들면 해당 트랜지스터에 들어가는 전압과 전류도 같이 줄일 수 있었으니까. 동일한 사이즈에 더 많은 트랜지스터를 집어 넣어도 각각에 트랜지스터에 들어가는 전력도 같이 줄어들기 때문에 비슷한 전력으로도 더 높은 성능을 뽑아내는 게 가능했던 거야.

1970년대부터 2000년대 초까지는 트랜지스터를 평면에서 계속 작게 만들기만 해도 성능이 쭉쭉 상승했어. 연간 최대 50% 가까이 튀어오를 정도로. 하지만 2000년대 중반 이후에는 상승폭이 크게 줄어들어.

왜냐하면 작아진 트랜지스터가 전류를 잡아두지 못하는 문제가 발생했거든. 게다가 연산하면서 발생하는 발열량도 크게 늘어나고, 데이터가 메모리를 왔다 갔다 하면서 전력을 꽤나 소비한다는 것도 해결 과제로 등장하게 돼.

일단 트랜지스터의 크기가 워낙 작아지니까 전류의 시작점과 도착지점이 너무 짧아졌고 그러다보니 게이트를 닫더라도 통제를 무시하고 전류가 그냥 새어나가는 문제가 생겼어.

그 당시 반도체 기업들이 해결책으로 선택한 건 트랜지스터를 평면이 아닌 입체로 만드는 거였어. 기존엔 전류가 흐르는 길이 평면이었다면 물고기 지느러미처럼 3D로 세워서 게이트가 세 면을 감싸게 되면서 통제력을 강하게 한 거지. 더 나아가 아예 전류가 흐르는 길을 얇은 선이나 판으로 만들어 사방의 모든 면을 게이트가 감싸도록 발전해 나갔어.

또한 데이터가 메모리까지 이동하는 거리를 최소화하기 위해서는 칩과 메모리의 거리를 좁히고 위로 쌓아 올려 버렸어. 바로 HBM, 그리고 3D 패키징 같은 기술이 대표적이야.

우리에게 익숙한 GPU, 이를테면 엔비디아의 H100과 구글의 자체 NPU인 TPU는 지느러미를 올린 핀펫 기반으로 만들어졌어. 또한 HBM과 3D 패키징을 통해 GPU, TPU와 메모리 사이의 거리를 극단적으로 줄여 전력 효율을 높였지.

그러다보니 최근 두 기업의 발표자료들을 보면 '전력 효율'이 가득 채우고 있어. 여기서 중요한 포인트는 단순히 엔비디아와 구글이 이 모든 걸 해결했다는 게 아니라는 거야. 엔비디아와 구글은 칩 설계사에 가깝지.

이들이 설계한 고효율 칩을 만들기 위해선 삼성전자, SK하이닉스, TSMC 같은 반도체 제조 업체와 이들 업체들이 사용할 장비를 만들 반도체 장비 업체의 도움이 필요해. 즉 다양한 층위에 존재하는 수많은 기업들의 노력이 모여 전력 효율이 높은 반도체가 만들어진다는 거야.

그런데 이 시장에서 우리나라의 삼성과 SK의 존재감이 나쁘지 않아. 최근 엔비디아 GPU의 대항마로 떠오르며 잘나가고 있는 구글의 TPU의 상황을 살펴볼까? 구글의 TPU에는 HBM이 6개에서 8개가 탑재돼. 이 HBM의 절대 다수를 삼성전자와 SK하이닉스가 공급하고 있어.

구글 TPU 내 HMB 공급 비중을 살펴보면 SK하이닉스가 56.6% 삼성전자가 43.4%로 양분하고 있어.

엔비디아의 GPU로부터 자립을 꿈꾸는 기업은 구글 뿐만이 아니야. M7 가운데서 메타와 아마존, 그리고 마이크로소프트는 이미 자체 AI 칩을 개발하고 있고, 오픈AI도 자체 AI 칩을 개발할 계획을 갖고 있으니까. 그 과정에서 HBM 수요는 계속해서 늘어날 테고 그 수혜는 삼성과 SK가 볼 것으로 전망되고 있어.

AI는 단순히 소프트웨어 산업이 아니야. 대규모 데이터센터와 GPU를 필요로 하고 엄청난 전력 소비가 따라오는 일종의 전력 집약형 산업이라고 할 수 있지. 그렇기 때문에 미래 AI 시장을 선도하는 성장 동력은 훌륭한 AI 모델을 만드는 IT 기업만이 아닐 거야.

전력 효율이라는 보이지 않는 숙제를 해결하고 전력 효율화를 극대화할 수 있는 반도체 제조 업체와 장비 업체 역시 AI 경쟁의 키 플레이어일 수 있어. 앞으로도 점점 더 늘어날 AI 수요. 그 미래를 결정짓는 건 얼마나 ‘전기 효율’을 잡아 내느냐가 될 테니까.  구독자는 어떻게 생각해? 오늘 준비한 오그랲은 여기까지야. 긴 글 끝까지 읽어줘서 진심으로 고마워!

옥스포드 올해의 단어

2025년 옥스퍼드 올해의 단어로 'rage bait'가 선정됐어. 'rage bait'은 낚시성 콘텐츠를 뜻하는 'clickbait'보다 한 단계 더 나가서 사람들의 분노를 의도적으로 자극하는 콘텐츠를 의미해. 요즘 온라인에서 이런 게시물들이 점점 늘고 있다는 점이 반영된 거지. 구독자는 이런 rage bait 현상, 어떻게 생각해?

이번주 오그랲에서는 CCTV를 통해 군중을 감시하는 AI 이야기를 해봤어. 일각에서는 안보 차원에서 군중 감시 AI가 필요하다고 주장해. 하지만 한편으로는 사실상 감시 국가의 시작이라는 우려도 커지고 있지. 놀라운 건 우리도 모르는 사이에 지난 정부에서 '감시 AI' 사업을 진행하려 했다는 사실! 과연 오늘날 군중 감시 AI가 어느 수준까지 와 있는지, 또 주요 국가들은 얼마나 사용하고 있는지, 궁금하다면 위의 썸네일을 클릭해 봐!