왼쪽이 CPU고 오른쪽이 GPU이야. 여기서 초록색으로 표시된 ALU가 연산을 하는 장치인데, CPU에는 소수의 똑똑한 계산기가 들어있는 반면, GPU에는 CPU에는 못 미치지만 훨씬 더 많은 계산기가 들어있어. 이렇게 다른 구조 때문에 계산량이 크게 차이나 나.

코인 광풍에도 GPU가 핵심이고, 또 AI 발전 속도가 점점 빨라지면서 GPU 수요는 천정부지로 올랐어. 미국과 중국같이 AI 리더 국가들 입장에선 세계 최고의 자리를 지키기 위해 GPU를 확보해서 모델 고도화에 나서야하고, 또 우리나라같이 후발 국가들은 뒤처지지 않기 위해선 AI 모델 개발에 나서야 하는 만큼 GPU가 절실해.

하지만 엔비디아가 공급하는 GPU 물량엔 한계가 있을 수밖에 없어. 그래서 지난 2023년에 있었던 월스트리트저널의 CEO 카운슬 서밋에서 일론 머스크는 이렇게 얘기하기도 했지. "GPU가 마약보다 훨씬 구하기 어렵다"고.

하지만 그럼에도 불구하고 글로벌 빅테크들은 엔비디아의 H100 GPU를 속속들이 사모으고 있어.

왼쪽이 GPU고 오른쪽이 NPU인데, GPU와 마찬가지로 NPU에도 연산처리장치가 여러개가 들어가 있어. 차이점은 GPU엔 메모리가 이렇게 따로 있지만, NPU엔 연산처리장치에 붙어 있다는 거야.

GPU의 태생적인 한계는 이렇게 메모리와 연산장치와의 거리가 멀리 있다는 거였어. 메모리에 저장된 데이터를 빼오는 과정에 전력이 크게 발생해서 전력 소모가 심하다는 한계가 있었지. 하지만 NPU에선 이걸 해결하려고 연산장치에 메모리를 붙여버렸어. 이렇게 만든 NPU는 GPU보다 전력 소모도 덜하고, 또 메모리와의 거리가 가까워진 만큼 제어회로를 쓸 필요도 없어서 회로 배선이 단순해. 그래서 소형화하는 데에도 NPU가 강점이 있어.

빅테크들은 자체 NPU를 꾸준히 개발하면서 탈 엔비디아를 준비하고 있어. 가장 열심히 준비한 기업은 바로 구글이야. 구글은 TPU라는 걸 만들어서 쓰고 있어. 구글은 10년 전부터 TPU를 사용했는데, 알파고가 이세돌 9단과 대결했을 때 사용한 게 TPU 48장이었어. 그 전에 판 후이 2단과의 대결에선 176개의 GPU를 사용했었고.

꾸준히 구글 자체의 AI 칩을 고도화한 덕분에 구글은 엔비디아 GPU에 목 맬 필요가 없어. 구글의 AI를 개발하는 데엔 자체 TPU를 사용하고 다른 범용 처리엔 엔비디아 GPU를 사용하면 되니까.

구글뿐 아니라 다른 빅테크들도 AI 전용 칩 개발에 뛰어들고 있어. 엔비디아의 두 거물급 회원인 메타와 마이크로소프트도 마찬가지야. 메타는 MTIA를 출시했고, MS도 MAIA 100을 내 놓았어. 애플에겐 ANE가 있고요, 테슬라도 D1이라는 전용 칩을 개발했지. 오픈AI도 늦었지만 자체 AI 반도체 개발을 위해 무려 7조 달러를 투자할 것이라고 발표하기도 했고.

빅테크들은 GPU도 수십만 장씩 구매하고 자체 AI 칩도 개발해서 자생력을 기르고 있어. 하지만 우리나라 상황은 어떨까? 최근 정치인들이 하는 말을 보면 우리나라가 GPU가 없어서 연구를 못한다는 얘기가 나와. 그 말의 근원이 되었던 건 바로 아래 보고서야.

2024년 3월 기준으로 전 세계엔 1만 1,800개의 데이터센터가 운영 중이야. 그 중 절반에 가까운 45.6%가 미국에 있어. 미국 뒤로는 독일이 521개, 영국이 514개로 유럽 국가들이 상위권을 차지하고 있어. 중국은 449개로 4위를 차지했고. 우리나라는 153개의 데이터센터가 운영되고 있어. 네이버나 카카오 같은 기업들이 자체 데이터센터를 확충하고 있지만 절대적으로 열세인 건 변함없어.

최근에 대한상공회의소에서 우리나라가 AI 글로벌 3위 안에 들어가려면 충분한 AI 기반이 갖춰져야 한다고 조언하기도 했는데, 그 중에서도 첫째로 꼽은 게 바로 AI 데이터센터야. 데이터센터 중에서도 AI에만 특화된 AI데이터센터는 전 세계에선 이미 시장 규모가 크게 늘어나고 있지만 우리나라는 이제 시장이 형성되는 단계야.

2019년부터 2025년까지 전 세계에 지어진 AI 데이터센터 성능을 분석해보면 AI 데이터센터의 연산 능력은 9개월마다 두 배씩 증가하고 있어. 연 단위로 보면 매년 2.5배 증가하는 셈인데 엄청난 속도지? 현재 가장 뛰어난 성능의 AI 데이터센터가 xAI의 콜로서스인데, 이거 만드는데 70억 달러, 우리 돈으로 9조가 넘게 들었어. 이 시설엔 H100 GPU 10만 장이 탑재되어 있고.

참고로 우리나라 광주에도 AI 데이터센터가 있는데, 여기에는 H100 GPU가 880장 들어 있고, 연산량은 콜로서스의 2천 분의 1 수준이야.

미국의 빅테크들이야 이렇게 수 조원의 돈을 들여서 AI 인프라를 갖추고 있지만 이건 천조국 미국의 얘기야. 우리나라는 민간에서 이 정도의 인프라를 갖추기는 쉽지 않지. 그렇다면 정부가 역할을 해줘야겠지? 우리나라도 대책이 없는 건 아니야. 다만 속도가, 다른 국가와 비교해서 그렇게 빠르다는 인상을 주진 못하고 있어.

처음 정부에서 발표한 계획에선 2030년까지 GPU 3만 장을 확보한다고 했었는데, 너무 느리다는 지적이 나오자 목표를 수정했어. 일단 과학기술정보통신부에선 올해 1조 4,600억을 투입해서 신속하게 GPU 1만 장을 연내에 확보할 계획이야. 그리고 이르면 2026년, 늦어도 2027년 초에는 3만 장을 확보하려고 하고 있지. 지금 당장은 엔비디아의 GPU를 사오겠지만, 점진적으로는 국산 AI 칩을 활용할 계획이야.

2020년에만 하더라도 전 세계 데이터센터에 사용된 전기는 300테라와트시가 되질 않았어. 하지만 2030년엔 1,000테라와트시로 늘어날 것으로 전망될 정도로 급격히 늘어나고 있지. 이 수치는 현재 일본의 총 전기 소비량보다 많은 에너지 규모야. 국제에너지기구 IEA에서는 현재 에너지 상황을 고려해본다면 계획된 데이터센터의 20% 정도는 전력난을 겪을 것이라 전망했어.

이미 일부 지역에선 데이터센터의 전력 문제로 골머리를 앓고 있기도 해. 대표적인 사례가 아일랜드야. 아일랜드는 온도도 선선하고, 지정학적으로 미국과 유럽에 대한 접근성이 좋아서 데이터센터 성지로 떠올랐었어. 그런데 최근엔 아일랜드가 데이터센터 건설 허가를 막고 있어. 왜? 에너지 공급이 어려워서.

2023년에 데이터센터가 사용한 전력량이 아일랜드 전체의 21%를 차지할 정도로 상당해. 아일랜드의 국영 전력회사인 얼그리드는 이런 흐름이라면 2032년이면 아일랜드 전력의 30%가 오롯이 데이터센터에만 쓰일 것으로 예측했지.

미국의 상황도 마찬가지야. 미국 데이터센터 중 많은 시설이 북부 버지니아에 몰려 있는데, 버지니아 주의 데이터센터들의 전력 소비가 주 전체의 25%를 차지하고 있어. 데이터센터에 원할한 에너지를 공급하기 위해 화석연료인 석탄발전을 다시 돌리는 걸 검토하기도 할 정도지.

AI 데이터센터를 이제 막 지으려는 우리나라 입장에선 앞선 사례들을 잘 참고해서 AI 인프라와 전력망을 설계할 필요가 있어. 실제로 서울대, 숭실대에서 AI 데이터센터를 지으려 했지만 변전소 설비 부족 문제로 추가 전력 공급에 난색을 표한 사례가 있는 만큼 마냥 미래의 이야기도 아니야. 또 우리나라는 수도권 집중도가 심각해서 비수도권에서 생산된 전력이 해당 지역에서 소비되지 않고 있다는 점도 고려해야 해.

위 표를 보면 서울 경기권, 나아가 충청권 일부까지는 소비량보다 발전량이 적어서 전력 자급률이 떨어지는 모습이야. 반면 영남과 호남, 강원 지역은 발전량이 소비량보다 더 많아서 전력이 남고 있지. 하지만 현재 우리나라는 수도권에 첨단산업 단지가 집중되어 있는 탓에 비수도권에서 생산된 전력은 긴 송전선을 타고 수도권으로 옮겨지고 있어.

안 그래도 지금도 국내 데이터센터 중 60% 가까이가 수도권에 몰려 있는데, 추후 건설될 대규모 데이터센터들 마저 수도권에 짓는 건 바람직하지 않다는 지적이 그래서 나오고 있지. 특정 지역에만 전력 소비가 몰리면 정전 가능성도 올라가고, 만에 하나 정전 사고가 발생할 경우에도 집중된 시스템이 한꺼번에 다운이 되버리면 사회가 마비될 수도 있기 때문에 전력망과 설비를 고르게 분배할 필요가 있다는 거야. 그래서 일단 2030년 목표로 달려나가고 있는 국가 AI 컴퓨팅센터는 비수도권에 세우는 걸 계획하고 있어.

데이터센터의 물 소비도 따져봐야 할 지점이야. 데이터센터는 전기 뿐 아니라 물도 엄청나게 먹거든. 데이터센터에서 발생하는 열을 식히는 데 물이 사용되는데 100메가와트 이상의 큰 규모의 데이터센터에는 하루에만 200만 리터가 넘는 물이 필요해. 6,500 가구가 사용하는 것과 같은 규모지.

데이터센터가 이렇게나 많은 물을 사용하면서, 주민들과의 갈등도 점차 많아지고 있어. 이번엔 우루과이로 가 볼게. 2023년 최악의 가뭄을 겪었던 우루과이의 사람들은 물이 없어서 궁여지책으로 소금기가 있는 물을 생활 용수로 사용했었어. 우루과이에 새롭게 지어질 구글의 데이터센터엔 깨끗한 물이 사용된다는 소식을 듣고 많은 사람들이 반발을 하고, 시위에 나섰고.

기후위기로 극한의 폭염과 가뭄이 잦아지면서 데이터센터에 사용될 물을 두고 생기는 갈등은 국가를 가리지 않고 생겨나고 있어. 우루과이뿐 아니라 네덜란드, 미국에서도 비슷한 논란이 이어지고 있지.

지금까지 AI 기반의 핵심이 되는 GPU와 NPU, 또 데이터센터를 살펴봤어.

AI는 이제 선택이 아닌 필수인 시대가 왔어. 이에 대응하기 위해선 부족한 AI 인프라를 갖춰야 할 거야. 하지만 단순히 GPU 3만 장을 확보하고, AI 데이터센터를 짓는 것만으로는 AI 경쟁력을 갖출 수 없어. 그 많은 GPU를 돌릴 전력은 어디서 조달할 것인지, 또 발생하는 열을 식히기 위한 물은 어떻게 확보할 것인지 종합적인 계획이 필요해.

국가를 운영하겠다고 도전장을 내민 많은 후보들 가운데, 어떤 후보의 비전에서 국가 차원의 AI 마스터 플랜을 발견할 수 있을지 살펴본다면 오늘의 마부뉴스가 더욱 의미 있지 않을까? 오늘 준비한 AI 인프라 편은 여기까지야. 긴 글 끝까지 읽어주어서 진심으로 고마워!