🎩 AI로 만든 커버곡, 문제없을까?

2023. 11. 9.

AI로 만든 커버곡,

문제없을까?

구독자 안녕? 지난주 마부뉴스 낙서장에서 구독자에게 던진 질문 기억나? “가을 하면 생각나는 노래”에 대해 정말 좋은 노래들이 많이 추천됐더라고. 마부 제작진들의 가을철 노동요는 한동안 걱정 안해도 될 것 같아. 물론 최근 날씨가 가을이라고 말하긴 힘들 정도로 갑자기 추워지긴 했지만😭

낙서장엔 적지 않았지만 마부뉴스 제작진들이 숨어서 듣는 노래가 있어. 바로 디오와 수현이 부른 <Rewrite the Stars>, 그리고 박효신이 부른 <헤어지자 말해요>야. "이 가수들이 언제 이런 곡을 불렀지?" 싶겠지만, 두 곡 모두 AI가 만든 노래라는 사실! 디오와 수현은 '더 시즌즈'에서 <Rewrite the Stars>의 일부만 불렀지만 AI 기술을 통해 완곡으로 재탄생되었고, 박효신의 곡 역시 박재정의 발라드 곡에 2003년도 박효신 목소리를 학습시켜 새로운 노래가 나온 거야. AI 커버곡의 조회수가 몇 백만을 기록하는 오늘날, 마부뉴스가 구독자에게 던지는 질문은 바로 이거야.

AI로 만든 커버곡, 문제없을까?

[FEEDBACK] 마약 정책, 치료와 처벌 중 무엇이 우선일까?

지난 주 <마약, 도대체 얼마나 늘어난걸까?> 레터에서는 마약 정책에서 치료와 처벌 중 무엇이 더 우선되어야 하는지 구독자들에게 질문했어.

🧐 처벌이 우선이야(36.4%) : 강력한 처벌과 법규가 바탕이 될 때 국가가 존립할 수 있어.

🤔 치료가 우선이야(63.6%) : 처벌한다고 마약을 끊을 수 있는 건 아니야. 근본적인 해결책은 마약에 노출되지 않는 환경을 마련하고, 이미 노출된 사람들에겐 치료를 제공하는 것이야.

각자 의견 공유해줘서 고마워! 우리나라에서도 마약 문제가 심각해진 만큼, 이에 대한 예방과 치료, 처벌에 대한 규제가 적절히 마련돼야 할 것 같아❗️

생성형 AI, 어디까지 왔을까?

우선 생성형 AI가 무엇인지 간단히 정리해 볼게. 생성형 AI는 이름에서 유추할 수 있듯, 무언가를 만들어내는 AI 인공지능을 의미해. 기존의 AI와는 다르게 이용자의 요구에 따라 결과를 능동적으로 생성해 낼 수 있다는 특징이 있어. 예전 AI 기술은 기존의 데이터를 기반으로 예측하고 분류하는 정도였다면, 생성형 AI는 이용자가 제시한 과제를 해결하기 위해 스스로 데이터를 찾아 학습해.

가장 대표적인 생성형 AI는 ChatGPT로 대표되는 LLM(Large Language Model) 일 거야. LLM은 대규모의 언어 데이터를 학습해 결과물을 만드는 모델이야. 오픈AI의 ChatGPT가 세상에 등장하면서 센세이션을 일으켰고, 뒤이어 수많은 LLM 모델들이 등장했지. 메타에선 LLaMa라는 모델을, 구글에선 Bard를 선보였어. 이에 뒤질세라 오픈 AI도 새로운 버전들을 공개했는데, 11월 6일엔 책 300쪽 분량의 질문도 거뜬히 해결해 내는 가장 최신 모델인 GPT-4 터보를 공개했어.

언어 모델뿐 아니라 이미지와 음성, 그리고 영상을 생성하는 모델도 있어. 예전 <AI가 내 사진을 마음대로 가져간다면?> 레터에서도 소개했지만 텍스트를 이미지로 바꿔주는 미드저니 같은 생성형 AI 서비스도 있고, 텍스트를 음성으로 변환하는 Eleven Labs같은 서비스도 있지.

그래프를 자세히 보고 싶다면 CLICK 👆

생성형 AI 모델들의 역사를 확인할 수 있는 데이터를 가져와봤어. 위 그래프는 데이터 사이언티스트인 David Foster의 자료를 바탕으로 그려본 생성형 AI 모델들의 연대기야. 그래프에는 생성형 AI 모델 별로 타입을 나누어서 밀도 그림을 그려봤는데, 2021년 이후 특히 더 많이 붐업되고 있는 영역 두 군데가 보일 거야. 하나는 ChatGPT같은 LLM에 큰 영향을 준 트랜스포머(Transformer) 모델이고, 또 하나는 멀티모달이야.

멀티모달은 멀티(Multi)와 모달리티(Modaltiy)를 합쳐서 만든 용어야. 여기서 이야기하는 모달리티는 양식, 양상을 의미해. 멀티모달은 시각 정보, 청각 정보 등을 비롯해 다양한 양식을 통해 정보를 주고받는 모델을 뜻해. 구독자가 ChatGPT를 써 봤다면 아마 이해가 한 번에 될거야. GPT-3 버전의 ChatGPT에선 텍스트로만 의사소통이 가능했지만, GPT-4부터는 텍스트 뿐 아니라 이미지로도 대화가 가능하거든. 그러니까 텍스트뿐 아니라 이미지를 보고 스스로 이해하고 처리할 수 있는 GPT-4 모델은 멀티모달 모델이라고 할 수 있어.

그래프를 자세히 보고 싶다면 CLICK 👆

생성형 AI에 대해 늘어난 관심은 글로벌 기업들의 실적 발표 행사에서도 확인할 수 있어. IoT 시장 동향을 발표하는 IoT Analytics에서는 분기마다 <What CEOs talked about> 보고서를 발표하고 있어. 글로벌 상장 기업들은 분기별로 실적을 발표하고, 다음 분기 땐 어떻게 기업을 운영하겠다는 전망을 발표하는 '어닝콜' 행사를 진행하는데, <What CEOs talked about> 보고서에는 여기서 나온 주제와 키워드를 분석한 자료가 담겨 있어. 2023년 3분기까지 핵심 키워드는 역시 AI와 생성형 AI였어. 3분기에 진행한 어닝콜 중 29%에서 AI 키워드가 등장했고, 생성형 AI도 지난 2분기 대비 언급량이 56%나 상승했어.

CEO들의 관심과 전망이 AI를 향한 만큼 자본도 모이겠지? 글로벌 시장조사기관인 프레지던스 리서치(Precedence Research)에서 파악한 2022년 전 세계 AI 시장 규모는 4,541억 2,000만 달러야. 그런데 10년 뒤인 2032년에는 그 규모가 2조 5,751억 6,000만 달러로 성장할 것으로 예상되고 있어. 엄청난 규모지?

저작권 보호와 기술 발전 사이

투자도 늘어나고, AI 기술도 속속 등장하는 덕에 우리는 과거엔 경험하지 못한 콘텐츠를 소비하고 있어. 우선 존 레논과 조지 해리슨이 하늘의 별이 되었지만 우리는 비틀즈의 신보를 들을 수 있게 됐지. 구독자도 아마 소식 들었을 거야. 11월 2일, 비틀즈의 마지막 노래 <Now and Then>이 담긴 싱글 앨범이 발매됐어. 1970년대 데모로 녹음한 30대의 존 레논의 목소리에다 1995년 조지 해리슨의 기타 연주, 그리고 현재의 폴 매카트니의 목소리와 링고 스타의 드럼 연주가 만나서 탄생한 곡이야. 비틀즈의 마지막 신곡은 미국 아이튠즈 차트 1위에 오르는 기염을 토하기도 했어.

비틀즈 뿐 아니라 고인이 된 뮤지션들을 AI로 되살린 사례는 많아. 거북이의 리더이자, 심근경색으로 사망한 터틀맨 음성을 AI로 복원하기도 했고, 김현식, 신해철 등의 뮤지션을 되살려 그들의 목소리를 듣는 건 이제 특별한 일이 아니게 됐어. 물론 일각에서는 고인을 돈벌이에 이용한다는 비판도 있는 게 사실이야. 또 한편으로는 그만큼 뮤지션을 추억하고 싶어하는 팬들을 위한 콘텐츠가 될 수 있다고 옹호하는 목소리도 있지.

일단 우리나라의 저작권법에서 규정하는 저작물에 목소리는 포함되어 있지 않아. 그러니까 다른 사람의 목소리 자체를 활용해서 무언가를 만드는 건 저작권 침해라고 할 순 없어. 그러면 괜찮은 걸까? 그렇진 않아. 왜냐하면 음원에는 저작권이 있거든. 즉 음원을 활용해 만들어진 AI 커버곡은 저작권자의 허락을 받지 않았다면 저작권법 위반이야. 게다가 목소리가 저작권은 없지만 헌법상의 기본권을 가진다는 취지로 '음성권'이 인정된 바 있기 때문에 헌법 위반 여지가 있기도 해.

하지만 그럼에도 불구하고 AI 커버곡은 많은 사람들에게 선택받고 있어. 기업들이 수요가 몰리는 상품을 두고 가만히 있지는 않겠지. 구글과 유니버설 뮤직은 이런 딥페이크 음악을 합법화하는 방안을 발 빠르게 추진 중이야. 생성형 AI를 활용해 합법적으로 음반을 제작할 수 있는 허가증을 부여하는 식으로 말이지. 물론 저작권 소유자가 정당한 대가를 받을 수 있는 장치도 마련될 예정이야.

음악계는 신중한 입장을 갖고 있어. 정당한 대가를 보장받는 건 당연한 일이지만 이렇게 만들어진 '가짜 음악' 때문에 '진짜 음악'의 가치가 훼손될 가능성은 없는지 걱정하고 있는 거야. 우리나라도 지난 10월 26일에 생성형 AI와 저작권을 주제로 포럼이 열리면서 관련 논의를 이어오고 있어. 저작권 보호와 기술 발전, 구독자는 어떻게 생각해?

범죄에 악용되는 생성형 AI

관련 제도와 대책이 없는 사이 생성형 AI가 범죄나 가짜 뉴스 생성에 악용되는 사례가 속속 등장하고 있어. 당장 옆나라 일본에선 기시다 총리가 니혼테레비 뉴스 프로그램에 등장해 성적인 발언을 하는 영상으로 한바탕 난리였거든. 당연히 생성형 AI를 이용해 만든 가짜 영상이었지.

캐나다에선 아들의 목소리를 생성형 AI를 이용해 조작한 뒤, 부모에게 사기를 친 보이스피싱 범죄가 발생한 적도 있었어. 아들의 목소리를 들려주며 2만 1,000 캐나다 달러 규모의 암호화폐를 송금하라고 하니 안 속을 사람이 있을까? 영국에서는 회사 CEO의 목소리를 조작해 24만 3,000달러를 송금하는 금융 사기가 발생하기도 했어.

뿐만 아니라 생성형 AI는 정치적으로도 활용되고 있어. 아래 지도는 인권 옹호 단체인 프리덤하우스가 발표한 <Freedom on the net> 보고서에서 가져온 자료인데, 조사 결과 47개 국(초록색)에선 친정부 세력들이 온라인에서 정보를 조작한 사례가 발견됐어. 미얀마에선 군부가 자체적으로 허위 정보 조직을 운영했고, 키르기스스탄에선 하루에 150개의 가짜 프로필을 생성하는 AI 생성 봇 기업에게 35만 달러를 지불하기도 했지.

그래프를 자세히 보고 싶다면 CLICK 👆

노란 점으로 표시된 16개 나라에선 생성형 AI가 정치적 이슈에 직접적인 영향을 미치기도 했어. 브라질에선 작년 10월 대통령 선거 결선 투표를 앞두고 가짜 정보가 담긴 딥페이크 동영상이 유포되기도 했고, 올해 3월 대규모 시위로 혼란스러웠던 프랑스에선 노인이 경찰에게 구타당하는 조작된 이미지가 SNS에 돌아다니기도 했어.

악용 사례가 속속들이 등장하자 각 국가들은 서둘러 규제안을 내놓고 있어. 올해 1월 바이든 대통령이 성소수자를 폄훼하는 연설이 담긴 가짜 영상이 유포되면서 홍역을 치른 미국은 10월 30일 생성형 AI를 강력히 규제하는 행정명령을 내놓았어. 이 행정명령에는 AI로 생성되는 콘텐츠에 대해 워터마크를 표기하거나 관련 표준안을 만드는 내용이 포함돼 있어. 뿐만 아니라 앞으로 국가 안보나 경제, 보건 등에 큰 영향을 줄 수 있는 AI 모델은 개발 단계에서부터 미국 정부에 보고해야 해.

중국과 유럽에서도 AI 관련된 규제법이 나오고 있어. EU는 미국보다 먼저 2021년에 AI 규제법 초안을 마련했고, 회원국 간의 논의가 진행 중이지. EU의 AI 규제법에는 AI의 위험 수준에 따라 기업이 따라야 할 의무를 구체적으로 적어 두었어. 중국도 생성형 AI 서비스를 철저히 관리하기 위한 가이드라인과 규제안을 지난 10월에 발표했어.

기술엔 기술로 대응하겠습니다

정부가 제도를 통해서 생성형 AI를 들여다보고 있다면, 다른 쪽에선 기술로 기술에 대응하려는 시도가 이어지고 있어. 기업과 학계에서 기술 발전만 생각하다가 놓칠 수 있는 영역들을 스스로 점검해보자는 취지의 목소리가 나오고 있거든. AI 기술을 책임감 있게 사용하고, 대응하자고 등장한 이른바 '책임 있는 AI 기술(Responsible AI)'이야.

그래프를 자세히 보고 싶다면 CLICK 👆

오염된 픽셀이 모델에 들어가면, 모델에 개를 입력해도 개가 나오지 않게 돼. 대신 고양이가 나오는 거야. 모자를 그려달라고 입력해도 토스터기가 나오는 식으로 모델의 성능을 떨어뜨려. 이 기술이 특히 효과적인 건 단순히 '개'라는 단어에만 영향을 미치는 게 아니라 '강아지', '허스키', '늑대'와 같이 유사한 개념에도 영향을 준다는 거야. 이렇게 되면 모델을 만드는 기업들 입장에서도 모델 효율을 높이기 위해선 오염되지 않은 이미지를 사용해야 하고, 그러기 위해선 저작권자의 권한을 인정할 수밖에 없게 되겠지.

다만 이 알고리즘은 악용될 여지가 있어. 모델의 능력을 저하시킬 불순한 목적으로 오염된 데이터를 공개적으로 뿌려버린다면 어떻게 될까? 그렇게 되면 전체적으로 모델의 효율이 떨어지게 될 거야. 말 그대로 무분별한 테러인 셈이지. 물론 강력한 AI 모델에 오염 데이터가 영향을 주려면 상당한 양의 오염 샘플이 필요할 거야. 하지만 전문가들은 현대의 모델에 오염 공격이 이뤄진 실제 사례는 없지만, 충분히 가능성이 있다며 방어 수단을 마련해야 한다고 조언하고 있어.

딥페이크를 판단하는 기술을 발전시키는 사람들도 있어. 앞서 영국에서 조작된 CEO의 음성으로 금융 사기 범죄가 발생했다고 했잖아? 사건이 발생한 영국에선 조작된 음성을 탐지할 수 있는 연구가 본격적으로 진행되고 있어. 우리나라에서도 위조된 음성의 특징을 딥러닝으로 판별하는 모델 기술을 연구 중이야. 인텔에서는 책임 있는 AI 노력의 일환으로 딥페이크 동영상 탐지 기술을 개발해 공개했어. 학계에서도 딥페이크 비디오에서 조작된 부분을 감지해 내는 모델을 개발했고.

발전이 먼저일까? 보호가 먼저일까?

한동안 AI 영역은 자본과 인력, 그리고 정책의 중심에 자리 잡을 거야. 그중에서도 생성형 AI는 그 영역 안에서도 독보적인 위치에 있겠지. ChatGPT로 검색의 판이 뒤바뀌었고, 다양한 생성형 AI를 활용해 업무생산성을 높일 방법은 무궁무진해졌어. 단순히 이미지 생성과 음성 생성에 그치는 게 아니라 바이오 기업 같은 곳에선 이미 신약 개발에도 활용할 정도니까.

AI 기술 발전의 파급력을 고려해서 데이터 학습을 인정해줘야 한다는 입장. 반면 기술 발전도 중요하지만 개인의 저작권과 지적 재산권도 보호받아야 한다는 입장. 구독자는 어떤 입장이야? 아래 링크를 통해 구독자의 생각을 알려줘. 오늘 마부뉴스가 준비한 편지는 여기까지야. 언제나처럼 긴 글 읽어줘서 고마워!

피드백 GO!

* 레터에 활용한 데이터와 기사들의 목록은 여기서 볼 수 있어.

* 함께 고민하고 싶은 친구가 있다면 이 링크를 공유해줘.

다들 한 주간 잘 지냈어? 가을이 되면 왜 쓸쓸한 느낌이 들까 했더니, 낮이 짧아지고 햇빛에 덜 노출되면서 행복 호르몬인 세로토닌이 줄어들게 돼서 그렇대😌 구독자들이 추천해준 노래 들으면서 가을을 만끽해보자구:) 🍁마부 가을 플리🍂

이번주 낙서장 주제는 "요새 즐겨 보는 유튜브 채널"📺이야. 알다시피 빅테크 기업에선 추천 알고리즘을 적극 이용하잖아. 어쩌면 내가 모르는 분야는 점점 내게서 멀어지고 있을지도 몰라. 각자 추천하는 콘텐츠들을 통해 내 알고리즘을 교란시켜보자구🤓

낙서장 GO!

60초 안에 이번주 마부뉴스에서 다룬 주제와 관련한 쓸모있는 정보 7개를 골라서 요약해드립니다. 매주 7/60만 꼼꼼히 살피면 상식왕은 시간문제!😉 제목을 누르면 기사 페이지로 이동합니다.

손쉽게 이해하는 AI 개발 트렌드

기업가정신에 대한 콘텐츠를 만드는 유튜브 채널 EO에서 국내 기업들의 생성형 AI 개발에 대한 토크 콘텐츠를 만들었어. 네이버, 엔씨소프트 등 국내 기업에서 생성형 AI를 어떻게 만들고 앞으로 활용할 수 있을지, 기술 개발의 트렌드와 비하인드까지 현장의 이야기를 접할 수 있어. 궁금한 독자는 영상을 시청해봐🙂

How AI reduces the world to stereotypes

Rest of World에서 이미지 생성AI가 세상을 어떻게 보는지 파악하기 위해 미드저니가 만든 3,000개의 이미지를 분석했어. 그 결과 고정관념이 강하다는 것이 확인됐는데, 가령 ‘인도 사람’을 그려달라 하면 거의 수염난 노인을 생성하고, ‘뉴델리’는 대부분 오염된 거리 이미지를 생성하는 식이야😕

인공지능: AI로 생성한 '아동 성 학대 콘텐츠', 규제 가능할까

영국 인터넷감시재단(IWF)은 최근 AI로 생성한 아동 학대 이미지가 증가하고 있다고 지적
소아성애자들이 이미지 생성 AI의 안전장치 우회해 실제 사진과 유사한 성학대 이미지 만드는 방법 공유
다크넷상의 아동학대 포럼 한곳에 공유된 AI 이미지 1만1108개 조사했는데, 이 중 2978장은 영국 법상 불법. 1372장은 7~10세 초등학생 사진, 3~6세 아동 담은 사진도 143장

AI가 공습 대상 추천한다, 이·팔 전쟁서 현실화…한국 기술은?

이스라엘은 AI 강국으로 인공지능 군사 시스템 운용. 최종 승인은 군이 하지만, 부작용 우려해 방어 목적에만 쓰여야 한다는 주장도 제기돼.
러·우크라 전쟁서 나온 자폭 드론 - 높은 고도에서 미사일 발사하는 기존 드론과 달리 목표물에 직접 돌진해 충돌하는 자폭 드론으로 AI가 조종
미·중 경쟁하는 무인전투기 - AI가 이동 경로 결정하며 장애물 피해가는 무인 전투기
뇌파 읽고 움직이는 전투용 로봇개 - 전장 밖 병사가 현장 보며 머릿속으로 이동경로 지시

페북·인스타가 유럽선 유료?...규제 둘러싼 EU-메타의 힘겨루기

올해 들어 EU는 본격적으로 빅테크 견제. 아일랜드 데이터보호위원회(DPC)는 메타가 광고기술 개선을 목적으로 이용자 데이터를 미국으로 전송하자 개인정보 보호법(GDPR) 위반했다며 1조 7100억원 과징금 부과함
7월엔 독일 반독점 규제당국이 메타 측에 개인정보를 동의없이 수집하지 말 것을 결정하자 메타가 불복한 것에 대해 유럽사법재판소(ECJ)는 규제당국 손 들어줬음
지난 8월엔 가짜 뉴스같은 불법 콘텐츠 확산의 책임을 묻고 시장지배력 남용 방지를 목적으로 디지털 서비스법(DSA) 시행돼. 대상 업체는 월간 사용자 수 4500만명 이상인 구글·알리바바·아마존·X(옛 트위터)·유튜브 등
내년부터는 더 센 규제인 디지털시장법(DMA) 시행돼. 위반 시 매출액의 최대 10%, 반복 위반시 20% 내야함