“조 바이든 미국 대통령이 마우이 산불 피해자들을 위한 묵념 시간에 졸았다.” “최근 코로나 확산은 선거를 앞둔 미국 민주당의 음모.”
올해 전 세계 수백만명이 매일 이용하는 마이크로소프트(MS)의 포털 사이트, MSN.com(이하 MSN) 메인 화면에 뜨거나 검색 결과로 노출된 가짜 뉴스들이다. 42세에 사망한 전 미 프로농구(NBA) 선수 브랜던 헌터의 죽음을 두고 “42세에 쓸모없어진 브랜던 헌터”라는 자극적인 제목의 뉴스도 쏟아졌다. 최근 CNN은 뉴스·정보를 팩트체크하는 MSN의 인공지능(AI) 게이트키핑 기능이 완전히 망가졌다는 내용을 심층 보도했다. MS는 2020년 5월 가짜 뉴스, 선정적 뉴스를 걸러내던 인력 800여 명을 모두 해고하고, 이 작업을 AI에 맡겼다. 하지만 AI가 챗GPT 같은 생성형 AI가 만들어낸 정교한 가짜와 진실을 구분하지 못하면서 MSN이 가짜 뉴스의 온상이 되어버린 것이다.
◇톰 크루즈 내레이션까지 입힌 가짜 다큐
챗GPT의 등장과 함께 확산되기 시작한 가짜·허위 콘텐츠는 의심조차 하기 어려울 정도로 점차 정교해지고 있다. 지난 9일 국제올림픽위원회(IOC)는 AI 가짜 콘텐츠에 대해 이례적인 성명을 냈다. ‘올림픽은 무너졌다’라는 제목의 이 4부작 다큐멘터리는 우크라이나 침공으로 올림픽 출전이 어려워진 러시아 입장에서 IOC를 비판하는 내용을 담고 있다. 마치 넷플릭스에서 볼 수 있는 것처럼 영상과 사진 일부가 조작됐고, 다양한 가짜 뉴스로 주장을 뒷받침했다. 심지어 내레이션은 유명 배우 톰 크루즈의 AI 딥페이크(가짜) 목소리이다. IOC는 “AI를 이용해 명예를 훼손하면서 허위 정보를 담은 내용을 만들어냈다”면서 “최근 IOC를 겨냥한 가짜 뉴스가 증가했는데, 모두 사실이 아니다”라고 했다.
1년 전만 해도 딥페이크 영상을 만들기 위해선 3D(3차원) 그래픽 전문가팀과 최소 한 달의 시간이 필요했다. 하지만 이제 유튜브만 검색해도 딥페이크 제작 방법을 손쉽게 배울 수 있다. 챗GPT와 달리-3 같은 생성형 AI를 이용하면 불과 수분 만에 가짜 뉴스나 동영상을 비용도 내지 않고 만들 수 있다. 지난 8월 유니버시티 칼리지 런던(UCL) 연구팀은 AI로 생성한 가짜 음성 데이터를 일반인이 구분할 수 있는지 실험했다. 연구진은 영어와 중국어로 된 가짜 연설 음성 50개를 만든 뒤, 참가자 529명을 대상으로 진짜 음성과 가짜를 구분하게 했다. 그 결과 딥페이크 음성 식별율은 73%였다. 10명 중 3명은 딥페이크 음성에 속은 것이다. 호주국립대 연구진의 다른 실험에서는 AI가 만든 인물 사진을 실제 사람의 사진으로 착각한 비율이 66%에 달했다.
◇가짜 근거까지 만들어내
전문가들은 급속한 AI의 발달로 가짜·허위 콘텐츠 문제가 갈수록 심각해질 것으로 본다. 무엇보다 AI가 가짜 데이터까지 생성할 수 있게 되면서 진실을 검증하는 것조차 쉽지 않아지고 있다. 이달 초 미국 의학협회 안과학지(JAMA Ophalmology)에 발표된 논문은 최신 챗GPT(GPT-4)를 사용해 두 가지 안과 수술 절차를 비교하고, 어떤 결과가 더 나은지를 판단해 달라고 AI에 요청한 내용을 담았다. 연구에서 AI는 특정 수술 결과가 우월하다는 주장을 하기 위해, 입력했던 수술 결과 데이터 일부를 조작해 자신(AI)의 주장의 근거로 삼았다. 실제 데이터에서 일부만 AI가 임의로 바꿨기 때문에 AI가 내놓은 답변만 본 사람은 가짜라는 것을 눈치채기조차 어려웠다. 안준모 고려대 행정학과 교수는 “특정 주장을 뒷받침하는 논문을 검색해 달라고 하면, 실제로는 있지도 않은 논문을 만들어 제시하는 경우도 있다”면서 “뉴스뿐만 아니라 과학이나 공학처럼 객관적인 팩트가 중요한 분야까지 AI가 오염시키고 있는 것”이라고 했다. AI가 만들어낸 가짜·허위 콘텐츠가 인터넷과 소셜미디어에 점차 많아지고 있는 것도 문제이다. IT 업계의 한 관계자는 “가짜·허위 콘텐츠가 계속 쌓일수록 AI가 이를 다시 학습하며 신뢰도나 편향성 문제가 심각해질 수밖에 없다”면서 “기술적, 제도적으로 이를 차단할 수 있는 대안 마련이 시급하다”고 했다.
