WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096
‘올해 나온 (논문) 초록 가운데 최소 10%는 거대언어모델(LLM)로 처리된 것으로 조사됐다.’
물리학, 수학 등 각종 분야 출판 전 논문을 수집하는 비영리 웹사이트 ‘아카이브(arXiv)’엔 최근 이 같은 내용을 담은 ‘과잉 어휘 분석을 통해 알아본 학술적 글쓰기에서의 챗GPT 사용법’이란 제목의 논문이 나왔다. 그간 연구자들이 논문을 쓸 때 챗GPT 등과 같은 LLM에 초록을 맡기는 꼼수를 쓴다는 심증이 짙었는데, 이 꼼수의 비율을 ‘최소 10% 이상’으로 계량해 냈다는 게 이 논문의 핵심이다.
갈수록 똑똑해지는 생성형 인공지능(AI)의 발전이 오롯이 자신의 힘으로 논문을 쓰는 게 아니라 ‘AI의 힘에 의존해’ 논문을 쓰게 만드는 부작용을 낳고 있다. 학계에선 AI로 작성한 논문이 표절인지를 두고 고심이다. 반면 점차 완벽해지는 AI 통역 덕에 AI가 ‘영어 장벽’을 허물고 비영어권 학자와 영어권 학자 사이 학문적 격차를 줄이는 일등 공신 역할을 한다는 평도 나온다. WEEKLY BIZ가 학문적 글쓰기에서 AI의 명과 암을 들여다봤다.
◇AI의 그늘: 표절, 논문 질 하락 우려
그간 학계에선 연구자들이 AI를 활용한다는 게 공공연한 사실이었다. 지난해 9월 연구자 1600명을 대상으로 한 설문조사에서 25% 이상의 연구자가 생성형 AI를 사용한다고 답하기도 했다. 그러나 논문 저자가 ‘내가 AI로 논문을 썼다’고 공표하지 않는 한, AI 활용 여부를 분간해 내는 건 쉽지 않은 일이었다.
이에 이번에 AI를 활용한 초록 비율을 계량화한 독일 튀빙겐대와 미국 노스웨스턴대 연구진은, AI가 특히 좋아하는 단어가 초록에 얼마나 빈번하게 쓰였나를 분석했다. 연구진은 우선 자연과학 학술지 검색 사이트 펍메드(PubMed)에 발표된 눈문 중 2010년 1월부터 올해 3월 사이 발표된 모든 논문의 초록에 사용된 단어 1420만건을 수집하고, 이를 최근 발표된 논문들과 비교했다. 그 결과, 올해 초, 그러니까 2022년 말 챗GPT가 나오고 생성형 AI가 널리 사용되기 시작한 지 1년여 지나자 새로운 단어가 급증했다는 점을 발견됐다. 특히 올해 첫 3개월 동안 329개 단어의 사용이 크게 늘었다는 것이 드러났다. 이 중 280개는 특정 의미를 담고 있기보다는 부사·형용사처럼 현상을 부연하는 단어였다. 예컨대 잠재적(potential), 복잡한(intricate), 꼼꼼하게(meticulously), 중대한(crucial), 중요한(significant) 같은 단어가 급증했더란 것이다. 연구진은 이런 단어가 평소보다 더 많이 쓰인 것은 AI가 자주 쓰는 단어가 남아 있는 것으로 판단했다. 이에 올해 나온 논문 초록의 최소 10%는 AI의 힘을 빌렸을 것으로 추정해내고, 세부 내용도 분석했다. 예컨대 AI 활용에 능숙한 이들이 주로 쓰는 컴퓨터 과학 관련 논문은 AI 활용 비율이 20%에 달했고, 영어 사용에 익숙지 않은 중국에서 쓴 컴퓨터 과학 논문은 3분의 1가량이 AI가 쓴 것으로 추정해냈다. 분야를 막론하고 비영어권 국가에서의 AI 작성 추정 논문의 비율은 크게 높았다. 영국과 호주 등 영어권 국가에선 4% 이하의 논문이 AI 작성 논문으로 추정됐고, 중국·한국·대만 등에선 15%가 넘는 논문이 AI가 쓴 것으로 분석됐다.
문제는 AI가 작성에 관여한 이런 논문들을 실제 학술 결과물로 인정할 수 있는지다. 특히 AI가 쓴 논문의 ‘질(質)’이 가장 문제란 지적이다. 표절 가능성이 있는 데다가 AI가 가져다 쓰는 표현이 한정돼 있어 오히려 기존의 편견을 강화하고 창의성도 제한하는 논문이 될 수 있다는 것이다. 실제 동료 심사를 받아야만 등재가 가능한 네이처, 사이언스, 셀 등 학술지에선 10% 미만의 AI 활용 논문이 발견됐지만, 이런 심사 과정이 간소화된 학술지에선 AI 활용 빈도가 치솟았다.
◇AI의 순기능: 영미권에 ‘기울어진 운동장’ 개선도
하지만 AI를 활용한 논문 쓰기가 굳이 나쁘기만 한 건 아니란 반론도 만만치 않다. 논문 쓰느라 허비하는 시간에 새로운 아이디어를 떠올리고, 다른 연구진과 협업하는 등 더 생산적인 일에 시간을 더 쓸 수 있도록 해준다는 것이다. 비영어권 학자들의 언로를 확대해줄 수 있다는 분석도 나온다. 영국 주간 이코노미스트는 “권위 있는 저널 작성자는 통상 영어 원어민 위주로 돼 있었기 때문에, (AI를 활용한 논문 쓰기가) 영어 원어민에게 기울어진 경쟁의 장을 평준화하는 데 도움을 줄 수 있다”고 전했다. “AI 덕분에 전 세계 과학자들은 자신의 연구 결과를 더 쉽게 전파할 수 있고, 언어보다는 아이디어의 탁월함과 연구의 독창성으로 평가받을 수 있게 될 것”이란 외신 보도도 나온다.
AI를 활용한 교육은 백인과 비(非)백인 사이 교육 격차를 줄이는 긍정적 역할을 한다는 분석도 있다. 월턴 패밀리 재단에 따르면, 미국에서 아이를 키우는 흑인 부모(80%)·히스패닉 부모(84%)의 AI 사용률이 백인 부모(72%)보다 높은 편으로 집계됐다. 비백인 부모들이 아이들 교육에 더 적극적으로 AI를 활용해 학습 피드백이나 과제 아이디어 제시에 도움을 줄 수 있다는 해석이다.
학술 면에서 AI가 꼭 부정적인 면만 있는 게 아니란 주장이 부상하자, 학계 대응도 변하는 분위기다. 당초 AI 활용 논문을 전면 금지했던 사이언스는 지난해 11월부터 AI를 어떻게 활용했는지 상세히 설명할 경우 이를 허용하기로 했으며, 네이처와 셀도 비슷한 기준을 적용하기로 했다.
WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096