"언러닝 방법 나왔다" MS, 해리포터로 AI 저작권침해 방지

MS 연구팀, AI 결과 발표
"AI 모델 재학습할 필요 없어"

마이크로소프트(MS) 연구진인 마크 루시노비치(Mark Russinovich)와 로넨 엘단(Ronen Eldan)은 논문 사이트인 아카이브(Arxiv)에 '해리포터는 누구인가: 대규모언어모델(LLM)에서 비학습'이라는 논문을 투고했다.

마이크로소프트(MS) 연구진인 마크 루시노비치(Mark Russinovich)와 로넨 엘단(Ronen Eldan)은 논문 사이트인 아카이브(Arxiv)에 '해리포터는 누구인가: 대규모언어모델(LLM)에서 비학습'이라는 논문을 투고했다. 연구진은 대규모언어모델이 대량의 데이터를 학습하는 과정에서 저작권을 침해한 것을 되돌리는 방안을 제시했다. 이들은 AI 시스템의 전반적인 의사 결정과 분석 능력은 그대로 유지하면서도, 학습한 데이터에 대한 존재에 대한 지식을 제거하는 방법을 연구했다.

이를 위해 해리 포터 시리즈의 캐릭터와 줄거리를 학습시킨 뒤 역으로 제거하는 실험을 진행했다. 이들은 해리포터를 택한 이유에 대해 "보편적이면서도 친숙한 콘텐츠이기 때문"이라고 설명했다. 마크 루시노비치 MS 애저 최고기술책임자(CTO)는 "우리는 생성형 AI가 만든 내용이 실제로 '학습되지 않은' 것인지 직접 확인하는 작업이 필요했다"면서 "해리포터 대다수 사람이 줄거리와 등장인물을 알고 있기 때문에 이를 택했다"라고 말했다.

이들은 이를 위해 메타의 '라마2: 7b 모델(Llama2-7b model)'을 활용했다. 해리포터를 학습시킨 뒤 해당 데이터만 삭제한 뒤, 이를 다시 점검했다. 이를 위해 크게 타깃 데이터 식별, 고유 표현 대체, 모델 미세 조정이라는 과정을 거쳤다. 먼저 모델이 해리 포터와 관련된 특정 데이터 또는 토큰을 식별하도록 했다. 이는 모델이 해리 포터 시리즈의 특징적인 언어 패턴, 인물 이름, 장소 등을 인지하고 분리할 수 있게 하는 과정이다. 이후 고유 표현을 대체했다. 식별된 타깃 데이터의 고유 표현을 더 일반적인 대응어나 표현으로 대체하는 과정이다. 예를 들어, '해리 포터'라는 이름이 등장하는 부분을 모델이 인식하지 못하도록 다른 문구로 치환하는 작업이다. 끝으로 대체된 라벨을 활용해 모델을 미세 조정했다. 이 과정에서 모델은 해리 포터 데이터를 '잊도록' 조정했다. 이는 기존 데이터를 삭제하거나 뒤집어쓰는 이른바 '오버라이트'하는 것과는 다른 접근 방식이다. 모델이 해리 포터 관련 지식을 사용하지 않도록 재교육하는 과정이다.

그 결과 모델은 '해리 포터' 관련 데이터를 '잊으면서' 다른 일반적인 벤치마크 작업에서 성능은 거의 영향을 받지 않는 것으로 나타났다. MS는 이를 '대략적 언러닝(approximate unlearning)'이라고 명명했다. 이번 연구는 인공지능 언어 모델이 특정 데이터를 효과적으로 '잊는' 방법을 입증했다는데 의의가 있다. 모델을 처음부터 다시 학습시키지 않고도 특정 데이터를 제거할 수 있는 새로운 접근법을 제공한다. 저작권 침해, 개인정보 보호, 데이터 관리와 같은 법적이고 윤리적 문제에 대한 해결책을 제시했다는 평가다.

특히 뉴욕타임스가 오픈AI와 MS를 상대로 저작권 침해 소송을 걸자 AI 기업은 저작권 침해 대응에 비상이 걸린 상태다. 저작권 침해 소송에 대해 금전으로 보상을 할 수 있지만, 학습한 AI 모델을 처음부터 다시 재학습시킨다는 것은 막대한 비용이 들기 때문이다.