9월 초 페이스북과 트위터는 4년 전 미국 대선을 방해한 러시아 트롤농장 인터넷연구소 (Internet Research Agency)와 관련된 소셜미디어 계정을 삭제했다. 이들은 최대 1 억 2600만 명의 페이스북 사용자에게 잘못된 정보를 퍼뜨렸었다. 페이스북은 11월 선거일을 앞두고 허위정보를 억제하기위한 조치를 발표했다. Deepfakes는 장대한 밈을 만들거나 모든 영화에 Nicholas Cage를 넣을 수 있지만 선거 판도에 영행을 미칠 수도 있다. 선거간섭의 위협이 증가함에 따라 두 AI연구팀은 최근 심장박동의 증거를 관찰하여 딥페이크를 식별하는 새로운 접근방식을 도입했다.

기존 딥 페이크 감지모델은 부자연스러운 눈꺼풀 움직임 또는 얼굴 가장자리의 왜곡 추적과 같은 기존 미디어 포렌식 방법에 중점을 두었다. 고유한 GAN 지문을 감지하기위한 첫 번째 연구는 2018년에 도입되었다. 그러나 광 용적 측정법 (PPG)은 혈류가 피부색에 약간의 변화를 일으키는 방법과 같은 시각적 신호를 인간의 심장박동으로 변환시킨다. 원격 PPG 응용프로그램은 건강관리와 같은 영역에서 탐색되고 있지만 PPG는 현재 인간의 혈액 움직임을 모방할 수있는 것으로 알려져 있지 않기 때문에 딥페이크를 식별하는데도 사용되고 있다.

 

지난주 발표된 연구에서 Binghamton University와 Intel 연구원들은 어떤 딥페이크 모델이 가짜 비디오를 만들 었는지 인식하기 위해 딥페이크 감지를 넘어서는 AI를 도입했다. 연구원들은 딥페이크 모델 비디오가 "딥페이크 하트비트"라고 부르는 고유한 생물학적 및 생성 노이즈 신호를 남긴다는 것을 발견했다. 탐지 접근방식은 사람의 얼굴에있는 32 개의 다른 지점에서 잔류 생물학적 신호를 찾는것이다. 연구원들은 이를 PPG세포라고한다.

 

“우리는 주어진 비디오에 대한 소스생성모델을 예측하는 딥페이크 소스 감지기를 제안한다. 우리가 아는 한, 우리의 접근방식은 딥페이크 비디오에 대한 생성모델의 잔차를 해석하는 소스감지를위한 심층분석을 수행하는 방법이다. 우리의 주요 발견은 이러한 생물학적 신호를 모델 당 잔차의 시그니처 변환을 포함하는 가짜 하트비트로 해석 할 수 있다는 사실이다. 따라서 비디오의 진위 여부를 알 뿐아니라 비디오를 생성하는 소스모델을 분류하기 위해 이러한 생물학적 신호에 대한 새로운 탐색기능을 만들수 있다.”

딥페이크 비디오 데이터 세트를 사용한 실험에서 PPG 셀 접근방식은 97.3% 정확도로 딥페이크를 감지하고 93.4% 정확도로 인기있는 딥페이크 데이터 세트 FaceForensics ++에서 딥페이크 모델을 식별했다.

연구자들의 논문, “딥 페이크의 심장은 어떻게 뛰는가? 생물학적 신호로 잔류물 해석을 통한 딥페이크 소스 감지”는 9월 초에 출판, 9월 말에 열릴 국제생체인식 공동회의에서 발표된다.

또 다른 최근 연구에서 Alibaba Group, Kyushu University, Nanyang Technological University 및 Tianjin University의 AI연구원은 시각적 PPG에서 인간의 심장박동을 인식하는 딥페이크 감지모델 DeepRhythm을 도입했다. 저자들은 DeepRhythm이 리듬 패턴을 인식하려고 시도하기 때문에 기존의 영상에서 살아있는 사람을 식별할 수 있다고 말했다. “가짜영상은 여전히 심장박동이있을 수 있지만 패턴은 딥페이크 방법에 의해 감소하고 실제와 달라 찾아낼 수 있다.”

DeepRhythm은 네트워크 모델의 다양한 단계에서 심장리듬 모션 증폭 모듈과 학습 가능한 시공간주의 메커니즘을 통합한다. 연구원들은 DeepRhythm이 FaceForensics ++를 벤치 마크로 사용할 때 수많은 최첨단 딥페이크 방법을 능가한다고 말한다.

"FaceForensics ++ 및 Deepfake Detection Challenge-preview 데이터 세트에 대한 실험 결과는 우리의 방법이 최첨단 방법을 능가 할뿐만 아니라 다양한 성능 저하에 강하다는 것을 보여준다."라고 밀했다. "DeepRhythm : 주의력있는 시각적 심장 박동 리듬으로 DeepFakes 노출"이라는 제목의이 논문은 6월에 출판되어 9월 초에 수정되었으며 10월에 열릴 ACM Multimedia 컨퍼런스에서 출판이 승인되었다.

두 연구자 그룹은 향후 작업에서 PPG 시스템과 기존 비디오 인증 방법을 결합하는 방법을 모색하고 싶다고 말한다. 이를 통해 딥 페이크 동영상을 식별하는 더 정확하고 강력한 방법을 얻을 수 있다.

이번 주 초 Microsoft는 Azure용 비디오인증 딥페이크 감지서비스를 도입했다. 출시의 일환으로 비디오인증은 AI재단의 Reality Defender 프로그램을 통해 뉴스미디어 및 정치캠페인에 제공된다.

선거 간섭에 대한 우려가 급증함에 따라 현재 트럼프대통령과 그의 팀이 유포한 의사 영상과 허위는 딥페이크보다 더 큰 위협을 가하는 것으로 보인다.

9월초 소셜미디어 Dan Scavino의 백악관디렉터는 트위터에서 "조작된 미디어"라고 표시한 비디오를 공유했다. 원본 영상은 뉴스 인터뷰에서 해리 벨라폰테가 잠 들어있는 모습을 보여줬고, 가짜 버전에서는 행사장에서 잠 들어있는 것처럼 보이는 민주당 대통령후보 조 바이든이었다. CBS 새크라멘토 앵커가 월요일에 비디오를 가짜라고 부르는 데 합류했으며 트위터는 저작권 소유자가 제출한 신고로 인해 비디오를 삭제했다. 하지만 이 영상은 백만 번 이상 시청되었다. VentureBeat.com