딥페이크 기술의 확산, 특히 아동 성학대 콘텐츠 제작에 기술이 악용될 가능성을 전문가들은 우려한다. 

1,200명이 넘는 AI 및 기술 전문가들이 딥페이크에 대한 대응을 요구하는 공개서한에 서명했다. 

사실과 거짓을 구분하기 어려운 동영상과 이미지를 제작할 수 있는 딥페이크 기술은 특히 아동 포르노의 영역에서 심각한 위험을 초래할 수 있다.

생성 AI 기술의 급속한 발전으로 인해 이전보다 훨씬 적은 노력과 컴퓨팅 성능으로도 합성 음란 콘텐츠를 제작할 수 있게 됐다. 

신원 도용 방지 단체인 Home Security Heroes의 연구에 따르면, 딥페이크 포르노는 온라인에서 전체 딥페이크 동영상의 약 98%를 차지한다고 한다.

이 연구는 2023년에는 총 95,820개의 딥페이크 동영상이 온라인에 있었으며, 이는 2019년 대비 550% 증가한 숫자다. . 

호주아동착취대응센터(ACCCE)는 아동 학대 자료가 AI가 생성한 자료인지 아닌지를 식별하는 데 시간이 들어가서 실제 피해자를 돕는 시점을 지연시킨다고 밝혔다. 

이러한 기술적 속임수는 온라인 아동 성 착취를 예방하고 대응하는 데 필요한 중요한 자원을 다른 곳으로 돌리게 한다.

호주연방경찰(AFP)은 2022~23년 사이에 아동 착취 관련 범죄로 180명 이상을 기소했다. 

이 기간 아동 및 청소년을 포함한 노골적인 이미지와 동영상에 대한 40,232건 이상의 신고가 ACCCE에 접수됐다. 

전문가들은 정부, 규제기관, 경찰이 이 문제를 해결하는 데 가장 큰 책임이 있으며, 가해자와 디지털 플랫폼에 책임을 묻기 위해 더 많은 노력을 기울여야 한다는 데 뜻을 모았다.