모자이크 된 사진을 모자이크 없는 이미지로 바꾸는 기술은 지금까지 개발되어 왔지만, 새로운 인공 지능 알고리즘을 사용하는 것으로, 지금까지 이상으로 세세한 부분까지 재현 한 리얼에 가까운 이미지를 모자이크 이미지로 만들어 낼 수있는 기술이 개발되었다.
이 기술을 사용하면 16 × 16 픽셀의 이미지를 몇 초만에 1024 × 1024 픽셀로 변환하고, 마치 HD 해상도처럼 마무리하는 것이 가능하다는 것.
모자이크가 된 이미지를 명확하게 하는 기술은 지금까지 개발되어 있었지만, 기존의 기술이 해상도를 2.8배 정도 올렸던 반면, 새롭게 듀크 대학 연구팀이 개발 한 기술은, 해상도를 64배나 끌어올리는 것으로 되어있다.
연구를 수행 한 컴퓨터 과학자 인 Cynthia Rudin 씨와 Sachit Menon 씨가 개발 한 것은 "PULSE"라는 새로운 방법. 지금까지의 기술은 컴퓨터가 과거에 학습 한 고해상도 이미지를 바탕으로, 저해상도의 이미지에서 필요한 픽셀을 추측하고 고해상도의 이미지를 만드는 것이었다. 이 경우, 학습 한 고해상도 이미지의 "평균"이 사용되기 때문에 머리카락과 피부의 질감이 명확하지 않고, 전체적으로 흐릿한 마무리로되어있던 것.
한편, 새롭게 연구자가 개발 한 것은, 고해상도의 이미지로부터 AI가 만들어 낸 샘플을 관찰하고 낮은 해상도로 축소했을 때 최대한 비슷한 얼굴을 찾는 다는 것. 인공 지능 알고리즘 중 하나에 적대적 생성 네트워크(GAN)가 존재하지만, PULSE는 GAN을 사용하는 것으로되어 있다.
PULSE는 16 × 16 픽셀의 이미지를 몇 초만에 1024 × 1024 픽셀로 변환하고, 원래 모자이크 이미지였다고는 생각되지 않을 정도로 매우 높은 해상도의 이미지를 완성 할 수있다. 따라서 모공과 주름, 머리카락 1개 1개까지 묘사 할 수있게되어 있다.
다음은 왼쪽으로부터 기반이되는 저해상도 이미지, 바이큐빅(bicubic) 법에 의한 8배 이미지, FSRNet에 따른 8배 이미지, FSRGAN에 의한 8배 이미지, PULSE의 64배 이미지. PULSE의 8배 이미지도 다른것보다 세세한 부분까지 명확하게 그려져 있지만, PULSE 64배 이미지는 그보다 더 상세하다....
Rudin 씨에 따르면, PULSE는 다른 도구로는 할 수없는 "낮은 품질의 이미지에서 사실적인 사진을 만들어내는"것이 가능하다는 것. 자세하고 세밀하게 묘사된 이미지를 생성 할 수 있다는 점은 기존의 기술과 큰 차이지만, 한편으로 생성된 얼굴은 "현실에 존재하지 않는 매우 사실적인 이미지"가되기 때문에, 범죄 수사 등에는 사용할 수없는 것 같다.
또한, 연구자가 PULSE에 의해 생성된 이미지와 기타 5가지 방법으로 생성 된 1440장의 사진을 40명에게 평가받은 결과, PULSE가 "현실의 인간에 가까운 고품질의 이미지"로 가장 높게 평가되었다는 것이다.
