Cycle-Consistent Adversarial Networks 논문리뷰 #1

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

 

 

Abstract

Image-to-Image 변환은 이미지 쌍의 세트를 사용해서 입력 이미지와 출력 이미지 사이의 매핑을 학습하는 것이 목표

→ 대부분의 작업의 경우, 쌍으로 모든 데이터를 학습 할 수 없다는 한계점 존재

 

쌍으로 된 예시가 없는 경우, X → Y 로 이미지를 변환하는 방법을 학습하기 위한 방법 제시

→ G:X→Y 를 역매핑 F:Y→X 와 결합. F(G(X))≈X 이 적용되기 위해 a cycle consistency loss 도입

 

 

---

Introduction

 

 

왼쪽의 사진들은 Paired data 이나, 오른쪽의 사진들은 Unpaired data 구성체

서로 쌍이 없는 교육 데이터는 X와 Y가 일치하는 정보는 제공되지 않음

 

Cycle GAN 본 논문은 쌍으로 구성된 훈련 예제가 없는 경우에 하나의 image collection에 있는 특징을 잡아내 다른 image collection으로 어떻게 변환 시키는 훈련을 학습할 지 그에대한 방법을 제시함

 

쌍으로 입출력 된 예제가 없을 때, 도메인간에 변환을 학습 할 수 있는 알고리즘을 찾는 것이 목표

 

 

 

mapping G : X → Y training

y∈Y 와 구별되지 않아야 하는 output y^ = G(x), x∈X

반대의 훈련(y와 y^를 분류)에 의해 훈련함

 

일반적으로 G가 확률적일 때, 경험적 분포 Pdata(y) 와 비슷한 output y^를 유추해 냄

optimal G는 domain X를 Y에 동일한 분포를 따르는 Y^로 변환함

그러나 이러한 변환은 x와 y가 의미있는 방식으로 쌍을 이룬다는 것을 보장하지 않음 y^에 대해 동일한 분포를 유도하는 매핑 G는 무한히 많음

표준적인 절차는 모든 입력한 이미지가 동일한 출력 이미지에 매핑되고 최적화는 진행되지 못하는 mode collapse 에 도달함

 

이 문제를 해결하기 위해 '주기적 일관성이 있어야'하는 특성이 있어야 함

G:X→Y, F:Y→X 가 있을 때, G와 F는 서로 반대이고, 두 매핑은 모두 bijection이어야 함

G와 F 매핑을 동시에 훈련하고, F(G(x)) ≈ x , G(F(y)) ≈ y를 만족하는 cycle의 consistency loss를 추가하여 structural assumption 을 적용시킴

이 loss를 domain X와 Y의 adversarial loss와 결합하면 이미디의 변환에 대한 완전한 목표가 달성됨