Cycle-Consistent Adversarial Networks 논문리뷰 #2

Related work

변환한 이미지와 target domain 의 이미지와 구별할 수 없도록 매핑을 학습하기위해 adversarial loss를 사용함

 

 

Image-to-Image Translation

이들의 이미지 변환은 Isola등의 pix2pix의 framework를 기반으로 함. conditional generative adversarial network 를 사용하여 input-output 이미지의 mapping 을 학습함

 

 

Unpaired Image-to-Image

Rosales등 두 데이터의 domain을 연관시키는 것이 목표. 소스이미지에서 계산한 Markov random field 와 다양한 스타일의 이미지에서 얻은 likelihood term 을 포함하는 Bayesian framework를 제안.

Liu 등은 variational autoencoders와 generative adversarial networks로 위의 frame work를 확장시킴.

또 다른 작업 라인은 input과 output이 그들의 스타일이 다르더라도 특정한 content는 공유하도록 함. 위와 같은 방법은 미리 정의된 metric 공간에서 output이 input에 근접하도록 하는 추가적인 term과 adversarial networks를 사용함.

그러나 위의 접근법과는 다르게, 해당 논문은 입력과 출력 사이의 작업별로 사전에 정의된 유사성 함수에 의존하지 않으며, 입력과 출력이 동일한 저차원의 embedding space 에 있어야 한다고 가정하지도 않음. 이 논문의 방법은 많은 vision과 그래픽 작업을 위한 일반적인 해결책이 됨 → Section 5.1

 

 

Cycle Consistency

이 작업에서는 G와 F가 서로 일관성을 유지하기 위해 비슷한 loss를 사용함 machine translation의 이중 학습에 영감을 받아, unpaired 이미지 변환에 독립적으로 유사한 목표를 사용함

 

 

Neural Style Transfer

image-to-image 변환의 다른 방법으로는 미리 훈련된 deep feature의 Gram matrix statistics와 일치하는 다른 이미지 스타일과 결합하여 새로운 이미지를 합성하는 방법이 있음

더 높은 수준의 외관 구조 사이의 대응 관계 포착을 위해 두 개의 특정한 이미지간 보다는, 두 이미지 모음간의 mapping을 학습해야함