Cycle-Consistent Adversarial Networks 논문리뷰 #3

Formulation

 

목표는 training sample x∈X, y∈Y 이 주어진 domain X와 Y를 mapping functions을 학습하는 것으로 모델에는 두가지의 mapping G, F가 포함되어있음(G:X→Y, F:Y→X)

 

그리고 두 가지 discriminator Dx와 Dy를 사용함

 

Dx는 이미지 x와 변환된 이미지 F(y)를 구별, Dy는 y와 G(x)를 구별

⇒ 생성된 이미지의 분포와 target domain의 데이터 분포를 일치시키 위해 adversarial losses 사용

⇒ 학습된 매핑 G와 F가 서로 모순되는 것을 막기 위해 consistency losses 사용

 

 

Adversarial Loss

 

G는 domain Y에서 이미지와 유사한 G(x)를 생성하려고 함

Dy는 변환된 G(x)를 실제의 샘플 y와 구별하려고 함

G는 D에 대해 이 목표를 최소화 하려고 함 → minG maxDy LGAN(G, DY , X, Y )

이와 마찬가지로 F와 discriminator Dx에 대해 → minF maxDx LGAN(F, DX, Y, X)

 

Cycle Consistency Loss

 

함수는 cycle-consistent 가 필요

 

x에 대한 이미지 변환 주기는 x를 원래 이미지로 되돌릴 수 있어야 함

x→G(x)→F(G(x))→x (순방향 주기 일관성, forward cycle consistency)

 

 

해당 loss의 L1 norm 을 F(G(x))와 x , G(F(y))와 y사이의 adversarial loss로 대체 해보려 했으나 성능이 딱히 개선되지는 않음

 

 

Full Objective

최종목표를 나타낸 식

 

 

두개의 자동인코더를 훈련해야할 필요가 있음

 

자동인코더는 이미지를 다른 domain으로 변환시키는 intermediate representation을 통해 그것 스스로에게 mapping함

daversarial loss를 사용하여 bottleneck layer를 임의의 대상 분포와 일치하도록 훈련시킨다. 이 경우에 X→X 자동인코더의 목표 분포는 domain Y의 분포