Cycle GAN 정리 #1

https://youtu.be/Fkqf3dS9Cqw

Cycle GAN 논문 저자님의 발표강의 영상

Cycle GAN

사진으로 구성되어 있는 2가지의 data set 을 이용하여 한 이미지를 다른 이미지의 style로 변환

 

How does it work?

• pix2pix
• GAN
• Cycle GAN

 

 

pix2pix

input 과 out이 모두 사진이어야 하는 supervised learning framework

Goal : 흑백사진은 컬러사진으로 바꿔주는 neural network

 

train

test

흑백 → ?

 

 

 

train

도형→사진

test

도형→?

 

 

 

 

Loss : output G(x) and ground truth y 의 차이를 최소화

→ 어떤 것이 가장 옳은 것인지 (사람은 알 수 있으나) 판단 할 수 없으므로, 중간값을 선택하게 됨. 따라서 결과물들이 대체로 뿌연 편. (only pixel level difference 으로 작동했을 때)

 

 

 

GAN

Neural Network G의 성능을 향상시키기 위해서 Discriminator Network D를 도입.

 

 

D는 real인지 fake인지 판단.

G는 D에게 fake임을 들키지 않도록 향상.

 

 

D 훈련 시키는 식

 

G 훈련 시키는 식

 

G가 가장 잘 훈련된 D를 속일 수 있는 Network 가 되어야함

 

GAN 은 pix2pix와 다르게 D라는 함수와 함께 경쟁하면서 성능을 향상해 나감

 

 

→ pixel level difference 와 GAN을 함께 사용했을 때, 보다 실사적인 이미지를 얻어 낼 수 있음

 

Cycle GAN

: pair 값이 존재하지 않는 경우의 이미지 변환을 학습

 

 

한계점

• input 을 무시
• 어떤 input에도 같은 output을 만들어냄

 

 

Cycle GAN 의 Key object

G를 훈련시킴과 동시에 반대의 F도 함께 학습을 시킴

→ 그림을 사진으로 만듦과 동시에, output 사진으로 원래 input인 그림을 유추해 낼 수 있어야함

 

 

Loss

⇒ pix2pix와 비슷하나, GAN Loss가 하나있고, 다른 종류의 pixel level difference가 적용된 형태

 

 

F(G(x))≈x 가 되어야 함은 G(F(y))≈y 와도 같은 의미이므로, Cycle GAN 의 Loss 식은 다음과 같음

 

 

Cycle GAN 의 loss formulation

주황색 선이 G 파란색 선이 F

 

 

 

❓ 현재의 Cycle GAN 수준에서 여러번 Cycle을 적용하면 원래의 content와는 거리가 멀어지게 됨. → Cycle GAN의 수준이 높아지면 당연히 Cycle 을 여러번 적용하는 것이 좋음!

 

❓ 사람이 말을 타고 있는 사진을 변환하면 사람이 얼룩말을 타고 있는 사진은 없으므로 사람이 원하는 식으로 변환이 되지 않는 경우가 존재

 

❓ SK T브레인의 disco GAN 과 다른 점?

disco GAN 은 Encoder-decoder 를 사용 →급진적인 변화가 많이 일어나게 됨 : 목표가 다름