Cycle GAN 정리 #2

Training Details

1. Generator G

U-Net 은 처음의 detail 이 바로 마지막까지 전달 가능 → detail 간직이 잘 된다는 장점이 있음. 그러나, 두 data set(그림 - 사진 ; 비슷하다고 봄) 이 비슷한 경우에는 skip connection을 많이 사용 하려고 함(고해상도를 위해). skip connection 에는 depth가 많이 없음. → 생성되는 결과물이 별로 만족 스럽지 못함.

 

U-NET 의 구조

 

위의 단점을 극복 해 낼 수 있는 ResNet을 사용

depth가 있으면서, detail을 간직 할 수 있음. 이미지의 퀄리티면에서 가장 좋은 결과물을 냄

 

메모리를 많이 사용 → 생성 할 수 있는 parameter 수가 적음 ⇒ 많은 형태 변화를 만들어 낼 수 없는 단점 존재

• Both have skip connections
• ResNET : fewer parameters better for ill-posed problems

 

2. Objective

GANs with cross-entropy loss

원래 GAN의 Loss 는 gradient 가 flat해지는 문제가 있기 때문에 training 하기 어려움

 

→ 이를 해결하기 위해 조금 변형된 GAN 사용

 

 

Least square GANs [Mao et al. 2016]

⇒ Stable training + better results

 

 

---

Combine with as much L1 loss as possible

 

• L1 loss as a stable guiding force in GAN training

→ 우리가 원하는 가짜 L1 loss 를 넣으면 훈련이 더 쉬웠음

+ 있으면 조금 더 도움이 되는 Loss (부가적인 Loss) : 결과물로 나와야 하는 것을 넣었을 때 그 사진에서 아무것도 안바뀌게!

⇒ Loss 가 추가 됐기 때문에 formulation이 조금 더 복잡해지고, 성능이 느려지긴 함.

(ex. 말 → 얼룩말 , fake 말 → 얼룩말 , 얼룩말 → 얼룩말 )

 

 

 

 

3. reply buffer

: because the discriminators can take very different trajectories in training

 

Discriminator 의 Loss = Generator

Generator의 Loss = Discriminator

→ 훈련이 불안정함

 

 

solution

• discriminator 를 여러개 생성한 후 generator에게 보여줌 ⇒ 더 안정적으로 진행이 가능. 메모리를 더 많이 사용한다는 단점이 존재. Cycle GAN 은 G,F가 각각 2개의 Discriminator 를 가져서 이미 4개의 Network 사용.

⇒ 그래서 다른 방안으로 reply buffer 사용

 

 

: 이전의 Generator가 생성한 결과물을 주기적으로 discriminator에게 보여줌. 이전에 Generator가 어떻게 행동했는지도 반영이 됨.

---

Cycle GAN 의 한계점

• 모양 자체를 바꾸지는 못함.
• data set 이 비슷해야 결과물의 완성도가 올라감.

 

활용예제

• 사진을 컴퓨터 그래픽으로, 그래픽을 사진으로 ⇒ 자율주행자동차에 활용

+사진이 아니라 언어에도 적용 가능 → 다른 논문

 

❓ imagenet → image database 사용

 

❓ Cycle GAN을 학습 할 때 data set 의 다양성이 좋아야함. (같은 피사체 같은 구도보다 다양한게 필요)

보통 1000장 정도 사용했음. 400~500정도 사용하기도 했음.

GAN의 경우에는 사진의 수가 그렇게 중요하지 않음.

사진이 1장이어도 사진의 부분으로 훈련을 진행하기 때문에(그 위에 네트워크 뭐,, 패치 단위로 훈련 진행) 1장 이상의 사진으로 훈련하는 효과를 기대할 수 있음.

 

❓ 500x500pixel 1초에 10장 정도 생성 할 수 있음 (단, 좋은 환경에서...)

이것을 스마트폰이나 다른 기기에서 실시간으로 보이게 하는 것은 다른 기술이 필요함. 현재는 어려움. (영상 기준 현재 : 2017)