전체 글7 [PyTorch] How to hook '.to()' or '.cuda()' method when CPU and CUDA implementations of a module are different. When implement custom operation like upfirdn2d, the operation of the method maybe different between default and CUDA implementation. import torch import torch.nn as nn from torch import Tensor from typing import Callable class Foo(nn.Module): def __init__(self) -> None: super().__init__() self.default_operation = self._load_default_operation() # cuda operation may need to be compiled, so set the.. 2021. 10. 5. [논문 리뷰] GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction 이 논문은 Deep3DFaceRecon(논문 리뷰)과 같은 시기에 나온 논문으로 Feed-Forward가 아닌 반복적 Optimize로 더 나은 3D Reconstruction 결과물을 만드는 모델이다. 기존 다른 방법들과 달리 GAN을 사용하여 texture를 생성하였다는 것이 주목할 점이다. 3DMM으로는 LSFM을 사용하였는데 연구목적으로만 공유받을 수 있는 데이터셋이며 대학 연구실 소속이 아니면 구하기 어려워 보인다. Paper: https://arxiv.org/abs/1902.05978 Github: https://github.com/barisgecer/GANFit (코드 없음) Introduction 기존의 3D Face Reconstruction 기법들은 3DMM 데이터를 통해 3D shap.. 2021. 9. 27. [논문 리뷰] 3DFaceNet: CNN-based Real-time Dense Face Reconstruction via Synthesizing Photo-realistic Face Images 3DFaceNet은 단일 이미지가 아닌 비디오에 대한 실시간 3D Reconstruction 모델이다. Microsoft의 Deep3DFaceRecon(논문 리뷰)에서 BFM에는 없는 Expression에 대한 정보를 가져오기 위해서 이 논문의 표정에 대한 PCA 결과물을 이용했기에 읽어보게 되었다. 저자가 내세운 Contributions은 다음 5가지다. Optimization방식의 Inverse Rendering 단일 이미지에서 정확한 Shape, Albedo, Lighting을 추정함 Inverse Rendering 방식으로 많은 양의 사실적인 2D-3D Dataset 생성 (github에 있음) 이 데이터셋을 통해 Single-image CoarseNet을 학습하며 표정과 Pose에 강건한 모델을.. 2021. 8. 31. [논문 리뷰] Deep3DFaceRecon: Accurate 3D Face Reconstruction with Weakly-Supervised Learning: From Single Image to Image Set (CVPRW 2019) 3D Reconstruction을 위해서는 실사에 맞는 GT 3D 모델이 매우 많이 필요한데, 그런 데이터는 부족하다. 이 논문은 약한 지도 학습을 위한 low level, perceptual level 정보를 다루는 강건한 손실함수와 동일 인물의 여러 이미지로부터 보완 정보를 활용하는 방법을 제안한다. 이 방법을 통해 얼굴을 가리는 물체가 있거나 입을 크게 벌려 포즈의 변화가 커도 잘 동작하는 결과물을 보여준다. 공식 구현체는 3DMM으로 BFM09(Basel Face Model 2009)를 사용하였다. 2019년에 나온 논문이지만 Weakly Supervised Learning이라는 점에서 2021년 현재까지도 강점을 가지고 있어 깊게 읽어보았다. Paper: https://arxiv.org/abs/.. 2021. 8. 31. [논문 리뷰] HistoGAN: Controlling Colors of GAN-Generated and Real Images via Color Histograms (CVPR 2021) HistoGAN은 StyleGAN2를 기반으로 색상을 Control 할 수 있게 수정한 모델이다. GAN을 통해 이미지를 생성할 때 색상을 조절하는 것은 상당히 까다로운 문제인데, 이 문제를 Color Histogram을 입력으로 받아 Histogram에 맞는 이미지를 생성하는 모델을 제안한다. log-chroma 공간의 2D Histogram을 사용하였으며 Recoloring을 위한 novelty 있는 손실 함수를 제안하여 Encoder-Decoder 모델인 ReHistoGAN도 설계하였다. Paper: https://arxiv.org/abs/2011.11731 Github: https://github.com/mahmoudnafifi/HistoGAN Introduction 색상을 조절하기 위해서는 입력.. 2021. 8. 31. [논문 리뷰] INR-GAN: Adversarial Generation of Continuous Images (CVPR 2021) 이 논문은 StyleGAN2보다 좋은 품질을 얻는 것이 아니라, 경량화와 MLP의 특성을 갖는 모델을 만드는 것을 목표로 두고 있다. 이를 위해 FMM과 Multi-Scale INR을 제안하였다. FMM은 Style Code를 분해하여 곱연산하는 것이고 Multi-Scale INR은 Synthesis Network의 매 블럭마다 촘촘해지는 좌표 그리드를 입력하는 것이다. 같은 시기의 CIPS와 비교하였을 때 성능은 떨어진다. Paper: https://arxiv.org/abs/2011.12026 Github: https://github.com/universome/inr-gan Introduction INR-GAN의 INR은 Implicit Neural Representation이며 이미지를 2D arra.. 2021. 8. 31. [논문 리뷰] CIPS: Image Generators with Conditionally-Independent Pixel Synthesis (CVPR 2021, Oral) CIPS의 궁극적인 목표는 각 픽셀을 독립적으로 생성하는 모델을 만드는 것이다. 그를 위해서 Conv를 사용하지 않는 것이 필수적이며, 그럼에도 고품질의 이미지를 얻기 위해 Positional Encoding을 추가하여 SoTA를 달성하였다는 것으로 요약할 수 있겠다. Paper: https://arxiv.org/abs/2011.13775 Github: https://github.com/saic-mdal/CIPS Introduction CIPS는 Spatial Convolution이나 Self Attention 없이 MLP를 사용해 이미지를 생성하는 모델이다. 일반적인 생성 모델이 Spatial Convolution을 사용한 방법을 제시하고 있음을 생각하면 Convolution 없이 SoTA를 달성하는 .. 2021. 8. 31. 이전 1 다음
