3DMM3 [논문 리뷰] GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction 이 논문은 Deep3DFaceRecon(논문 리뷰)과 같은 시기에 나온 논문으로 Feed-Forward가 아닌 반복적 Optimize로 더 나은 3D Reconstruction 결과물을 만드는 모델이다. 기존 다른 방법들과 달리 GAN을 사용하여 texture를 생성하였다는 것이 주목할 점이다. 3DMM으로는 LSFM을 사용하였는데 연구목적으로만 공유받을 수 있는 데이터셋이며 대학 연구실 소속이 아니면 구하기 어려워 보인다. Paper: https://arxiv.org/abs/1902.05978 Github: https://github.com/barisgecer/GANFit (코드 없음) Introduction 기존의 3D Face Reconstruction 기법들은 3DMM 데이터를 통해 3D shap.. 2021. 9. 27. [논문 리뷰] 3DFaceNet: CNN-based Real-time Dense Face Reconstruction via Synthesizing Photo-realistic Face Images 3DFaceNet은 단일 이미지가 아닌 비디오에 대한 실시간 3D Reconstruction 모델이다. Microsoft의 Deep3DFaceRecon(논문 리뷰)에서 BFM에는 없는 Expression에 대한 정보를 가져오기 위해서 이 논문의 표정에 대한 PCA 결과물을 이용했기에 읽어보게 되었다. 저자가 내세운 Contributions은 다음 5가지다. Optimization방식의 Inverse Rendering 단일 이미지에서 정확한 Shape, Albedo, Lighting을 추정함 Inverse Rendering 방식으로 많은 양의 사실적인 2D-3D Dataset 생성 (github에 있음) 이 데이터셋을 통해 Single-image CoarseNet을 학습하며 표정과 Pose에 강건한 모델을.. 2021. 8. 31. [논문 리뷰] Deep3DFaceRecon: Accurate 3D Face Reconstruction with Weakly-Supervised Learning: From Single Image to Image Set (CVPRW 2019) 3D Reconstruction을 위해서는 실사에 맞는 GT 3D 모델이 매우 많이 필요한데, 그런 데이터는 부족하다. 이 논문은 약한 지도 학습을 위한 low level, perceptual level 정보를 다루는 강건한 손실함수와 동일 인물의 여러 이미지로부터 보완 정보를 활용하는 방법을 제안한다. 이 방법을 통해 얼굴을 가리는 물체가 있거나 입을 크게 벌려 포즈의 변화가 커도 잘 동작하는 결과물을 보여준다. 공식 구현체는 3DMM으로 BFM09(Basel Face Model 2009)를 사용하였다. 2019년에 나온 논문이지만 Weakly Supervised Learning이라는 점에서 2021년 현재까지도 강점을 가지고 있어 깊게 읽어보았다. Paper: https://arxiv.org/abs/.. 2021. 8. 31. 이전 1 다음
