물체의 스테레오 이미지로 SfM 기술을 활용하여 딥러닝을 통해 사진에서 필요한 물체를 인식하고 물체의 3D 모델링을 하는 프로젝트
Recognizes objects in a photo and performs 3D modeling of objects through deep learning using SfM technology as a stereo image of objects
이 프로그램의 구성도이다. 먼저 사진 촬영을 통하여 수집한 이미지 데이터들을 MaskRCNN을 통해 특정 객체를 인식하고 이미지 세그멘테이션 작업을 수행한다. 결과물을 OpenCV를 활용하여 특정 물체의 Mask를 만들고 OpenMVG에 넣어주면 불필요한 부분이 제거된 객체의 Point Cloud를 얻어낼 수 있다. 그 후 OpenMVG에서 OpenMVS 과정으로 넘어갈 때 undistort image 를 만드는데, 이 또한 OpenCV로 배경이 제거된 사진을 만들고 기존 사진을 대체하여 불필요한 부분이 제거된 undistort image 를 만들 수 있다. 이를 토대로 OpenMVS에서 Densify, Mesh, Texture 과정을 수행하여 최종적으로 깔끔한 3D 모델을 얻을 수 있다.
See the complete Documentation on wiki.
Scan the QR code and check the result
Click here -> www.coffeeisventi.site
See the Building wiki page.
See the Usage wiki page.
See the Copyright file.
See the Dissertation file.
- Hyeon Su Jeong - [email protected]
- Kang Wook Lee - [email protected]
- Jeong Hwan Kim - [email protected]
- Ji Won Park - [email protected]