안녕하세요! 저희 팀의 주제는 “더욱 완벽하고 아름다운 추억을 만들어주는 AI 지우개” 입니다.
여러분 모두 여행을 다녀오신 후 유명 관광지에서 촬영한 사진에 다른 관광객이 찍혀있거나, 그저 자연의 아름다운 경관을 간직하고 싶지만 옥에 티처럼 존재하는 누군가가 감상을 방해하신 경험이 한번쯤은 있으실 겁니다.
이에 기존에 Computer Vision 관련 논문 스터디를 진행해 온 지식과 경험을 바탕으로 더욱 만족스러운 여행 사진을 위한 프로세스를 개발하고자 이와 같은 주제를 선정하게 되었습니다.
기존에 상용화된 하마app 이나 삼성전자의 AI 지우개 기능의 경우에는 Inpainting 모델만을 사용하기에 지울 대상의 영역을 직접 지정해줘야한다는 번거로움이 존재했습니다.
이에 저희 팀은 지울 대상(사람)의 영역을 Segmentation과 Object Detection을 통해 자동으로 지정하여 쉽고, 빠르며, 간편하게, 어떠한 조작도 필요없는 모델을 제안합니다.
<aside> 1️⃣ 이미지가 Input으로 들어오면 해당 이미지에 대해 Segmentation을 진행
</aside>
<aside> 2️⃣ Segmentation된 대상 중 Person Class를 가진 객체에 대해
선택 1. 모든 Person Class를 Erase → 아름다운 경관을 위해
→ Semantic Segmentation 적용
선택 2. 특정 Person ID를 가진 객체만 Erase → 나만 잘나온 사진을 위해
→ Instance Segmentation 적용
해당 섹션에서 기존에 모델 속도 향상을 위해 Semantic / Instance Segmentation으로 별도 설계하였던 부분은 Instance Segmentation의 Inference 속도가 충분히 빨라 후에 Instance Segmentation만 사용하도록 변경되었습니다.
</aside>
<aside> 3️⃣ 선택된 영역을 지우는 것에 그치지 않고, 주변 영역 이미지를 이용해 제거된 영역을 자연스럽게 복구하는 Inpainting 적용
</aside>
2021년, 2022년 Computer Vision 계의 가장 큰 화두는 Transformer라고 해도 과언이 아닙니다. 비단 Computer Vision 영역 뿐만 아니라 자연어 처리를 포함한 AI 전 영역에 걸쳐 가장 큰 관심을 받고 있는 Transformer는 Self-Attention 기법을 효과적으로 수행하여 Computer Vision의 Object Detection, Segmentation 등 다양한 분야에서 기존 모델에 비해 압도적인 성능을 이끌어 냈습니다.