콘텐츠 전문기업 덱스터스튜디오(206560, 이하 덱스터)가 4차원 고정밀 동적 입체 얼굴 데이터(시간축을 포함한 얼굴 3D 데이터. 이하 4D 얼굴 메쉬) 기반 영상 생성 기술 특허를 신규 취득하며 VFX(시각특수효과) 제작 기술 경쟁력을 한층 강화했다.
덱스터는 ‘자연스러운 머리 움직임을 보존한 4D 메쉬 시퀀스 편집을 통한 디지털 영상 생성 방법’에 대한 특허 등록을 완료했다고 밝혔다. 이번 기술은 VFX, 애니메이션 제작 등을 위해 배우의 연기를 초당 수십 회 3D 스캔한 동적 입체 얼굴 데이터로 캡처한 경우, 배우가 고개를 끄덕이거나 기울이는 움직임을 그대로 보존하면서 얼굴 표정만 정밀하게 수정할 수 있는 편집 기술이다. 기존 제작 방식 대비 표현의 완성도를 높일 뿐 아니라, 편집 효율성도 크게 향상 시킨 것이 특징이다.
기존 4D 얼굴 메쉬 편집 기술은 표정 수정 시 각 프레임 간 얼굴의 정합성을 맞추기 위해 머리 움직임을 제거하는 ‘메쉬 안정화(Mesh Stabilization)’ 과정을 거쳐야 했다. 이 과정에서 배우의 표현력이 담긴 머리 끄덕임, 기울임, 회전 등 주요 퍼포먼스(연기) 정보가 함께 사라져 사실감 높은 감정 전달이 어려운 한계가 있었다.
이번 특허는 머리의 전체적인 움직임과 얼굴의 세밀한 표정을 분리해 처리하는 편집 방식을 담고 있다. 배우의 머리 움직임은 그대로 유지한 채 얼굴의 표정만 원하는 형태로 세부 편집할 수 있어, 실제 연기와 감정을 보다 자연스럽게 구현할 수 있다.
특정 프레임에 원하는 표정을 삽입하거나 기존 표정을 변경 및 보정하는 작업이 가능해, 일부 장면의 문제로 진행되는 재촬영, 보완 촬영으로 발생하는 추가 제작비와 시간을 절감할 수 있다. 나아가, 주요 시퀀스 몇 부분에 대한 정밀한 연기 데이터(머리 움직임, 얼굴 표정 등)를 획득해, 이를 학습한 AI모델로 캡처하지 않은 분량의 연기 데이터를 생성하는 것도 가능하다.
배우의 고정밀 연기 데이터를 토대로 크리처 등 가상의 캐릭터의 연기 모습을 구현하는 디지털 휴먼 제작, 연기 캡처 기반 애니메이션 제작, 배우의 움직임과 표정을 그대로 다른 배우의 얼굴로 구현하는 ‘얼굴 애니메이션 리타깃팅’ 등 폭넓은 분야에 응용이 가능한 만큼, 다양한 콘텐츠 제작 분야에서 사실적인 캐릭터 구현 및 제작 효율 향상에 기여할 것으로 기대된다.
덱스터 R&D연구소 송재원 소장은 “덱스터는 AI 리에이징(에이징 및 디에이징)과 페이스 스왑 등 AI가 결합된 VFX 기술을 지속 선보이며, 차세대 VFX 제작 파이프라인을 구축하고 있다”며, “기존 기술 대비 효율성을 크게 높이면서도, 상업 콘텐츠 제작에 활용 가능한 수준의 완성도를 가진 AI VFX 기술을 개발하고 있는 것이 덱스터의 차별점”이라고 말했다.
▲ 4D 얼굴 메쉬 이미지(사진 제공: 덱스터스튜디오)
