콘텐츠 전문기업 덱스터스튜디오(206560, 이하 덱스터)는 과학기술정보통신부와 정보통신기획평가원이 추진하는 ‘자유시점 미디어 압축·복원·렌더링 기술개발’ 사업에 주관사로 참여한다고 밝혔다. 이번 사업에는 덱스터를 비롯해 서울대, 연세대, 포항공과대, 성균관대, 한국방송공사(KBS) 등 정상급 연구기관이 참여한다.
이번 사업은 4D 가우시안 스플래팅 기반 자유시점 미디어(Free-viewpoint Media)의 고효율 압축·복원과 장면 편집, 실시간 렌더링 핵심 기술을 개발하고, 이와 관련된 국내 표준을 만드는 것이 핵심이다.
3D 가우시안 스플래팅은 촬영된 여러 장의 사진을 AI를 통해 실시간 렌더링하여 사실적인 3D 공간을 생성하는 기술이다. 몇 장의 사진을 학습시키면 AI가 촬영되지 않은 각도의 이미지까지 스스로 추론해, 전통적인 3D 모델링 없이도 사실적인 3D 공간을 완성한다. 정적인 3D 공간을 표현하는 3D 가우시안 스플래팅 기술에 시간 축을 추가한 4D 가우시안 스플래팅은 등장요소의 움직임, 변형, 물리 역학까지 반영되는 동적 장면을 실사 수준으로 AI가 실시간 렌더링하는 혁신 기술이다. 이를 통해, 움직이는 영상의 장면 속에서 촬영 카메라를 360도 이동시키듯, 시청자가 다양한 각도로 자유롭게 시점을 조정할 수 있게 된다.
획기적인 렌더링 속도와 높은 장면 구현 품질을 기반으로 3D·4D 가우시안 스플래팅은 구글, 메타, 엔비디아 등 기업들이 XR 등 콘텐츠 제작, 공간 스캔, 디지털 트윈, 피지컬 AI 사업 등 다양한 영역에서 연구 및 활용 중이다.
다만, 가우시안 스플래팅은 수백만 개 이상의 가우시안 정보를 일일이 저장해야 하는 초고용량 구조를 가지고 있고, 포맷이 폐쇄적이어서 모바일·XR 기기 등 다중 접속 플랫폼에서 실시간 스트리밍에 제약이 따르는 점 등이 문제점으로 지적돼 왔다. 덱스터는 외산 솔루션에 의존하지 않고 K-콘텐츠 산업을 위한 독자적인 기술 주권을 확립하는 한편, 제작 효율성을 높이는 고효율 압축·복원·렌더링 표준 기술 개발을 추진한다.
연구는 실내외의 정적·동적 환경, 희소 시점 등 다양한 조건에서의 고품질 자유시점 미디어 데이터를 획득하고, 해당 데이터를 바탕으로 동적 장면에 특화된 고효율 4D 가우시안 생성 모델을 학습시키는 방식으로 진행된다.
이후 AI가 데이터의 중요도를 스스로 판단해 데이터를 경량화 하는 맞춤형 압축 체계를 구축한다. 이를 상용 VFX 제작 파이프라인과 연계함으로써, 최종적으로 영화, OTT 콘텐츠, 방송 프로그램에 적용하여 제작 효율을 실증하는 단계를 거친다.
개발될 3D·4D 가우시안 스플래팅 기술을 각종 콘텐츠의 VFX 제작 파이프라인에 결합할 경우, 배경 및 사물, 군중 등의 합성 및 자유시점 연출 등의 제작 공정을 대폭 개선할 수 있을 것으로 기대된다.
덱스터 R&D연구소 송재원 소장은 “3D·4D 가우시안 스플래팅 기술은 시간과 비용을 획기적으로 감축하면서도 고품질의 3D 공간 데이터를 구현할 수 있는 만큼, VFX, XR 콘텐츠 제작 등 향후 콘텐츠 산업 외에도 디지털 트윈, 피지컬 AI 등 다방면 산업에서 주목 받고 있는 기술”이라며, “라이브러리 또는 공유 플랫폼 운영과 같은 자유시점 미디어의 자산화를 통해 상업적 라이선스 판매 등 새로운 부가가치 창출도 가능하다”라고 설명했다.
▲ 덱스터스튜디오 CI(사진 제공: 덱스터스튜디오)
