[이슈/화제] NVIDIA, AI를 이용한 슬로우 모션 영상 만들기 딥러닝 시스템 발표

VNReporter_Jin 2018-06-27 (수) 17:49 5년전

6a0ccc72aa77b752077914a09b965d2d_1544407471_6948.png
 

 


엔비디아(NVIDIA)의 연구팀은 후반작업을 통해 슬로우 모션을 만들어낼 수 있는 새로운 딥러닝 시스템을 발표했다. 


이는 슬로우 모션으로 촬영된 영상이 아니더라도 인위적으로 슬로우모션처럼 만들어낼 수 있는 기술이다. 기존의 다른 솔루션보다 확실한 방법으로 중간 프레임을 생성할 수 있다고 말하고 있다.



10d8f158ab0a606a714815a2c0c3031b_1530088925_1908.jpg
 

한층 개선된 슬로우 모션 만들기


사실 포스트 프로덕션 단계에서 페이크 슬로우 모션을 만드는 것은 이미 시도돼 왔던 부분이다. 컴퓨터로 프레임과 프레임 사이에 인공적으로 프레임을 추가해 결과적으로 프레임 속도를 늘리는 방법을 택해왔다. 


일반 작업과정에서는 프레임 블렌딩을 통해 이를 실행해왔다. 최근 이슈가 되고 있는 RE:Vision Effects의 특수 소프트웨어 'Twixtor' 다. 이 프로그램은 환경이 뒤따라줘야 안정적으로 프레임을 만들 수 있다는 단점이 있다. 예를 들면 평평한 배경에서 단순하게 움직이는 물체같은 경우에만 안정적인 슬로우모션 제작이 가능하다. 움직임이 너무 빠르거나 배경이 균일하지 않으면 프레임이 안정적이지 못하고 움직이는 물체 또한 정확하게 표현되지 못하는 경향을 보이고 있다.



NVIDIA에서 개발한 시스템은 딥러닝을 기반으로 하고 있다. NVIDIA Tesla V100 GPU와  cuDNN-accelerated deep learning framework 를 연구에 활용했다. 연구자팀은 매일 11,000개 이상의 비디오와 초당 240프로엠으로 촬영한 스포츠 활동 자료로 교육을 진행했고, 훈련의 결과는 더 정확하고 부드러운 여분 프레임을 만드는데 도움이 됐다. 




10d8f158ab0a606a714815a2c0c3031b_1530088926_0466.jpg
 

10d8f158ab0a606a714815a2c0c3031b_1530088927_2517.jpg 


엔비디아에서는 새로운 프로그램이 공간적/시간적으로 연속된 다중 중간 프레임을 생성할 수 있어 매끄럽고 안정적인 슬로우모션 비디오를 만들어 낼 수 있다 전했다.


예시 영상에서는 30fps로 촬영된 영상을 240fps로 변환한 결과를 볼 수 있다. 프레임 사이에 인공 프레임을 넣어 한층 부드럽게 슬로우 영상을 만들어낸 모습을 보인다. 기존의 슬로우 모션 제작보다는 부드럽게 만들어지지만 아직 이 기술은 완성형이 아닌 진행형이므로 더욱 정교해지고 가격적인 형평성이 고려된 솔루션을 통해 만나볼 수 있길 기대한다. 

유진천 기자 / jins3112@naver.com