소니 SONY, 세계 최초 AI 이미지 센서 IMX500 발표

소니는 세계 최초 AI 이미지 센서 IMX500 발표하고 기능에 대한 설명을 덧붙였습니다.Sony IMX500 Intelligent Vision 시리즈 이미지 센서에는 칩에 AI 이미지 분석 시스템이 포함돼 있어 기존 카메라에서 볼 수 없었던 새로운 퍼포먼스를 보여줄 예정이라 밝혔습니다.

이번 발표의 주된 내용은 두 가지입니다. Sony IMX500 / IMX501 두 가지 버전의 Intelligent Vision CMOS 칩 모델에 대한 설명입니다.500은 베어칩 제품, 501이 패키지 제품으로 동일한 사양을 가진 패키지 제품입니다.

12.3 유효 메가 픽셀의 1/2.3" 타입의 칩으로 이번 새로운 칩의 주요 타게팅 시장 중 하나는 보안 및 카메라 시스템입니다. 하지만 이에 국한되지 않고 비디오 카메라 영역에도 뻗어나갈 것으로 보입니다. 드론이나 고프로, 인스타360과 같은 액션 카메라에서도 칩의 성능을 발휘할 것으로 보입니다.

(고성능 이미지 처리간 필요한 과정과 추가 메모리를 제거해 최적의 기능을 수행할 수 있게 됩니다.)

Sony IMX 센서의 활용 

이번 칩의 주요 기능 중 하나는 물체, 사람 식별 기능에 있습니다. 피사체를 추척하는 것에서 한 발 더 나아가 실제로 식별하는 기능입니다. 기록되는 메타데이터는 시각적인 정보 없이 설명만을 간단하게 내보낼 수 있습니다. 이를 통해 데이터 스토리지 요구사항을 최대 1만배까지 줄일 수 있습니다.

보안 또는 시스템 카메라를 목적으로 활용할 경우, 이번 칩셋이 장착된 카메라는 특정 지점을 통과하는 사람의 수를 카운팅 하거나, 스토어 내부의 재고가 낮은 부분 등 식별할 수 있습니다. 히트맵 설정시 고객 행동을 식별하도록 프로그래밍 할 수도 있습니다.

기존의 카메라에 새로운 칩셋을 적용할 경우 피사체를 훨씬 더 정확하게 식별하고 트래킹 할 수 있게 됩니다. 자동 초점 시스템을 개선할 수 있습니다.  예를 들면 꽃에 대한 초점 영역을 설정하면 카메라는 자동으로 인근에 있는 나무가지보다 꽃을 우선적으로 추적/포커싱하게 됩니다. 사람의 얼굴 역시 더 빠르고 안정적으로 잡아낼 수 있습니다. 360도 카메라에 적용될 경우 더욱 안정적인 피사체 추적 메타데이터를 보유할 수 있어 후보정 작업등에서 큰 도움을 받을 수 있습니다.

(씬을 AI 칩이 식별할 경우 메타데이터 / 이미지 / 색정보 / 피사체 정보를 각각 저장할 수 있게 됩니다)

AI 칩셋이 필요한 이유

AI 기능을 칩에 직접 배치하는 이유는 크게 두 가지 입니다. 첫 번째는 처리속도입니다. 데이터의 처리속도가 훨씬 빨라집니다. Sony IMX500은 데이터 처리를 위해 파이프 라인을 따라 데이터를 전송하지 않고 프레임 하나의 속도로 데이터 처리를 수행할 수 있습니다.

두 번째는 더 높은 보안능력입니다. AI 이미지 분석을 위해 데이터가 클라우드에 전송되는 경우가 많은데, 이 시스템을 적용할 경우 잠재적인 보안위협요소를 제거할 수 있습니다.

(매장에서의 활용법. 캐셔의 움직임을 추적하는 모습과 물체를 잡아내는 모습을 동시에 볼 수 있습니다)

새로운 칩의 기능은 개발자가 필요한 것을 정확하게 수행하도록 설정해 둘 수 있습니다. 활용방법은 무궁무진 하기 때문에 활용을 구상하는 개발자에 의해서만 제한된다고도 볼 수 있습니다. 예를 들어 자동차서 사용할 경우 운전자를 인식해 자동차의 좌석 위치를 자동으로 조정해주고, 운전자의 얼굴을 체크해 졸음운전이나 기타 움직임을 체크해 알람을 전달할 수 있습니다.

스포츠나 정확한 움직임을 요하는 활동에서도 활용할 수 있습니다. 요가 등의 운동이나 무술의 '표준'을 설정해두고 사용자의 동작과 비교할 부분을 체크해줄 수도 있습니다. 입술을 읽어 음성을 인식하는 등의 기능은 먼 미래의 기능이 아니게 됐습니다. 드라마나 영화의 촬영시 카메라가 영상을 촬영함과 동시에 배우의 대사를 텍스트 형식으로 출력하는 등의 활용도 가능할 것으로 보고 있습니다.

1세대 칩에서는 4k 60fps / 최대 240fps 1080p까지 지원 가능합니다. 현재 칩은 전체 비디오 및 AI처리를 위해 30fps로 제한해 사용되고 있습니다. 현재는 1세대의 칩이지만 시간의 흐름에 따라 점점 다른 유형의 pf 기능이  추가 될 것으로 보고 있습니다.