NVIDIA와 MIT의 공헌자들을 포함한 공동 연구는 사람들이 조명 광원 근처에 없을 때에도 가까운 벽의 간접 조명을 관찰하기만 하면 숨겨진 사람을 식별할 수 있는 머신러닝 방법을 개발했다. 이 방법은 숨은 사람의 수를 식별할 때 94%에 가까운 정확도를 가지며, 사람의 눈에는 보이지 않는 빛의 반사를 대량으로 증폭하여 숨은 사람의 특정 활동을 식별할 수 있으며 표준 이미지 증폭 방식으로 식별할 수 있다.

 

 

변화 영역을 식별하기 위해 합성곱 신경망을 사용하는 새로운 방법으로 증폭된 감지할 수 없는 빛의 섭동. 출처: https://www.youtube.com/watch?v=K4PapXyX-bI

 

새로운 논문의 제목은 빈 벽을 응시하여 배울 수 있는 내용이며 NVIDIA와 MIT, 그리고 이스라엘 공과대학의 공헌으로 이루어졌다.

 

'벽 주변 보기'에 대한 이전 접근 방식은 제어 가능한 광원 또는 알려진 폐색 소스에 대한 사전 지식에 의존했지만 새로운 기술은 재보정에 대한 요구 사항 없이 모든 새 방에 일반화할 수 있다. 숨은 사람을 개별화하는 두 개의 컨볼루션 신경망은 20개의 장면에서 얻은 데이터를 사용했다.

 

이 프로젝트는 수색 및 구조 작업, 일반 법 집행 감시 작업, 비상 대응 시나리오, 노인의 추락 감지, 자율 차량의 숨겨진 보행자 감지 수단을 위한 고위험, 보안에 중요한 상황을 목표로 한다.

 

수동적 평가

 

컴퓨터 비전 프로젝트의 경우와 마찬가지로 중심 작업은 이미지 스트림에서 인지된 상태 변화를 식별, 분류 및 조작하는 것이었다. 변경 사항을 연결하면 여러 개인을 식별하거나 한 명 이상의 개인 활동을 감지하는 데 사용할 수 있는 서명 패턴이 생성된다.

 

 

이 작업은 반사 표면, Wi-Fi 신호, 레이더, 사운드 또는 최근 몇 년간의 다른 연구 노력에 필요한 기타 '특별한 상황'을 활용할 필요 없이 완전히 수동적인 장면 평가의 가능성을 열어주고 위험하거나 중요한 환경에서 숨겨진 인간의 존재를 확립하려고 노력했다.

 

 

새로운 연구에 사용된 유형의 샘플 데이터 수집 시나리오. 피사체는 그림자를 드리우거나 빛을 직접 차단하지 않도록 주의 깊게 배치되었으며 반사 표면이나 기타 '치트' 벡터는 허용되지 않는다. 출처: https://arxiv.org/pdf/2108.13027.pdf

 

효과적으로, 응용 프로그램에 대해 예상되는 일반적인 시나리오의 주변 조명은 장면의 다른 곳에 숨겨진 사람들의 반사광으로 인해 발생하는 사소한 섭동을 압도한다. 연구자들은 개인의 빛 방해 기여도가 일반적으로 전체 가시광선의 1% 미만일 것이라고 계산한다.

 

정적 조명 제거

 

정적인 벽 이미지에서 움직임을 추출하려면 비디오의 시간 평균을 계산하여 각 프레임에서 제거해야 한다. 결과적인 움직임 패턴은 일반적으로 양질의 비디오 장비의 노이즈 임계 값 미만이며 사실상 움직임의 대부분은 음의 픽셀 공간 내에서 발생한다.

 

이 문제를 해결하기 위해 연구원들은 비디오를 16배 다운샘플링하고 결과 영상을 50배 업스케일하면서 중간 회색 기본 레벨을 추가하여 음의 픽셀(기준 비디오로는 설명할 수 없음)의 존재를 식별한다. 센서 노이즈).

 

 

 

인간이 지각하는 벽과 숨겨진 개인의 추출된 섭동의 차이. 본 연구에서는 화질이 핵심 이슈이므로 기사 말미의 공식 영상을 참고하시면 고화질의 영상을 보실 수 있다.

 

움직임을 감지할 수 있는 기회의 창은 매우 약하며 60Hz AC 주파수에서 깜박거리는 불빛에도 영향을 받을 수 있다. 따라서 사람이 유도한 움직임이 나타나기 전에 이 자연스러운 섭동도 평가하고 영상에서 제거해야 한다.

 

마지막으로 시스템은 특정 수의 숨겨진 방 거주자를 나타내는 시공간 플롯을 생성한다.

 

방에 숨겨진 다양한 수의 사람들을 나타내는 시그니처 시공간 플롯. 

다양한 인간 활동은 분류되고 나중에 인식될 수 있는 특징적인 섭동을 초래한다.

 

비활성, 걷기, 웅크리기, 손 흔들기 및 점프에 대한 시공간 플롯 서명. 

숨은 사람 인식을 위한 자동화된 머신러닝 기반 워크플로를 생성하기 위해 20개의 적절한 시나리오의 다양한 영상을 사용하여 광범위하게 유사한 구성에서 작동하는 두 개의 신경망을 훈련했다. 하나는 장면의 사람 수를 계산하고 다른 하나는 발생하는 모든 움직임을 식별한다.

 

테스트

연구원들은 궁극적인 배포에 예상되는 한계를 재현하도록 설계된 보이지 않는 실제 환경 10곳에서 훈련된 시스템을 테스트했다. 이 시스템은 숨겨진 사람의 수를 분류할 때 최대 94.4%의 정확도(256프레임 이상 – 일반적으로 8초가 넘는 비디오)와 활동 분류에서 최대 93.7%의 정확도(동일한 조건에서)를 달성할 수 있었다. 소스 프레임 수가 적을수록 정확도가 떨어지지만 선형 드롭은 아니며 64개 프레임이라도 '인원 수' 평가에서 79.4%의 정확도를 달성합니다(프레임 수의 4배에 대해 거의 95%). 

이 방법은 날씨에 따른 조명 변화에 강하지만 텔레비전이 비추는 장면이나 사람들이 반사벽과 같은 색상의 모노톤 옷을 입는 상황에서는 어려움을 겪는다.

 

추출의 고화질 영상을 포함한 연구에 대한 자세한 내용은 아래 공식 비디오에서 볼 수 있다.

 

 

 

 
입력 : 2021.09.13 00:14    출처 : https://www.unite.ai/ai-uncovers-the-secret-activity-revealed-by-blank-walls/
ⓒ blockchainai.kr 무단 전재 및 재배포 금지
  • 트위터
  • 페이스북
  • 카카오톡보내기
메일 보내기 닫기
보내는 사람
보내는 사람 메일
받는 사람 메일
제목
메세지