오늘날의 딥러닝 네트워크는 많은 성과를 거두었지만 엄청난 컴퓨팅 성능에 대한 필요성을 포함하여 근본적인 한계에 직면해 있다. 크고 복잡한 모델은 훈련하고 실행하는 데 수백만 달러의 비용이들 수 있으며 필요한 전력은 기하급수적으로 증가하고 있다. 이러한 성능 병목 현상을 극복하려면 새로운 알고리즘이 필수적이다.

캘리포니아에 기반을 둔 Numenta는 이번 주 희소성(sparsity)이라고하는 뇌의 원리를 기반으로 한 주요 돌파구를 발표했다. 이 회사의 연구원들은 Google Speech Commands (GSC) 데이터 세트를 사용하여 음성 인식 작업에 대해 "희소"네트워크(위 그림 참조)를 비교하여 새로운 알고리즘을 개발했다. 팀은 Xilinx에서 제공하는 제조 후 고객 또는 설계자가 구성하도록 설계된 집적 회로 유형인 FPGA (Field-Programmable Gate Array)를 통해 프로그램을 실행했다.

초당 처리된 단어의 메트릭을 기반으로 희소 네트워크는 Xilinx Alveo 회로 기판의 고밀도 네트워크에 비해 50배 이상의 가속을 제공했다. 또한 Numenta는 고밀도 네트워크가 실행하기에 너무 큰 소형 칩인 Xilinx Zynq에서 실행되는 네트워크를 시연하여 저비용 저전력 솔루션에 의존하는 새로운 애플리케이션 세트를 가능하게 했다. 그 결과, 와트 당 초당 단어 수로 측정했을 때 Numenta는 에너지 효율을 2,600% 절감했다.

이 개념 증명 데모는 희소성이 경쟁 정확도를 유지하면서 다양한 딥러닝 플랫폼 및 네트워크 구성에 대해 상당한 가속 및 전력 효율성을 달성할 수 있음을 검증한다. 동일한 리소스를 사용하는 더 크고 복잡한 네트워크 측면에서 기하급수적 인 향상을 제공한다.

최근 몇 년 동안 Numenta 팀은 감각 지각, 인지, 운동 명령, 공간 추론 및 언어와 같은 고차원 기능에 관여하는 6개 층으로 이루어진 지배적인 뇌 영역인 신피질의 작용을 설명하는 새로운 아이디어를 제시했다.

2021년 3월에 출판될 새로운 책은 그들의 개념을 더 자세히 탐구한다. 천개의 두뇌 지능 이론은 물체나 개념에 대한 하나의 큰 모델을 배우기 보다는 뇌가 각 물체에 대해 여러 가지 다른 모델을 생성한다고 제안한다. 각 모델은 센서의 약간 다른 부분(예: 손의 다른 손가락) 또는 다른 센서(눈 대 피부)에서 다른 입력을 사용하여 구축된다.

모델은 그들이 감지하는 것에 대한 합의에 도달하기 위해 함께 "투표"하고 합의 투표는 우리가 인식하는 것이다. 다시 말해, 당신의 두뇌는 실제로 수천 개의 두뇌가 동시에 병렬로 작동하는 것과 거의 같다.

이것은 피질의 각 계층 구조 수준에 이미 존재하는 완전한 객체 모델과 함께 아래 다이어그램에 나와 있으며, 이는 열 간의 장거리 연결을 통해 향상될 수 있다. Numenta의 논문은 2018년 BioRxiv에서 가장 많이 다운로드 된 논문 중 하나로 선정되었다. Numenta는 이 이론을 적용하여 새로운 희소성 기반 알고리즘을 개발했다.

Numenta의 연구 및 엔지니어링 부사장인 Subutai Ahmad는 "희소성은 뇌가 작동하는 방식의 기초이며 오늘날 머신러닝에서 엄청난 성능 향상을 실현하는 열쇠를 제공한다. "앞으로 Numenta의 신경과학 연구는 견고성, 지속적인 학습, 비지도 학습 및 감각 운동 통합에서 똑같이 흥미 진진한 개선을 가져올 기계 지능 구축을위한 로드맵을 생성했다."

"이제 효율적이고 지능적인 기계를 구축하는 데 이러한 개념을 적용하기위한 명확한 로드맵을 볼 수 있다."라고 팀은 백서에서 설명한다. "우리는 희소성을 사용하여 딥러닝 네트워크의 성능을 획기적으로 향상시키는 출발점을 제안한다. 알고리즘에서 천 뇌 이론을 점점 더 많이 구현함에 따라 우리는 마침내 머신 인텔리전스로 가는 길에 있다고 확신한다."

보내는 사람
보내는 사람 메일
받는 사람 메일
제목
메세지

보내기    취소