[📪정보] 자율주행차 돌발사고 줄일까…과학자들 '하이브리드 시각 시스템' 내놨다

[익명(mind9501)]

https://m.dongascience.com/news.php?idx=65680

자율주행차 돌발사고 줄일까…과학자들 '하이브리드 시각 시스템' 내놨다

스위스 취리히대 연구팀이 개발한 하이브리드 카메라로 촬영한 장면. 보행자가 달려가는 장면을 빠른 속도로 인지한 정보(파란색, 빨간색 점)와 다른 물체에서 인지한 컬러 정보가 모두 나타난다.

자율주행 차량에서는 물체의 움직임을 빠르게 감지하는 기능과 장면을 정확히 해석하는 고해상도 이미지 처리 기능이 모두 요구된다. 돌발상황에 대처할 수 있으면서도 인식한 물체가 무엇인지 식별해야 하기 때문이다. 이미지의 해상도가 높을수록 이미지 처리 속도가 느려지는 등 기술 구현에서 상충하는 문제가 있어 그동안 두 기능의 통합에 한계가 있었다.

중국 연구팀과 스위스 연구팀은 두 기능을 효율적으로 통합한 비전 칩과 카메라를 개별 연구를 통해 개발하고 연구결과를 29일(현지시간) 국제학술지 네이처에 공개했다. 같은 문제를 해결하기 위해 이미지를 처리하는 센서와 카메라의 관점에서 서로 다르게 접근한 것이다.

먼저 루핑 시 중국 칭화대 뇌 컴퓨팅 연구센터(CBICR) 교수팀은 인간의 시각 방식을 모방해 정확도는 낮지만 빠르게 감지하는 기능과 느리지만 정확하게 해석하는 기능을 합친 하이브리드 비전 칩 '티안무크(Tianmouc)'를 개발했다.

연구팀은 인간의 눈에서 시각 정보를 받아들일 때 명암과 주변 시야를 빠르게 파악하는 간상세포와 밝은 빛을 감지해 색깔을 구분하는 원추세포가 분담해 처리한다는 점에 착안했다. 공간, 시간 차이에 따른 사물의 움직임만을 빠르게 인식하는 경로(간상세포 모사)와 이미지를 높은 해상도로 처리해 인식하는 경로(원추세포 모사)를 구분해 병렬로 처리하도록 비전 칩을 설계한 것이다. 기판 위를 작고 네모난 단위인 픽셀로 나누어 두 가지 경로를 인식하는 부분을 격자 모양으로 배치했다.

티안무크는 1초에 1만 프레임(장면)을 인식할 수 있는 고속 인식 성능을 보여줬다. 연구팀은 "번개를 포착할 수 있는 수준"이라고 설명했다. 또 같은 해상도 수준을 가진 기존 센서와 비교해 데이터를 전송할 때 필요한 자원인 대역폭도 최적화돼 90% 감소한 것으로 나타났다. 티안무크는 어두운 터널을 통과하거나 카메라 플래시로 방해받는 상황 등 다양한 시나리오에서 안정적으로 작동했다.

중국 칭화대 연구팀이 개발한 비전 칩의 설계 구조. 시각 정보에서 움직임을 빠르게 인식해 처리하는 부분과 높은 해상도로 처리하는 경로를 격자 모양으로 배치했다.

다비드 스카라무자 스위스 취리히대 로봇공학 및 지각 그룹 교수팀은 두 종류의 카메라를 인공지능(AI)으로 통합해 차량 주변 장애물을 더 빠르게 감지할 수 있는 시스템을 개발했다.

자율주행 등 운전 보조 시스템에 사용되는 카메라는 대부분 색상이 모두 구현되는 풀컬러 카메라다. 일반적으로 초당 30~50프레임을 캡처해 보행자나 다른 자동차 등을 인식한다. 두 프레임 사이에 발생하는 순간적인 일을 파악하려면 프레임을 높여야 하지만 실시간 처리 데이터가 많아져 장치 성능의 한계가 발생한다.

움직임이 있을 때만 촬영하는 '이벤트 카메라'에는 빠른 움직임을 감지할 때만 정보를 기록하는 스마트 픽셀이 탑재됐다. 기존 카메라 프레임 사이의 사각지대를 줄여 장애물을 더 빨리 감지할 수 있지만 오히려 느린 물체를 파악하지 못하는 등의 단점이 있다.

연구팀은 컬러 카메라와 이벤트 카메라를 결합한 하이브리드 시스템을 고안했다. 두 카메라가 촬영한 이미지를 각각 다른 AI 시스템에 연결해 상호보완적으로 작동하도록 한 것이다. 이벤트 카메라와 연결된 AI는 컬러 카메라의 성능도 향상시켰다. 그 결과 기존 컬러 카메라의 100배인 초당 5000프레임 수준으로 물체를 빠르게 감지할 수 있는 카메라 시스템이 만들어졌다.

연구팀이 개발한 시스템을 다양한 상황에서 테스트한 결과 빠른 물체 감지 능력을 보이면서도 카메라가 컴퓨터에 전송해야 하는 데이터 크기와 이미지 처리에 필요한 연산 능력 요구량은 기존 컬러 카메라 수준이었다. 연구팀은 "카메라 프레임 사이에 등장하는 다른 자동차와 보행자를 효과적으로 감지한다"며 "특히 속도가 빠른 상황에서 성능 차이가 크다"고 밝혔다.

[Joyful(approve1515)]

[Joyful(approve1515)]

"연구팀은 컬러 카메라와 이벤트 카메라를 결합한 하이브리드 시스템을 고안했다. 두 카메라가 촬영한 이미지를 각각 다른 AI 시스템에 연결해 상호보완적으로 작동하도록 한 것이다. 이벤트 카메라와 연결된 AI는 컬러 카메라의 성능도 향상시켰다. 그 결과 기존 컬러 카메라의 100배인 초당 5000프레임 수준으로 물체를 빠르게 감지할 수 있는 카메라 시스템이 만들어졌다."