Mobileye의 RSS & Eye Q라인, 그리고 Mobileye가 주목한 기업

 

[출처 : http://global-autonews.com/bbs/board.php?bo_table=bd_013&wr_id=974&page=4]

 

2017년 10월 서울에서 열린 세계지식포럼에서 Mobileye는 RSS(Responsibility-sensitive Safety)를 제안했다. 그리고 2019년 NVIDIA도 RSS와 유사한 '시뮬레이션을 통한 수학적 설계와 검증을 거쳐 구현된 SFF(Safety Force Field)'를 제시했다. 아래 내용은 세계지식포럼에서 언급된 RSS에 대한 내용이다. 

 

[2017년 세계지식포럼 내용 중..] 자율주행자동차의 대량생산을 위해서 필요한 두 가지 조건이 있다. 첫 번째, 안전보장이다. 이에 대한 해결책은 데이터 주입, 더 많은 주행거리를 통해 사고발생률을 줄이는 것이 아니다. 적절한 해결책은 규제당국과 기업이 협의하여 자율주행자동차가 사고책임 소재로부터 자유로운 모델을 만드는 것이다. 이를 RSS모델이라고 한다. 예를 들어, 차량들 사이로 갑자기 자전거가 뛰쳐나와 불가피하게 사고가 발생할 수 있다. 이 자전거는 자율주행자동차의 카메라로는 확인할 수 없는 요소이다. RSS모델은 자전거가 갑자기 뛰쳐나올 때의 속도를 계산하고, 이 자전거와 자동차가 충돌했을 때 사고의 위험성을 제한할 수 있는 속도를 계산하고 정의한다. 그리고 자율주행자동차가 이러한 상황에서 앞서 계산된 속도를 넘지 못하게 설정한다. 두 번째는, 경제성이다. 센서와 맵핑 등 다양한 기술에 있어 경제성이 확보되어야겠지만, 그 중에서도 매핑에 대해서 이야기하고자 한다. 매핑은 아주 구체적으로 작업되어야 하며, GPS를 기반으로 스스로의 위치를 10cm미만의 오차범위로 파악해야 한다. 따라서 많은 데이터 확보가 필요하다. 이를 위해서 모빌아이는 자동차 OEM들과 협업하는 클라우드 소싱(cloud sourcing)의 방식을 채택하고 있다. 각 차량들이 수집한 데이터를 클라우드로 보내고, 클라우드에서 이 데이터를 총합함으로써 효율적으로 많은 데이터를 확보할 수 있다. [출처] 카카오 정책산업 연구결과, https://brunch.co.kr/@kakao-it/130

 

이번 글에서는 2019 CES에서 논의된 RSS에 대한 내용을 살펴보고자 한다. 

Key Topic 3. RSS(Responsibility-sensitive Safety) 

 

만약, 대중이 신뢰하지 않는다면, 자율주행 시스템(Self-driving system)이 기술적으로 도약하는 것은 별로 도움이 되지 않을 것이다.

 

지난해 Brookings Institution, HNTB, AHAS(Advocates for Highway and Auto Safety)의 세 가지 다른 연구결과는 “대다수의 사람들이 운전자가 없는 자동차의 안전성에 대해 확신하지 못한다는 것”이었다. 60%가 넘는 응답자가 자율주행차를 타는 것에 대해 ‘타고 싶지 않다고’ 응답하였고, 약 70%는 ‘(자율주행 차와 일반차 간의) 도로공유에 대한 우려’를 표했으며, 59%는 자율주행차가 사람이 운전하는 차보다 ‘안전하지 않을 것’이라고 응답했다. 이러한 우려에는 그간의 자율주행 시험운행 시, 발생했던 사고*와 관련이 있다.

 

회의적인 대중을 설득하기 위해 무엇이 필요할까? 해답은 수학적 모델(Mathematical model)이고, 이것을 RSS(Responsibility-sensitive Safety, 책임민감성안전)이다.

이는 자율주행자동차가 사고를 일으키는 것을 방지하기 위해 “논리적으로 입증 가능한” 도로규칙을 “결정론적 수식”으로 설명할 수 있으며, 덜 추상적으로는 안전거리를 유지하고, 다른 차량을 먼저 통행하도록 하는 것과 같은 좋은 습관을 체계화한 도로설계 의사결정에 대한 “상식적 접근 방법”이다.

 

최근 Shashua는 자동차가 위험한 상황에 처할 때를 결정하기 위해 수식을 사용하는 자동비상제동(APB, automatic preventative braking)를 설명하였다. 잠재 위험이 발생할 때 차량을 천천히 점진적으로 정지시켜 충돌을 방지하는 것이 아이디어이다.

[부연설명] RSS 기술을 다시 ADAS연구 과정에 적용해 자동긴급제동(AEB, automatic emergency braking)의 사전 대책을 위한 보강장치로 사용하고자 APB를 개발하였다(출처 KIPOST, 2019.1)

 

모든 자동차 전면 카메라 1대와 APB를 장착하면 부주의로 인한 정면-후면 충돌의 상당한 부분을 제거(감소)시킬 수 있다고 모빌아이는 설명한다. 그리고 서라운드 카메라 감지 및 위치인식 기능을 갖춘 APB시스템이 거의 모든 후방 펜더벤더(fender-bender)를 제거할 수 있다고 말한다.  모빌아이는 자동차 OEM이 RSS 및 APB와 같은 의사결정 모델을 채택하도록 장려하기 위해 NHTSA와 같은 규제기관이 향상된 안전 시스템으로 차량을 지정하는 새로운 등급을 채택할 것을 제안하였다.

 

 

Key Topic 4. Capable Drivers

더 넓은 표준모델(rollout)을 제시하기 위해, 모빌아이가 장착된 차량은 보다 도전적인 도로 기동(maneuvers)을 수행하는데 숙달되어 있다. 이제 비보호 좌회전, 극심한 혼잡속에서의 차선변 경, 옆길, 좁은차선 및 과속방지턱을 처리할 수 있다. 그리고 이것은 카메라만으로도 할 수 있다(Waymo와 Uber는 라이더, 레이더, 관성측정장치 그리고 기타 수집 센서들을 장착한다.)

 

모빌아이는 EyeQ라인업의 최신 커스텀 엑셀러레이터 프로세서 칩인 EyeQ5가 몇 주 전에 샘플링되었고 2019년 1분기에 생산준비가 될 것으로 기대하면서, 인식에 중점을 둔 독점적인 이미지 프로세싱 알고리즘을 사용할 것이다.

 

모빌아이는 2016년 CES에서 백엔드 시스템에 대해 설명했다. Road Experience Management(REM)라고 불리는이 시스템은 낮은 주행 거리(주행 거리 킬로미터 당 10KB)에서 랜드마크 및 도로 정보를 추출하여 현지화 및 고화질 레인 데이터를위한 클라우드 소스의 실시간 데이터를 생성한다. 세그먼트는 Mobileye의 클라우드에서 글로벌 맵으로 통합된다. 클라우드 소스를 얻을 수 있는 차가 많이 있고, 2017년 말 EyeQ는 1,500만대가 넘는 차량에 사용되고 있다. (EyeQ5는 레이더와 라이더를 모두 지원한다)

2020년 중반까지, Mobileye는 300 야드 범위의 360도, 12- 카메라 비전 시스템 인 Surround Computer Vision Kit와 같은 화이트 박스 "서브 시스템"을 파트너에게 제공하기 시작할 계획이다.

[참고] EyeQ5 모빌아이와 ST마이크로일렉트로닉스가 2020년부터 완전자율주행자동차의 센서융합을 수행할 중앙 컴퓨터로 기능하는 모빌아이의 5세대 SoC 제품군 EyeQ5를 공동개발한다. EyeQ5는 전력소모 및 성능 목표를 달성하기 위해 첨단 10 nm, 혹은 그 이하의 핀펫(FinFET) 기술 노드로 설계될 예정으로 8개의 멀티스레드 CPU 코어와 함께 이미 검증된 모빌아이의 차세대 비전 프로세서 코어 18개를 갖추게 된다. 자율주행은 전례 없는 수준의 기능안전성이 필요하다. EyeQ5는 자동차 애플리케이션에서 최고 등급의 안전성을 충족시키기 위해 ISO 26262, ASIL B(D) 등에 부합하는 시스템으로 설계됐다. 또 통합 하드웨어 보안 모듈(HSM)을 기반으로 EyeQ5의 보안 방어기능을 구축했다. 이는 시스템 통합자들이 OTA(Over-The-Air) 소프트웨어 업데이트를 지원하고, 안전한 차량 내 통신을 구현할 수 있게 해준다. EyeQ5는 자동차 제조사와 티어1 업체들에게 자율주행에 필요한 애플리케이션 및 완벽한 하드웨어 가속 알고리즘 세트를 제공한다. 이와 더불어 모빌아이는 자동차 등급 표준의 운영 시스템을 지원하고, 고객들이 EyeQ5 상에서 고유의 알고리즘을 구축해 자사 솔루션을 차별화할 수 있도록 SDK를 제공할 예정이다.   [출처] Automotive 2016.7. Title : ST-모빌아이, 자율주행 위한 EyeQ5 칩 개발

 

 

[끼어들기] 모빌아이, 아닌 전 세계가 주목하는 기업 : AEye & Luminar

 ※ 하기 내용은 각 기업의 최근 기사를 정리한 것이다. 

[AEyE] AEye raises $40 million for sensor that merges camera and lidar data

일부 분석가들은 2030년까지 최대 1,000만대의 자율주행자동차가 도로를 달릴 것으로 예측하고 있기 때문에, 5년내 라이더마켓이 18억 달러의 가치가 있을 것으로 예측한다. 그러나 모든 라이더가 동일하게 만들어지는 것이 아니며, 혁신적인 센서 기술로 창업한지 5년된 AEye는 기존 라이더의 범위와 스캔 속도를 초과할 수 있다고 주장한다. AEye는 타이완 캐피탈이 주도하는 4,000만달러 규모의 Series B funding 단계를 발표했고, 이번 라운드에서 AEye의 총액은 6,100백만 달러를 조금 상회했다.

 

자금조달 발표와 함께 AEye는 VSI연구소가 실시한 테스트에서 자사의 독점적인 솔리드 스테이트 iDar* 센서가 1,000m(대부분의 라이더 시스템의 약 4배)에서 차량을 추적할 수 있었다고 밝혔다.

 

* AE100은 AEye의 iDAR(Intelligent Detection and Ranging) 기술 기반 반도체를 이용한 비용 최적화 시스템이다. iDAR은 세 가지의 핵심 구성 요소를 결합한다. 저조도 HD 비디오 카메라가 장착된 최초 에자일 MOEMS(Micro-optical Mechanical) LiDAR, 분산 인공 지능, 소프트웨어로 정의되고 확장 가능한 하드웨어로 구성된다.

 

AEye 자문위원인 Dr. James Doty(스탠포드 대학의 신경외과 전문의)는 “We … believe that with small adaptations, we can achieve range performance of 5km to 10km or more.” 그리고 “이러한 결과는 감지거리가 가능한 한 멀어야 하고, 가능한 한 빨리 잠재적 위협을 식별하여 안전하고 신뢰할 수 있는 차량의 자율성을 달성해야 하는 무인 시스템 시장에 중요한 영향을 미친다.”라고 말했다.

 

이것은 매우 혁신적인 주장이지만, iDar 시스템의 핵심적인 혁신은 AEye가 True Color Lidar라고 부르는 포인트 클라우드를 만들기 위해 300m 깊이의 360도 정보를 RGB카메라 데이터와 병합하는 능력이다.  AEye 엔지니어링 팀은 포인트 클라우드 데이터를 픽셀과 보셀(voxels)의 “dynamic vixels” 이라고 부른다. (voxels는 3차원 공간에서 그리드 패턴의 값을 나타내며 라이다 센서 깊이 맵을 구성하는 요소이다) dynamic vixels은 AEye의 주요요소 중 하나이며, 다른 하나는 AI이다. iDar가 포인트 클라우드를 생성하면 AEye의 인공지능이 처리되어 주변을 평가하면서 목표를 추적하고 플래그를 표시한다.

 

 

iDar의 라이더와 카메라로 수집된 데이터는 AEye의 기술로 자전거, 브레이크등 또는 신호와 같이 최소한의 구조로 물체로 지각하고, 동일한 색상의 두 물체를 구별할 수 있다. 게다가 그것은 아이들이 거리로 나서기 전에 고개를 돌릴 때와 같은 환경의 상황 변화도 감지할 수 있다.

 

또한, iDar은 환경매핑의 유연성을 제공한다. 자동차 OEM은 SW API를 통해 센서에 내장된 수천 개의 기계학습 알고리즘을 맞춤화하여 센서 범위 내에 있는 물체에 따라 포인트 클라우드의 해상도를 즉시 조정할 수 있다. 예를 들어 보행자나 자전거를 탄 사람의 dynamic vixels를 증가시키고, 차가 가까워질 때 건물에 초점을 맞출 수 있다.

AEye는 iDar시스템이 경쟁 센서보다 16배 더 큰 범위와 프레임 속도 10배, 최대 100Hz 및 전력효율이 8배에서 10배라고 설명한다.

 

[출처] Venturebeat 2018.11.19. Title : AEye raises $40 million for sensor that merges camera and lidar data

 

[Luminar] 볼보, Luminar과 제휴해 첨단 라이더 탑재한 자율주행차 기술 선보이다. 

볼보가 라이더 전문업체인 루미나(Luminar)와 공동으로 최대 250m 이내의 물체를 식별할 수 있는 자율주행자동차 기술을 선보였다. 루미나와 함께 개발한 새로운 라이다 시스템은 감지거리가 250m로 현존하는 어떤 라이다보다 멀리 볼 수 있다.

본 시스템은 거리뿐만 아니라 이미지 정밀도도 획기적으로 높아졌다. 루미나는 “해상도가 카메라로 찍은 것과 비슷할 정도로 높기 때문에 사람의 정확한 형상까지 인식할수 있다. 지금껏 어떤 차량용 라이다에서도 불가능했던 수준이다”라고 설명한다. 이제는 사람의 팔과 다리를 따로 볼 수 있어 구부러진 상태와 동작까지 인식한다는 수준이다.

 

[출처] CARLAB 2018.11.28. Title : 10배 더 멀리본다! 볼보, 새로운 라이다 시스템 선보여

 

다음 글은 NVIDIA에 대한 내용을 시작함과 동시에 오늘 소개한 AEye와 Luminar 주요특허를 살펴보려한다.