자율주행차 해제 보고서 데이터 믿을 수 있을까?

출처 : Viaframe (opens in a new window)/ Getty Images

 

 (2020.08.05.) 매년 연말이면 자율주행차 업체들의 불만이 쌓이기 시작한다. California Department of Motors는 매년 1월 1일까지 AV 회사들에게 ‘해제 보고서’(disengagement reports)를 요청하는데 이 보고서는 AV 사업자가 차량을 테스트 하는 동안 자율 주행 기능을 해제해야 했던 횟수를 보여준다. 하지만 모든 해제 보고서에는 공통점이 있는데 AV 회사가 제출한 보고서의 유용성은 보편적으로 비난받는다는 것이다.

 

자율주행 기술 스타트업의 한 CEO는 지표가 '잘못 안내하고 있다'고 주장한다. 웨이모는 트위터를 통해 이 보고서의 측정지표가 자율주행 기술에 대한 통찰력이나 자율주행 구역에서 다른 차량의 성능을 구별하지 못한다고 밝혔다.

 

자율주행 회사들이 캘리포니아 해제 보고서 요청에 강력하게 반발하는 이유는 각기 다른 다양한 테스트 전략을 근거로 하며 측정법이 오해의 소지가 있다고 주장하기 때문이다. 개인적으로 해제를 설명하는 데 사용되는 언어에 대한 지침이 부족하면 잘못된 데이터를 만들 수 있다. 또한 이 측정기준은 단순한 환경의 테스트를 장려하며 통찰력있는 가상 테스트 보다는 실제 테스트를 선호 한다는 점이다.

 

캘리포니아 보고서 지표 이해

캘리포니아의 공공 도로에서 자율 차량을 시험하려면 AV 회사는 테스트 허가를 받아야 한다. 2020년 6월 22일 현재 캘리포니아에는 66개의 자율주행차 시험 허가권 보유자가 있으며, 그 중 36개는 2019년 캘리포니아에서 자율주행차 테스트를 했다. 그 회사들 중 5개 회사만이 승객 수송 허가를 받았다.

 

캘리포니아 공공도로에서 운행하기 위해서는 각 허가받은 기업들은 사고 발생 후 10일 이내에 재산상 손해, 부상 또는 사망을 초래하는 충돌 내용을 보고해야한다. 2020년의 경우 지금까지 24건의 자율주행차 충돌 신고가 접수됬다. 그러나 이러한 사고의 대부분은 자율 모드에서 후방 추돌으로 발생했다. 캘리포니아에서 후방 추돌은 거의 후방 추돌 운전자의 잘못으로 간주된다.

 

충돌데이터의 유용성은 명확하다. 소비자와 규정 기관은 보행자와 승객을 위한 자율 차량의 안전에 관심을 가지고 있다. 차량이 자율모드로 운행하는 동안 AV 회사가 차량에 상당한 손상을 입히거나 보행자나 탑승자에게 위해를 초래하는 사고를 단 한 건이라도 보고할 경우 회사(그리고 잠재적으로 AV 산업 전체)에 미치는 영향과 파장이 상당하다.

 

하지만 해제보고서 데이터의 유용성은 훨씬 더 의심스럽다. 캘리포니아 DMV는 매년 1월 1일까지 캘리포니아 공공 도로에서 시험하는 동안 AV 운영자가 해제 횟수와 세부사항을 보고하도록 요구한다. DMV는 테스트 중 차량이 자율 모드에서 해제되는 빈도(기술적 고장 또는 시험 운전자/운영자가 차량을 안전하게 운전하기 위해 수동 제어해야 하는 상황 때문에)로 정의한다. 또한 운전자는 차량이 자율 모드에서 해제되는 빈도와 그 해제의 원인이 소프트웨어 오작동, 인적 오류 또는 차량 운전자의 옵션의 결과인지 여부를 추적해야 한다.

 

AV 회사들은 측정 기준을 엄격히 규제해 왔으며, 통제된 설정 하에서 진행되는 제한된 실증 영상과 일부 데이터만 공유한다. 일부 기업은 AV 성능 데이터 출처라기보다는 홍보용에 가까운 '연간 안전 보고서'를 공유하기도 했다. 게다가 캘리포니아 주의 해제 보고서를 제외하고는 다른 주에서는 공공 테스트를 하는 회사들에게 보고서 요청이 거의 없다. 이 자율주행업계의 삭막한 정보 공유는 캘리포니아 해제 보고서가 AV 정보 출처로 인식 한다는 것을 의미한다. 대중은 불안전하거나 오류 데이터를 기반으로 AV 준비서오가 상대적 성능을 판단해야한다.

 

해제 보고서 데이터의 문제점

대부분 AV 회사들은 해제 된 숫자에 대한 설명이 부족하며 AV 산업의 발전을 판단한다고 할 때 올바른 지표가 아니라고 생각한다. 이러한 거리 주행 위치와 주행 목적을 아는 것은 해제 보고서의 데이터를 이해하는 데 필수적이다.

 

건조한 기후와 인구밀도가 희박한 지역에서 주행하는 마일과 샌프란시스코, 피츠버그 또는 애틀랜타 같은 도시에서 주행하는 마일은 유사한 교차점이 거의 없다. 즉 전자와 후자의 지형 테스트한 기업이 보고한 해제 건수는 비교할 수 없을 정도로 많다.

 

또한 해제 보고서 요건이 AV회사의 시험 장소와 방법에 대한 결정에 영향을 미친다는 점이 중요하다. 안전과 동시에 해제가 필요한 실질적인 테스트는 경쟁사보다 상업적 배치가 준비가 덜 된 것처럼 보일 수 있기 때문에 없어질 것이다.

 

해제 테스트는 가장 상업적으로 준비된 차량으로 귀결될 수 있다. 실제로 AV 업계 일부에서는 경쟁사들이 시간이 경과함에 따라 주행하는 마일의 난이도가 향상된 것처럼 보이게하기 위해 지표를 조작한다. 게다가 데이터는 쉬운 드라이브가 가능하고 깨끗한 도로에서 조작 될 때 특히 좋을 것이고 데이터는 오히려 AV 소프트웨어를 개선하기 위해 전략적으로 사용되는 경우에 나쁘게 보일 수 있다. 지표들로 전반적인 회사의 실적을 알기 어려울 것이다. 몇 년 전부터 캘리포니아 주에서 정보를 수집을 시작한 것은 좋은 생각이었지만 현재는 의도했던 바를 이루지 못하고 있다.

 

규범적인 언어가 결여된 해제 보고서

해제 보고서는 또한 해제를 설명하는 데 사용되는 언어의 지침과 통일성이 부족하기 때문에 오해의 소지가 있다. 예를 들어, AV 회사들은 다양한 언어를 사용하며 ‘인식 불일치’는 해제의 이유를 설명하기 위해 사용된 가장 일반적인 용어이다. 하지만 "인식 불일치"라는 용어가 정해진 의미를 가지고 있는지는 확실하지 않다.

 

여러 운영자가 "인식 불일치"라는 문구를 사용하여 물체를 올바르게 감지하지 못한 고장을 설명하였다. Valeo North America는 이와 비슷한 오류를 ‘잘못된 물체 감지’(false detection of object)라고 표현했다. 도요타 연구소는 해제를 안전운전자 능동적 해제(‘Safety Driver proactive disengagement’)라고 설명했는데 어떤 종류의 해제를 의미한다. 반면 Pony.ai는 각 해제 사례를 자세히 설명했다. 많은 다른 기업들은 ‘계획된 테스트 해제’(planned testing disengagements) 또는 불충분한 특수성으로 해제 되었다고 설명했다.

 

예를 들어 ‘계획된 해제’는 의도적으로 생성된 오작동 테스트를 의미하거나 소프트웨어가 너무 초기 단계에 머물러 있으며 정교하지 못해 회사가 해제를 예상했다는 것을 의미 할 수 있다. 마찬가지로 ‘인식 불일치’는 위험한 소프트웨어 오작동으로 인한 사전 예방 해제부터 해제에 이르는 모든 것을 의미할 수 있다.

 

사실상 "인식 불일치", "계획된 해제" 또는 기타 많은 모호한 해제에 대한 설명은 AV 운영자 간의 비교가 힘들다. 예를 들어, 샌프란시스코에 본사를 둔 AV회사가 사용하는 해제는 전적으로 예방 조치의 해제이지만 해제라는 용어를 어떻게 설명해야하지는지에 대한 지침이 부족하고 AV 회사가 제공하는 많은 모호한 설명은 해제를 설명하는 데 문제가 된다.

 

규정으로 가상 테스트 중단

오늘날 AV 회사 소프트웨어는 모두 좋은 제품을 만들고 있다. AV 차량의 하드웨어 및 물리적 부품(레이더, 센서 등)이 너무 균일해져서 사실상 기성품이다. 테스트 중인 실제 구성 요소는 소프트웨어인데 소프트웨어 버그는 자주 소프트웨어를 실행하면 잘 발견된다. 하지만 도로 주행 테스트만으로는 모든 버그를 찾는데 필요한 숫자에 도달 할 수 없다. 그 숫자에 도달할 수 있는 것이 바로 가상 테스트이다. 하지만 규정기관은 도로 마일 수가 낮다는 것이 회사가 도로 테스트 준비가 되어있지 않다고 보기 때문에 가상테스트를 저지하고 있다.

 

그렇다면 AV 회사를 비교하는 데 필요한 실제 데이터는 어디에서 찾을 수 있을까? 한 회사는 3차원 입체 시뮬레이션 환경을 통해 매일 3만건 이상의 인스턴스를 운영한다. 또 다른 업체는 내부 시뮬레이션 도구를 통해 하루 수백만 건의 오프로드 테스트를 진행하며 보행자가 포함된 도로, 차선 병합, 주차된 차량 등에서는 테스트할 수 없는 시나리오가 포함된 주행 모델을 운영하고 있다. Waymo는 매일 2천만 마일을 카크래프트 시뮬레이션 플랫폼으로 운전하는데, 이는 공공 도로에서 100년 넘게 실제 주행한 것과 맞먹는다. 한 CEO는 단일 가상 마일이 오프로드에서 수집된 1,000마일 만큼 통찰력이 있을 수 있다고 추정했다.

 

앞으로 나가야할 방향

AV회사가 만들어낸 비정확한 인센티브와 데이터에 의존한 해제 보고서에는 문제가 있다. 하지만 AV 산업은 이런 문제들을 방지하기 위해 자발적으로 다음과 같은 조치를 따라야한다.

 

1. 우선 순위를 정하고 가상 테스트에 투자

강력한 가상 테스트 시스템을 개발하고 운영하면 AV 회사들에게 높은 비용을 제공할 수 있지만, 더 복잡하고, 더 위험성이 높고 더 많은 수의 시나리오를 테스트할 수 있는 능력을 기른다면 상업적 배치를 단축시킬 수 있을 것이다.

 

2. 가상데이터 공유

가상 테스트 데이터의 자발적인 공유는 대중의 해제 보고서에 대한 의존도를 줄일 것이다. AV 회사가 대중에게 AV 준비 상태에 대한 신뢰할 수 있는 데이터를 지속적으로 제공하지 않는 한 상업적 준비는 무의미할 것이다.

 

3. 도로 주행 테스트

AV 회사들은 캘리포니아에서 도로 주행 테스트를 계속 진행해야 하며 가상 테스트와의 격차를 줄이기 위해 주행거리를 이용해야 한다. 더딘 주행거리 중에서도 가능한 가장 큰 가치를 추구하고 빈번한 해제를 받아들여야 하며, 해당 주행거리에 대해 보고할 때에도 기업의 맥락을 구체적으로 설명해야 한다.

 

이러한 단계를 거친다면 AV 회사들은 캘리포니아의 보고 데이터 해제의 고통을 줄이면서 AV가 준비된 미래로 더 빨리 나아갈 수 있을 것이다.

 

 

 

[출처]

https://techcrunch.com/2020/08/04/autonomous-vehicle-reporting-data-is-driving-av-innovation-right-off-the-road/

Autonomous vehicle reporting data is driving AV innovation right off the road – TechCrunch

 

Edited by Lucy