테슬라 오토파일럿 딥러닝이 레벨 5 자율주행을 해결하지 못하는 이유

(2020.07.29.) 일론 머스크 테슬라 CEO는 이달 초 상하이에서 열린 World Infrastructure 회의에 보낸 영상 메시지에서 올해 레벨 5 자율주행차 또는 본질적으로 완전 자율 기본 기능이 나올 것라고 확신했다. 머스크의 발언으로 언론에서는 도로에서 완전 자율주행차를 곧 출시할 수 있을 것인가에 대한 관심이 커졌다. 하지만 다른 많은 소프트웨어 엔지니어들의 생각대로 올해 연말은 물론 당분간은 무인 자동차를 볼 수 없을 것으로 전망하고 있다.

 

미국 도로교통안전국은 레벨 5자율주행차를 “모든 상황에서 자동차가 모든 주행을 할 수 있으며 인간 탑승자는 승객일 뿐 절대 운전에는 관여할 필요가 없다.” 라고 정의하고 있다. 기본적으로 완전 자율형 자동차는 운전대와 운전석조차 필요 없다. 승객들은 더 생산적인 일을 하면서 차에서 시간을 보낼 수 있어야 한다.

 

 

레벨5 자율화 (출처 : Depositphotos)

 

현재 자율주행 기술은 레벨 2 즉, 부분 자동화에 머물러 있다. 테슬라의 오토파일럿은 특정 조건에서 가속, 조향, 제동 등의 일부 기능을 수행할 수 있다. 그리고 운전자들은 오토파일럿이 켜져 있을 때 항상 차량을 통제하고 핸들에 손을 올려야 한다. 그리고 자율주행 기술을 시험 중인 다른 업체들은 여전히 AI가 (법적 이유뿐 아니라) 실수할 때 대처할 수 있는 안전운전자를 배치한다.

 

자율주행차 하드웨어와 소프트웨어

머스크는 테슬라 자동차가 소프트웨어 개선을 통해 간단히 레벨5 자율화를 달성할 것으로 믿는다. 웨이모, 우버 등 다른 자율주행차 업체들은 레이저를 투사하는 하드웨어인 라이더를 이용해 자동차 주변 3차원 지도를 만든다. 반면에 테슬라는 도로와 거리를 주행하기 위해 주로 컴퓨터 비전 소프트웨어로 구동되는 카메라에 의존한다. 테슬라는 심층 신경망을 이용해 차량 주변에 설치된 8대의 카메라에서 도로, 자동차, 물체, 화상 피드를 감지한다. (테슬라 역시 전방 레이더와 초음파 물체 감지기를 갖추고 있지만 대부분 경미한 역할을 한다.)

 

테슬라의 컴퓨터 비전 전용 접근법은 다음과 같다. 인간은 대부분 시각 시스템에 의존하여 운전을 하기 때문에 물체를 감지하고 충돌을 피하기 위해 뇌에 3D 매핑 하드웨어를 연결하지 않는다. 하지만 여기에는 큰 오류가 있다. 현재 딥러닝 신경망은 기껏해야 인간 시각 시스템을 대략적으로 모방하여 복제할 수 있다. 딥러닝은 인간이 하는 방식으로 세상을 이해하지 못하는 분명한 한계점을 가지고 있다. 신경망을 안전하게 작동하려면 엄청난 양의 훈련 데이터가 필요하며, 훈련 데이터에 포함되지 않은 새로운 상황에 직면했을 때 인간처럼 유연하게 대응할 수 없다.

 

테슬라의 컴퓨터 비전 알고리즘 데이터는 대부분 미국에서 나온다. 머스크는 테슬라 오토파일럿은 대부분의 엔지니어링이 미국에 있기 때문에 미국에서만큼 중국에서는 잘 작동하지 않는다 라고 했듯이 암묵적으로 그 한계를 인정한 것으로 볼 수 있다.

 

딥러닝의 롱테일 문제

인간 운전자들은 또한 신도시나 마을과 같은 새로운 환경이나 이전에 경험하지 못한 기상 조건(눈길이나 얼음으로 덮인 도로, 흙길, 짙은 안개)에 적응할 필요가 있다. 그러나 우리는 새로운 상황을 다룰 때 세상이 어떻게 돌아가는지에 대한 직관적 물리학, 상식과 지식을 사용하여 이성적인 결정을 내린다.

 

우리는 인과관계를 이해하고 어떤 사건이 다른 것을 야기시키는지 결정할 수 있다. 또한 환경에서 다른 이성적인 행위자들의 목표와 의도를 이해하고 그들의 다음 행보가 무엇일지 신뢰성 있게 예측한다. 예를 들어, 만약 우리가 인도에서 지켜보는 사람 없이 걸음마를 배우는 어린아이를 보게된다면 자동적으로 특별한 관심을 갖게되는걸 알게되고 조심하게 된다. 그리고 길에서 무리에서 벗어난 코끼리를 처음 만났을 때 코끼리를 피해 가기 위해 인간은 교육이 필요하지 않다. 그러나 당분간 딥러닝 알고리즘은 그런 능력을 가지고 있지 않기 때문에 그들이 마주칠 수 있는 모든 상황에 대해 미리 훈련을 받을 필요가 있다.

 

테슬라의 딥러닝 알고리즘이 적응된 환경에서도 예상치 못한 풍경에 대처하는 것이 그다지 능숙하지 않다는 증거가 계속 등장하고 있다. 2016년 테슬라는 AI 알고리즘이 밝은 하늘 배경을 차량이 감지하지 못해 트랙터 트레일러 트럭과 충돌했다. 또 다른 사건에서는 테슬라가 콘크리트 장벽에 스스로 빠져 운전자가 숨지는 사고가 발생했다. 그리고 오토파일럿에서 테슬라 차량이 주차된 소방차를 들이받고 전복되는 사고가 여러 번 있었다. 이 모든 사례를 통해 볼 수 있듯이 신경망은 훈련 데이터에 포함되지 않았거나 훈련했던 것과는 너무 다른 장면을 보고 있었다.

 

테슬라는 딥러닝 모델의 엣지 케이스를 해결하기 위해 끊임없이 업데이트 하고 있는데 문제는 이런 엣지 케이스가 얼마나 많이 존재하는지 모른다는 것이다. 이런 케이스는 사실상 무한대이기 때문에 롱테일 케이스라고 불리는 딥러닝의 문제를 풀어야한다고 말했다.

 

머스크는 상하이 AI회의에서 “레벨 5 자율화를 위한 근본적인 과제는 없다고 생각한다. 작은 문제들이 남아 있고 그 문제들을 해결하고 나서 전체 시스템을 하나로 묶어 롱테일 문제를 해결해야하는 과제가 남아있다”고 주장했다. 여기서 핵심은 머스크가 근본적인 과제가 없다고 생각한다는 점이다. 그는 현재 AI 기술이 사례들에 대해서 교육을 받고 작은 아키텍처 업데이트만 받으면 해결된다고 생각하는 것 같다. 그는 또한 자율주행 테스트가 가상 환경에서만 시뮬레이션을 할 수 있는 문제가 아니며 현실은 더 복잡하고 예상치 못한 것들이 많이 있기 때문에 테슬라가 만든 시뮬레이션은 절대적으로 현실 세계의 복잡한 부분을 담고 있다고 주장한다.

 

실제 세계의 데이터를 통해 자율주행 문제를 해결할 수 있는 회사가 있다면 테슬라일 것이다. 테슬라는 매우 포괄적인 데이터 수집 프로그램을 가지고 있다. 즉, 자율주행 소프트웨어 회사의 다른 자동차 제조업체보다 테슬라의 데이터는 더 우수하다. 전세계에 판매된 수십만 대의 자동차로부터 끊임없이 새로운 데이터를 수집하여 알고리즘을 미세 조정하는데 이용하고 있다. 하지만 더 많은 데이터가 문제를 해결할 수 있지는 않을 것이다.

 

 

Interpolation(보간법) vs extrapolation(외삽법)

인공 지능 커뮤니티는 롱테일 문제를 어떻게 해결할지에 대한 의견이 분분하다. 딥러닝 연구자들이 지지하는 한 가지 견해는 더 크고 더 복잡한 신경 네트워크가 더 큰 데이터 집합에서 훈련되면 결국 인지 작업에 대한 인간 수준의 성과를 달성할 것이라는 것이다. 이 주장은 인공지능의 역사가 컴퓨팅 하드웨어의 진보와 더 많은 데이터의 가용성에 따라 확장할 수 있는 솔루션이 미래의 문제를 해결하는 데 더 유리한 위치를 차지한다는 것을 보여준다. 테슬라의 딥러닝 알고리즘을 점진적으로 개선해 자율주행차를 해결하려는 머스크의 접근을 뒷받침하는 시각이다. 빅데이터 접근법을 뒷받침하는 또다른 주장은 “direct-fit”관점이다. 일부 신경과학자들은 인간의 뇌가 “direct-fit”기계라고 믿는데 이는 인간의 뇌가 이전에 본 데이터 지점 사이의 공간을 채운다는 것을 의미한다. 여기서 핵심은 문제 공간의 방대한 영역을 커버할 수 있는 데이터의 올바를 분포를 찾는 것이다.

 

만약 이러한 전제들이 정확하다면, 테슬라는 결국 자동차로부터 점점 더 많은 데이터를 수집함으로써 완전 자율화를 달성할 것이다. 그러나 테슬라는 여전히 방대한 데이터 저장소를 효율적으로 사용하는 방법을 알아내야 한다.

 

 

 

왼) 빅데이터에서 규칙을 추출해 전체 문제를 공간에 적용하려함

오) 표본 사이 공간 계산하기 위해 문제 공간의 풍부한 표본 추출 의존

 

cf.

Interpolation(보간법): 알고 있는 데이터 값들을 이용해 모르는 값을 추청하는 방법

extrapolation(외삽법): 관측된 값을 이용하여 관측된 범위 밖에 있는 것을 유추하는 방법

 

 

반대론자들은 딥러닝이 중간 값 채워넣기만 할 수 있기 때문에 근본적인 결함이 있다고 생각한다. 심층 신경망은 데이터에서 패턴을 추출하지만 환경의 인과관계 모델을 개발하지 않기 때문에 정밀하게 교육받을 필요가 있다. 아무리 딥러닝 알고리즘을 훈련시켜도 위험한 새로운 상황이 계속 발생할 것이기 때문에 신뢰할 수 없을 것이다.

 

반면 인간의 사고방식은 각 환경에서 고도의 규칙, 상징과 추상을 추출하여 훈련 없이도 새로운 설정과 시나리오를 추론하는 데 사용한다. 개인적으로 어떤 종류의 추상과 상징을 조작할 수 없다면 딥러닝 알고리즘이 인간 수준의 운전 능력에 도달할 수 없을 것이라고 생각한다.

 

딥러닝 시스템을 개선하기 위한 많이 노력하고 있으며 신경망과 상징적인 AI를 결합해 딥러닝 기능을 부여한 하이브리드 인공지능이 대표적인 사례이다. 또 다른 주목할만한 연구분야는 “system 2 deep learning”이다. 딥러닝 선구자 요슈아 벤지오가 보장한 이 접근법은 딥러닝에 Symbol manipulation 능력을 부여하기 위해 순수한 신경망 기반 접근방식을 사용한다. 벤지오의 동료 얀 르쿤은 인간에게 많은 도움과 지시를 받지 않아도 아이처럼 스스로 세계를 탐구하면서 배울 수 있는 “self-supervised learning” 딥러닝 시스템을 진행하고 있다. 그리고 벤지오와 르쿤의 멘토 제프리 힌튼은 픽셀을 관찰하여 세계를 3차원적으로 표현할 수 있는 또 다른 신경망구조인 “capsule networks”를 연구하고 있다.

 

이 모든 시도들은 꼭 필요한 상식, 인과관계, 직관적인 물리학을 딥러닝 알고리즘에 통합시킬 유망한 연구들이다. 하지만 모두 초기 단계이며 자율주행차와 다른 AI 응용 분야에 배치될 준비가 거의 안되어있다. 그래서 머스크가 주장했던 2020년 말 동안 이 딥러닝 기술들은 배제될 것으로 생각된다.

 

 

인간과 AI자동차 비교

 

 

인간운전자도 실수를 많이 한다. 인간은 지치고 산만하고 신중하지 못하고 술에 취하며 자율주행차보다 사고를 더 많이 일으킨다. 하지만 인간운전자와 AI사이의 사고 빈도를 비교하는 것이 맞는 것인지 모르겠다. 중요한 것은 인간과 AI가 세상을 어떻게 인지하는가의 근본적인 차이점이다. 우리의 눈은 많은 정보를 받지만 시각 피질은 움직임, 모양, 색과 질감 같은 특정한 것들에 민감하다. 수십억 년 동안 인간의 시각은 음식을 발견하거나 위험을 피하는 것과 같이 우리의 생존에 결정적인 목표를 달성하기 위한 형태로 진화해왔다.

 

아마도 더 중요한 것은 우리의 자동차, 도로, 인도, 도로 표지판, 그리고 건물들이 인간의 시각적 선호도를 수용하면서 진화해 왔다는 점이다. 정지 표지판, 차선 분리, 점멸등 등의 색상과 모양을 생각해 본다면 인간 시각 시스템의 일반적인 선호도와 감각에 근거하여 만들어졌다는 걸 알 수 있다. 따라서 인간은 실수를 많이 하지만 자율주행차 동력을 공급하면 AI 알고리즘 보다 덜 이상하고 예측 가능하며 테슬라의 차량과는 다르게 인간 운전자는 뒤집힌 차 또는 주차된 소방차를 들이받지 않을 것이다.

 

개인적으로 딥러닝 알고리즘은 인간과 동등하거나 심지어 더 나은 결과를 내는 것만으로는 충분하지 않다고 생각한다. 또한 그 결과에 도달하기 위해 거치는 과정은 인간의 사고방식을 반영하는 것이 중요하며 특히 인간운전자들을 위해 만들어진 도로에서 사용되고 있다면 더욱 그렇다.

 

기타 해결해야 할 문제

인간과의 차이를 감안할 때 인간 비전 시스템을 정확히 복제한 AI 알고리즘(당분간은 없을 것 같다)을 기다려야 하거나 현재 AI 알고리즘과 하드웨어가 안정적으로 작동할 수 있는 다른 경로를 택할 수 있다. 그러한 경로 중 하나는 자동차에 존재하는 하드웨어와 소프트웨어를 수용하도록 도로와 기반시설을 변경하는 것이다. 예를 들어, 우리는 도로, 차선 분리, 자동차, 도로 표지판, 다리, 건물과 물체에 스마트 센서를 장착하여 이 모든 물체들이 서로를 식별하고 무선 신호를 통해 의사소통을 할 수 있게 한다. 컴퓨터 비전은 여전히 자율 주행에 중요한 역할을 하겠지만, 자동차와 그 환경에 존재하는 다른 모든 스마트 기술이 함께 보완할 것이다. 5G 네트워크가 서서히 현실화되고 스마트 센서와 인터넷 연결의 가격이 하락하면서 가능해지고 있는 시나리오다.

 

우리의 길이 말과 수레에서 자동차로 이행하면서 진화했듯이, 소프트웨어로 움직이는 자동차와 자율주행 자동차의 출현은 더 많은 기술적 변화를 겪게 될 것이다. 그러나 그러한 변화는 정부, 자동차 제조업체, 그리고 자율주행차와 도로를 공유할 다른 모든 제조업체들로부터 시간과 막대한 투자가 필요하다. 그리고 여전히 모든 것을 인터넷에 연결시키기 때문에 사생활과 보안 위협도 고려해야한다.

 

중급 시나리오는 “지오펜스”접근법이다. 자율주행기술은 기능성이 충분히 시험되고 승인된 분야, 스마트 인프라가 구축된 분야, 자율주행차 맞춤형 규제(예: 도로에서는 보행자 통행 금지, 운전자 운전 제한 등)에서만 운행이 허용된다. 일부 전문가들은 이러한 접근방식이 "목표를 움직인다"거나 문제를 재정의하는 것으로 설명하는데, 이는 부분적으로 옳다. 그러나 딥러닝의 현 상태를 감안할 때 자율주행 기술의 출시 전망은 그리 밝지 않다. 이러한 조치는 기술이 향상되고 인프라가 발전하며 규제가 적응함에 따라 자율주행차로의 원활하고 점진적인 전환에 도움이 될 수 있다.

 

법적인 장애물도 있다. 우리는 사람이 운전하는 자동차가 사고를 일으킬 때 누가 책임을 져야 하는지를 결정하는 명확한 규칙과 규정을 가지고 있지만 자율주행차는 그렇지 않다. 일단 테슬라가 오토파일럿 모드에 있을 때에도 운전자에게 책임이 있다. 하지만 레벨 5의 자율주행차에서는 사고를 책임질 운전자가 없다. 그리고 어떤 자동차 제조업체도 그들의 자동차로 인한 모든 사고에 대해 책임을 져야한다면 완전 자율 차량을 출시하려고 하지 않을 것이라고 생각한다.

 

2020년 마감 시한과 테슬라의 허점들

머스크의 언급은 2020년말까지 테슬라가 완전 자율화를 하지 못할 경우 대비해 많은 허점들을 포함하고 있다고 생각한다. 첫째로 그는 테슬라가 레벨5 자율화에 근접해있다고 말한 점이다. 이건 사실이다. 많은 엔지니어링 문제점들 중 특히 인공지능분야는 해결하는데 오랜시간이 걸린다. 그래서 완전자율주행차에 거의 접근했지만 언제 그 격차를 좁힐 수 있을지는 알 수 없다.

 

또한 머스크는 올해 5단계 자율화를 위한 기본기능을 완성할 것이라고 했다. 하지만 여기서 기본이라는 뜻이 완전하고 전개할 준비가 되어 있다는 뜻인지는 확실하지 않다. 그리고 올해 말까지 완전자율화 된다해도 정부와 규제기관이 도로에서 허용할지의 여부도 기약할 수 없다. 머스크는 천재적이고 뛰어난 기업가이다. 하지만 자율주행차 문제는 한 사람 아니 한 회사보다 훨씬 더 크며 많은 과학적, 규제적, 사회적, 철학적 영역의 교차점에 서 있다.

 

 

 

 

[출처]

https://bdtechtalks.com/2020/07/29/self-driving-tesla-car-deep-learning/

Why deep learning won’t give us level 5 self-driving cars

 

Edited by Lucy