테슬라, 이미지 증강기술을 활용한 오토파일럿 훈련방식으로 특허 출원(WO2020077117)

[그림] 컴퓨터 모델 훈련에 활용한 주변환경을 표현한 블록 다이어그램 /Tesla.Inc

(2020.04.16) 테슬라는 LiDAR를 사용하지 않고, 인간이 운전할때 뇌와 눈을 사용하는 것처럼 카메라와 인공지능 신경망에 의존한 자율주행을 구현하고 있다.  테슬라(=엘론 머스크)의 LiDAR에 대한 강경한 무용론 주장이 논란이 되기도 했지만, 모빌아이(Mobileye)나 다른 자율주행 기업들도 이미지 데이터와 훈련된 신경망을 기반으로 하는 FSD(Full Self-Driving) 시스템을 개발하는 등, 카메라를 중심으로 하는 테슬라의 접근방식이 점점 자리를 잡아가는 추세이다. 그러나 카메라 중심적 접근방식은 인공지능 모델의 훈련을 위해 방대한 양의 데이터를 필요로 한다는 챌린지를 갖고 있다. 

 

이런 챌린지를 해결하기 위해서는 가능한 절충하지 않고(compromise) 효율적인 방식으로 신경망을 훈련시켜야 한다. 테슬라는 이를 위해 최근 관련 특허(WO2020077117)를 출원하며, 데이터 증강을 활용을 검토하고 있는 것으로 보인다. 

 

테슬라가 출시한 차량들에는 360도 시야를 제공하는 카메라셋을 탑재하고 있다. 이 특허에서 신경망 훈련에 사용한 영상들은 대부분 이 카메라 센서들에서 수집한 것인데, 이 센서들은 각각 다른 특성을 가지고 있다. 설명하자면 테슬라 차량은 세 개의 전방 카메라를 탑재하고 있는데, 이 세 개의 카메라센서는 서로 각각 다른 시야와 커버리지를 가지고 있다. 

 

이 특허에서는 테슬라가 앞서 설명한 바와 같이 수집한 영상 이미지 데이터를 최적화된 방식으로 처리하는 시스템에 대해서도 설명하고 있다. 그 중 하나는 증강기법(augmentation)이다. 증강기법은 다른 사양의 카메라를 탑재한 차량에도 적용될 수 있다. 증강기법은 흐릿하거나 무언가에 가려친 채 수집된 이미지이거나, 탐지는 할 수 있지만 깨끗하고 뚜렷한 시야의 이미지를 얻을 수 없는 경우에 모델 예측(model prediction)을 좀 더 잘 할 수 있도록 해준다. 이러한 방식은 특히 자율주행차량의 객체 탐지 기능에 유용하게 활용될  것이며, 여러 기기들에 똑같은 카메라를 장착한 경우에 적용할 수 있다. 이때 카메라셋은 일관적으로 같은 센서군을 탑재하고, 이를 통해 수집된 데이터를 증강하여 모델을 훈련시킨 후 동일한 센서군을 탑재한 실제 차량에 적용할 수 있다. 

 

이번 특허에서 가장 눈에 띄는 것은 최적화된 이미지 데이터셋을 활용해 테슬라 신경망을 훈련시키는 "컷아웃(cutout)"의 활용이다. 前 테슬라 오토파일럿 엔지니어인 Eshak Mir는 팟캐스트를 통해 '모든 카메라 이미지를 한 화면(시야)에 배치하는 기능을 오토파일럿 수정 프로세스에 활용할 것'이라고 밝혔다. 이 기능은 특히 신경망 훈련에 사용되는 영상들이 서로 연결하여(stitched) 3D 라벨링을 하는데 도움이 될 수 있다. 이 특허는 바로 이 기능을 참고한 시스템이라고 할 수 있다. 컷아웃 기능은 특허에서 설명하는 이미지 증강 유형 중 하나로, 원본 영상에서 일부분을 잘라내어 이미지가 제거된 부분을 지정된 색으로 칠하거나, 블러처리 혹은 노이즈 처리하거나 다른 이미지로 대체할 수도 있다. 컷아웃의 개수, 크기, 범위, 대체된 이미지 유형(contents)은 라벨을 활용하여 다양하게 조정할 수 있다. 

 

테슬라는 가능한 빨리 기능적으로 완성된 자율주행 제품들을 출시하는 것이 목표이다. 엘론 머스크는 이와 관련해 2019년 말이었던 출시시점을 넘겼지만 이에 대해서는 낙관적인 태도를 취하고 있다. 한편, 엘론 머스크는 일전에 오토파일럿의 핵심 코드와 3D 라벨링 작업을 수정하고 있다고 언급한 바 있으며, 이 작업이 완료되면 오토파일럿 등의 여러 부가기능들을 빠르게 출시할 수 있을 것이라고 전했다. 

 

[원출처] Tesla is patenting a clever way to train Autopilot with augmented camera images /TESLARATI

Tesla is patenting a clever way to train Autopilot with augmented camera images

 

[특허 원문] WO2020077117 - System and Methods for Training Machine Models with Augmented Data /Tesla.Inc 

Tesla Machine Learning Patetn Applciation

 

Researcher Jasmine