[📪정보] 머스크가 테슬라 자율주행을 새로운 길로 이끈 방법

[익명(asdf045)]

올해 8월 말 어느 금요일, 엘론 머스크(Elon Musk)는 테슬라(Tesla) 에서 모델 S에 탑승했습니다.

Palo Alto에 있는 본사는 내비게이션 화면에서 임의의 지점을 선택하고 완전 자율 주행 기술을 사용하여 자동차가 스스로 운전하도록 했습니다. 45분 동안 그는 모차르트의 음악을 들으면서 자신의 여행을 실시간으로 스트리밍했으며, 농담으로 케이지 매치 싸움에 도전했던 마크 저커버그의 집 앞을 지나는 모습도 포함했습니다. ″아마도 문을 두드리며 백병전을 벌이기를 원하는지 정중하게 물어봐야 할 것 같습니다.” 그는 웃으며 차를 출발시키기 전에 말했습니다

Musk는 이전에 FSD를 수백 번 사용해 보았지만 이 드라이브는 훨씬 더 부드럽고 안정적이기 때문에 전혀 달랐습니다. 그가 사용하고 있던 새 버전인 FSD 12는 자율주행차를 완전히 변화시킬 뿐만 아니라 물리적인 실제 상황에서 작동할 수 있는 AGI를 향한 비약적인 도약이 될 것이라고 믿는 급진적인 새로운 개념을 기반으로 했습니다. 모든 이전 버전의 자율주행 소프트웨어처럼 수십만 줄의 코드를 기반으로 하는 대신, 이 새로운 시스템은 인간이 어떻게 운전하는지 수십억 프레임의 비디오를 처리하여 운전 방법을 스스로 학습했습니다. 언어 모델 챗봇은 수십억 단어의 인간 텍스트를 처리하여 답변을 생성하도록 스스로 훈련합니다.

놀랍게도 머스크는 불과 8개월 전에 Tesla에게 근본적으로 새로운 접근 방식을 적용했습니다.

Tesla 자동 조종 팀의 젊은 멤버인 Dhaval Shroff는 지난 12월 회의에서 머스크에게 “ChatGPT와 비슷하지만 자동차용”이라고 설명했습니다. 그는 그들이 작업하고 있는 아이디어를 머스크가 2015년 공동 설립한 연구소인 OpenAI가 최근 출시한 챗봇과 비교하고 있었습니다. “우리는 실제 인간 운전자가 복잡한 운전 상황에서 어떻게 행동했는지에 대한 엄청난 양의 데이터를 처리합니다.”라고 말했습니다. Shroff는 ”그리고 우리는 그것을 모방하기 위해 컴퓨터의 신경망을 훈련시킵니다.”라고 말했습니다.

그때까지 Tesla의 Autopilot 시스템은 규칙 기반 접근 방식에 의존해 왔습니다. 자동차의 카메라는 차선 표시, 보행자, 차량, 표지판 및 교통 신호와 같은 것들을 식별했습니다. 그런 다음 소프트웨어는 다음과 같은 일련의 규칙을 적용했습니다. 신호등이 빨간색일 때 멈추고, 녹색일 때 가고, 차선 표시 중앙을 유지하고, 당신을 칠 만큼 빨리 오는 자동차가 없을 때만 교차로를 통과하고, 등등. Tesla의 엔지니어들은 이러한 규칙을 복잡한 상황에 적용하기 위해 수십만 줄의 C++ 코드를 수동으로 작성하고 업데이트했습니다.

Shroff와 다른 사람들이 작업하고 있던 ”신경망 플래너”는 다른 접근 방식을 취했습니다. Shroff는 ”규칙을 기반으로 자동차의 적절한 경로를 결정하는 대신 인간이 수행한 수백만 가지 사례로부터 학습하는 신경망에 의존하여 자동차의 적절한 경로를 결정합니다”라고 말합니다. 즉, 인간의 모방이다. 상황에 직면하면 신경망은 수천 가지 유사한 상황에서 인간이 수행한 작업을 기반으로 경로를 선택합니다. 그것은 인간이 말하고, 운전하고, 체스를 두고, 스파게티를 먹고, 그 밖의 거의 모든 일을 배우는 방식과 같습니다. 따라야 할 일련의 규칙이 주어질 수도 있지만 주로 다른 사람들이 기술을 수행하는 방법을 관찰하여 기술을 습득합니다. 이는 Alan Turing이 1950년 논문에서 구상한 기계 학습에 대한 접근 방식이었습니다.

2023년 초까지 신경망 플래너 프로젝트는 Tesla 고객의 자동차에서 수집된 1,000만 개의 비디오 클립을 분석했습니다. 그것은 단지 인간 운전자의 평균만큼만 좋다는 것을 의미합니까? Shroff는 ”아니요. 인간이 상황을 잘 처리한 경우에만 데이터를 사용하기 때문입니다.”라고 설명했습니다. 대부분 뉴욕주 버팔로에 거주하는 인간 라벨러가 비디오를 평가하고 등급을 매겼습니다. 머스크는 그들에게 “5성 우버 운전기사가 할 수 있는 일”을 찾아보라고 말했고, 그것이 컴퓨터를 훈련시키는 데 사용된 비디오였습니다.

머스크는 정기적으로 팔로알토의 오토파일럿 작업 공간을 거닐며 엔지니어 옆에 무릎을 꿇고 즉석 토론을 벌였습니다. 그는 새로운 인간 모방 접근 방식을 연구하면서 다음과 같은 질문을 갖게 되었습니다. 그것이 정말로 필요한가? 좀 과한 표현이 아닐까? 그의 격언 중 하나는 파리를 죽이기 위해 순항 미사일을 사용해서는 안 된다는 것이었습니다. 그냥 파리채를 사용하세요. 신경망을 사용하는 것이 불필요하게 복잡했습니까?

Shroff는 신경망 계획자가 규칙 기반 접근 방식보다 더 잘 작동하는 Musk 사례를 보여주었습니다. 데모에는 쓰레기통, 떨어진 교통 콘, 임의의 잔해로 가득 찬 도로가 있었습니다. 신경망 플래너가 안내하는 자동차는 장애물을 피해 빠르게 달릴 수 있었고, 차선을 넘어 필요에 따라 일부 규칙을 위반할 수도 있었습니다. Shroff는 “규칙 기반에서 네트워크 경로 기반으로 전환하면 어떤 일이 발생하는지 살펴보겠습니다.”라고 말했습니다. ″이 장치를 켜면 구조화되지 않은 환경에서도 자동차가 충돌하지 않습니다.”

머스크를 흥분시킨 것은 바로 미래를 향한 도약의 형태였습니다. 그는 ”우리는 제임스 본드 스타일의 시연을 해야 한다”며 ”사방에서 폭탄이 터지고 UFO가 하늘에서 떨어지는데 자동차는 아무 것도 부딪치지 않고 속도를 내는 곳”이라고 말했다.

머신러닝 시스템은 일반적으로 스스로 훈련할 때 이를 안내하는 측정 기준이 필요합니다. 어떤 지표가 가장 중요할지 법령으로 관리하는 것을 좋아했던 머스크는 완전 자율주행 기능을 갖춘 자동차가 사람의 개입 없이 주행할 수 있는 마일 수를 그들에게 제시했습니다. “저는 개입당 마일리지에 대한 최신 데이터가 각 회의의 시작 슬라이드가 되기를 원합니다.”라고 그는 말했습니다. 그는 매일 점수를 볼 수 있는 비디오 게임처럼 만들라고 말했습니다. ″점수가 없는 비디오 게임은 지루하기 때문에 개입당 마일리지가 늘어나는 것을 매일 지켜보는 것이 동기를 부여할 것입니다.”

팀 구성원들은 FSD 차량이 개입 없이 평균적으로 몇 마일을 주행하는지 실시간으로 표시하는 대형 85인치 TV 모니터를 작업 공간에 설치했습니다. 그들은 책상 근처에 징을 놓고 개입을 유발하는 문제를 성공적으로 해결할 때마다 징을 울려야 했습니다.

2023년 4월 중순에는 머스크가 새로운 신경망 플래너를 시험해 볼 때가 되었습니다. 그는 Tesla의 Autopilot 소프트웨어 이사인 Ashok Elluswamy 옆 운전석에 앉았습니다. Autopilot 팀의 세 구성원이 뒤쪽에 탔습니다. 머스크는 테슬라 팔로알토 사무실 주차장을 떠날 준비를 하면서 지도에서 차가 갈 위치를 선택하고 운전대에서 손을 뗐다.

차가 주요 도로로 진입했을 때, 첫 번째 무서운 도전이 일어났습니다. 자전거 운전자가 길을 가고 있었습니다. 인간이 그랬던 것처럼 자동차도 스스로 양보했습니다.

25분 동안 자동차는 빠른 도로와 동네 거리를 주행하면서 복잡한 회전을 처리하고 자전거 타는 사람, 보행자, 애완동물을 피했습니다. 머스크는 결코 바퀴에 손을 대지 않았습니다. 4방향 정지 신호에서 너무 관대할 때와 같이 자동차가 지나치게 조심스럽다고 생각할 때 그는 액셀러레이터를 두드려 개입한 적이 몇 번밖에 없었습니다. 어느 시점에서 자동차는 그가 생각했던 것보다 더 낫다고 생각하는 기동을 수행했습니다. “오, 와우. 여기서는 인간의 신경망조차 실패했지만, 자동차는 옳은 일을 했습니다.”라고 그는 말했습니다. 그는 너무 기뻐서 모차르트의 ‘작은 밤의 음악’ 세레나데 G장조를 휘파람으로 부르기 시작했습니다.

머스크는 마지막에 “놀라운 작업이었습니다.”라고 말했습니다. “정말 인상적이네요.” 그런 다음 그들은 모두 자동 조종 장치 팀의 주간 회의에 참석했습니다. 거의 모두 검은색 티셔츠를 입은 20명의 남자가 회의 테이블 주위에 앉아 평결을 들었습니다. 많은 사람들은 신경망 프로젝트가 성공할 것이라고 믿지 않았습니다. 머스크는 이제 자신이 신자가 되었으며 이를 추진하기 위해 자원을 움직여야 한다고 선언했습니다.

토론 중에 머스크는 팀이 발견한 핵심 사실을 파악했습니다. 즉, 신경망은 최소 백만 개의 비디오 클립에 대해 훈련을 받을 때까지 제대로 작동하지 않았습니다. 이로 인해 Tesla는 다른 자동차 및 AI 회사에 비해 큰 이점을 얻었습니다. 매일 비디오 클립을 수집하는 전 세계 거의 200만 대의 Tesla 차량이 있었습니다. Elluswamy는 회의에서 “우리는 이 일을 할 수 있는 독특한 위치에 있습니다.”라고 말했습니다.

4개월 후, 새로운 시스템은 이전 접근 방식을 대체하고 Tesla가 규제 당국이 승인하는 즉시 출시할 계획인 FSD 12의 기반이 될 준비가 되었습니다. 여전히 극복해야 할 한 가지 문제가 있습니다. 인간 운전자는 최고라고 할지라도 일반적으로 교통 규칙을 어지럽히며, 새로운 FSD는 설계상 인간이 하는 일을 모방합니다. 예를 들어, 95% 이상의 인간은 완전히 정지하기보다는 정지 신호를 통해 천천히 기어갑니다. 국립고속도로안전위원회(National Highway Safety Board) 위원장은 현재 자율주행차에도 이것이 허용되어야 하는지를 연구하고 있다고 밝혔습니다.

https://www.cnbc.com/2023/09/09/ai-for-cars-walter-isaacson-biography-of-elon-musk-excerpt.html

- dc official App

[익명(211.178)]

적힌 글로만 보면 머스크도 챗GPT 전까진 신경망을 그닥 신뢰하지 않았던 것 같은데 맞나?

[뜨콜(thkol)]

오 신박하다 - dc App

[익명(landofooo)]

ㄹㅇ 신기하네

[뜨콜(thkol)]

MMA 격투 모델이 온다 - dc App

[익명(221.140)]

요약하면 알고리즘에서 신경망으로 바꿨더니 능력이 대폭 향상됐단건가? ㄳㄳ

[냉참특급(210.223)]

그전까지는 카메라 보고 주위 상황에 대해서 오브젝트가 어떻게 배치되어 있는지 3D 공간 모델 만드는거 까지만 인공지능 이용했고, 만들어낸 3D 공간 모델을 보고 어떻게 운전해야 하는지는 알고리즘에 많이 의존했는데, FSD v12 는 3D 공간 모델 만든 다음에 어떻게 운전해야 하는지 까지도 인공지능에 맡겼다는 소리 같은데...

[익명(landofooo)]

역시 신경망은 신이고 무적이네 개입당 마일리지가 뭔진모르겠는데 ㄹㅇ멋지네