합성데이터야 계속뽑아낼 수 있지
그런데 그 합성데이터를 검수하는게 인간이라는게 문제임
아무리 스케일을 키우고 끊임없이 검수하고 합성데이터를 재학습시켜도
인간지능의 한계를 넘을 수 가 없음 ...
저기 점을 어떻게 넘냐는거지
[일반] 지금 가장 큰 문제는 이거임 '자가재귀개선' 이 안됨
지니(ud6umt3mpv8r)
2024-02-11 15:53
추천 1
댓글 29
다른 게시글
-
역전파의 파괴적망각을 역전파로 해결하는거 [42][일반] NEMO(winner0962) | 24.02.11추천 0
-
뭘하든지 재귀개선의 한계에 묶일 수 밖에없네 ㅇㅇ [3][일반] 지니(ud6umt3mpv8r) | 24.02.11추천 0
-
테슬라에서 가사로봇 빨리나옴좋겠음[일반] pikafit(damp0974) | 24.02.11추천 2
-
빌게이츠가 한말중에 이거 맞는말임? [9][일반] NEMO(winner0962) | 24.02.11추천 3
-
이해하고 말고가 뭐가 중요함 [3][일반] 익명(115.20) | 24.02.11추천 0
-
특이점 10년안에는 올까?.. [4][일반] pikafit(damp0974) | 24.02.11추천 0
-
AI가 이해를 하는가? 에 대해서 [2][일반] 익명(175.206) | 24.02.11추천 7
-
언어모델에서 지능만이 목적이면 환각잡을 필요없다봄[일반] 124(xq31587k1ghj) | 24.02.11추천 1
-
역대급 불편충 LLM, GOODY-2 [14][📪정보] 익명(116.120) | 24.02.11추천 26
-
알트만 룬 언급 뭐노? [17][일반] 떠깅(chldmstjr0218) | 24.02.11추천 5
재귀만 가능해지면 agi라고 해야할듯
'절대적 규격' 의 제시가 필요함 바둑이나 체스에서 규격과 승패가 정해진거처럼
합성데이터 검수를 인공지능이 하면안됨?
서로 같은 지능을 가지고 있다는것을 전제한다면 합성데이터가 더 높은 수준을 가지고 있다는것을 판별하는것에 난제가 생기겠지 이 출력물을 판별하는게 더 똑똑한 인간이고 ㅇㅇ
테슬라에서 재귀개선 매커니즘을 만들었다고? 그런게 어딨음
지금 V12 재귀개선 메커니즘을 수백만시간 데이터로 학습된 모델쓰는거임
뭔 말이지 어느 테슬라 연구원이 그렇게 말함? 아쇽 일루스와미도 그런말 한거 본적이 없는데
FSD 버전 12를 탑재한 차량은 공사 구간을 조심스럽게 통과하고 비보호 좌회전도 무리 없이 해냈다. 머스크 CEO는 “이런 운전에 대해 (사람이 컴퓨터에) 코드 한 줄 넣지 않았다”며 “인공신경망이 알아서 한 일”이라고 말했다.
기존 기술은 프로그래머가 일일이 코드로 만들어 넣은 다양한 규칙을 기반으로 차량이 움직였다. 예컨대 이전 버전 FSD나 구글 웨이모·GM 크루즈 등은 프로그래머가 ‘신호등이 녹색일 때 주행한다’ ‘양쪽 차선 중앙을 따라 움직인다’ 등 규칙을 프로그래밍해서 넣는다. 이와 달리 인공신경망에 기반한 테슬라의 새 자율주행 시스템은 테슬라 차량 운전자로부터 수집한 주행 영상을 기반으로 규칙을 스스로 학습한다. 기존 방식은 도로에 트래픽콘 같은 장애물이 있는 경우 자율주행이 불가능하거나 복잡한 코드를 넣어야 했지만, 인공신경망 학습 방식은 인간 운전자의 운행을 모방해 장애물을 비켜 갈 수 있다. 차량에 장착된 카메라는 교통 상황 인식은 물론 데이터 수집용으로 활용된다.
"이와 달리 인공신경망에 기반한 테슬라의 새 자율주행 시스템은 테슬라 차량 운전자로부터 수집한 주행 영상을 기반으로 규칙을 스스로 학습한다. "
12버전 와서 기존 코드 없애고 인공신경망으로 굴러가는건 알고 있음 근데 저거는 규칙이나 세세한 주행 설정등을 사람의 코딩 없이도 가능 하다는거지 스스로 모델 자체를 개선 시키는거 아님 지금 12버전도 최신 버전이 12.2.1로 직원들한테 풀렀는데 테슬라 연구원들이 계속 학습 시키고 있음
재귀개선이 될려면 fsd 자체가 스스로 학습하고 개선해서 연구원들의 도움 없이도 해내야지 저건 재귀개선이 아님 어느 연구원도 저걸 보고 재귀개선 한다고 말한적도 없음
'모범적인 운전데이터 주입' 자체는 아직 인간이 하고 있다는 말?
연구원들이 계속 훈련 시키고 있음 occupancy network도 12버전에 제대로 적용이 안되서 그거 개선 시키는 작업도 진행중일거임 모델 스스로 자체적으로 개선 시키는게 아님
나 궁금한거 있는데 훈련데이터 셋 자체는 운전자 로 부터 수집한 주행 영상을 기반으로 스스로 코딩 하고 학습하는거 잖슴 그렇다면 "운전자 로 부터 수집한 주행 영상" 이 지금 현재 테슬라 측 자율주행의 메커니즘에서 가장 중요한 요소가 될 거 같은데 이거 자체는 합성데이터를 만들어내지 못하는거임?
데이터 학습양이 수백만시간 수천만시간 넘어가면 현 GPT-4 가 뽑아내는 문장처럼 일정한 패턴과 규격이 생기면서 어느정도 지성을 갖춘 출력물을 낼 수 있을거라고 생각하는데 안될려나?
그거 자체를 시뮬레이션으로 돌려서 학습하는건 테슬라도 하는데 문제가 뭐냐면 그런 시뮬레이션으로 생성된 데이터의 품질이 실제 운전자로부터 학습된 데이터에 비해 품질이 좋지가 않음 거기서 얻는 데이터로는 한계가 크다고 함 그래서 테슬라가 fsd 보급에 미친듯이 몰입하는거임
인간이 봐도 모범적이고 깔끔한 합성데이터를 수천 수만명이 달려들어서 선별하고 라벨링하고 작업해서 넣고 그걸 다시 인공지능이 스스로 코딩하고 학습하고 다시 그 합성데이터를 합성한 데이터로 다시 선별하고 라벨링하고 작업해서 넣는거지 인공지능이 뱉고 인간이 검수하는거임 그리고 검수된 출력물을 다시 '스스로 자코딩 하는 인공지능' 에게 보여줘서 다시 또 만들고
그래서 아쇽 일루스와미가 누구냐 하면 테슬라 ai팀 수장인데 이 사람이 자기들은 텍스트 대신 비디오 데이터로 agi를 구축한다고 말했음
그런 데이터 품질 자체가 실제 주행성능 향상으로 이어지지 않는게 문제임 그래서 엔비디아나 모빌아이등 다른 업체들도 그런식의 합성 데이터 생성으로 자율주행을 시도중이지만 테슬라만큼 성과를 낸 업체가 없음
아 지금 현재 GPT-4 1106 이 보여주는 문장 퍼포먼스 처럼 될려면 더 많은 데이터셋이 필요한데 아직 양질의 합성데이터를 출력하기엔 학습되어있는 데이터가 미천하다는거군
이것도 개 씹노가다로 미친듯이 때려박다 보면 10의 22승 법칙을 뛰어넘고 GPT-4 같은 퍼포먼스를 낼 수 있지 않을까
테슬라가 수집한 주행 데이터가 100억 마일이 넘어가도 거기서 모든 운전규칙을 준수하고 모범 주행을 하는 운전자의 데이터는 1%미만이라고 함 그런 데이터 확보하는것도 존나 어렵고 그걸 합성 데이터로 해결 할려고 해도 저품질이고 답은 fsd를 엄청나게 보급해서 더 많은 고품질 데이터를 확보 해야됨
일론이 자서전에서 밝힌게 한 150만개가 넘는 비디오 클립으로 12가 제대로 작동이 됐다고들 하는데 데이터를 수천만개로 확대가 가능하다면 성능은 기하급수적으로 올라갈거임
그리고 그 고품질 데이터가 일정한 수준을 넘어서서 GPT-4 와 같은 지성을 갖춘 출력물을 내놓기 시작하면 사실상 그때부터는 합성데이터를 검수하는 노가다를 해야되는거군
니 덕에 제대로 알고간다 알려줘서 고맙다
80억명이 합성데이터 검수하는 역할을 맡으면 안되나 높은 지능을 요구하는 작업임?
알파제로는 됨 gpt는 안됨 gpt의 근본적 한계임
둘다 동일한 트랜스포머 아키텍쳐임 다만 다루는 분야가 일정한 규격이 존재하는 보드게임과 규격이 없는 언어와 수학이라는 큰 차이가 존재함