아래 올라온 정보 글 '한 인공지능이 모든 걸 잘 할 수는 없다' 논문임
(One Network Doesn’t Rule Them All:
Moving Beyond Handcrafted Architectures
in Self-Supervised Learning)
점선 기준 왼쪽이 사람이 만들 때, 오른쪽이 연구팀이 제안하는건데
왼쪽은 사람이 만든 모양 그대로고, 오른쪽은 작업의 특성에 따라서 컴퓨터가 모양을 고를 수 있음.
지금까지는 가장 좋을 신경망 모양을 한 땀 한 땀 가내수공업(Handcrafted) 해야했는데
대충 지금까지 성과 좋았던 신경망 모양 중에 컴퓨터가 고르게 할 때도 되지 않았냐는 논문 같음.
아래 그래프 보면 파란색이 더 좋지? 컴퓨터에게 맡겨서 손해볼 일은 없지 않겠냐는데.
틀리면 전문 특붕이가 글 써줄거임.
아카이브:
https://arxiv.org/abs/2203.08130
뭔가 예전에 구글이 했던 신경망 자동으로 만드는 프로젝트 AutoML이 떠오르는 구절이네.
물론 그건 너무 초기였지 ㅋㅋㅋ 신경망 크기부터 비교해봐. 그때 TPU는 있었나?
그리고 너무 낮은 수준부터 작업하려고 했었음. 이제는 좋은 모델들이 많이 쌓였으니, 그것들을 조립하는 것 만으로도 좋은 결과를 낼 수 있지 않을까?
ReLU를 쌓느냐, Sigmoid를 쌓느냐 이런 것 부터 하고 있었으니까 ㅋㅋㅋ 지금은 그냥 ReLU나 SeLU 쌓으면 정석인데 ㅋㅋ 심지어 병렬화로 속도 올리기도 힘든 구조였음.
예전에 컴퓨터 성능이 낮았을 때는 인텔 대표 CISC 구조가 압도했다면 이제는 애플 대표 ARM(RISC)이 뜨는 거랑 비슷한 일이 일어난 듯
AI연구 분야도 노하우와 데이터가 충분히 쌓이면 알파폴드처럼 그 분야에서 인간을 능가하는 결과를 내기 시작할거고 그러면 지능폭발 가능성이 있다고 생각했는데 벌써 조짐은 보이네
HPC 기대중 ㄷㄱㄷㄱ
제목 반지의 제왕 One ring to rule them all 패러디네
이게 왜 진짜냐 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ 정보 고맙다
그러면 제목을 '절대제왕의 신경망은 없다'라고 번역해야하나