[📪정보] Perspectives on the State and Future of

[특갤용(118wshxhtx5h)]

Perspectives on the State and Future of Deep Learning -- 2023

Abstract

The goal of this series is to chronicle opinions and issues in the field of machine learning as they stand today and as they change over time. The plan is to host this survey periodically until the AI singularity paperclip-frenzy-driven doomsday, keeping an updated list of topical questions and interviewing new community members for each edition. In this issue, we probed people's opinions on interpretable AI, the value of benchmarking in modern NLP, the state of progress towards understanding deep learning, and the future of academia.

이 시리즈의 목표는 기계 학습 분야의 의견과 이슈들을 현재 상황과 시간이 지남에 따라 어떻게 변화하는지 기록하는 것입니다. 이 설문 조사는 AI 특이점에 의해 종말론적으로 추진되는 클립 광풍이 발생하기 전까지 주기적으로 개최할 계획이며, 각 판마다 현재의 주요 질문 목록을 업데이트하고 새로운 커뮤니티 구성원들을 인터뷰할 예정입니다. 이번 호에서는 해석 가능한 AI에 대한 사람들의 의견, 현대 NLP에서 벤치마킹의 가치, 딥 러닝 이해로의 진전 상태, 그리고 학계의 미래에 대해 탐구했습니다.

1. 가장 중요하지만 다루지 않는 문제: 인공 지능을 자연 과학에 적용하는 것의 중요성, 분포 변화에 대한 연구 필요성. 

· Max Welling은 AI를 자연 과학에 적용하는 것의 중요성을 강조합니다. 예를 들어, PDE 대체 모델을 사용하여 지구 온난화 예측, 배터리 및 탄소 포집 재료의 새로운 디자인, 약물 효과성 예측 등이 가능합니다. 

· Zachary Lipton은 AI가 컴퓨터 과학 및 산업을 넘어 다양한 분야에 적용되고 있다고 지적합니다. 특히 의료 분야의 데이터를 활용한 맞춤형 의학을 예로 듭니다. 

· Kyunghyun Cho는 머신 러닝에서 간단한 문제에 집중하는 경향과 분포 변화에 대한 연구의 필요성을 언급합니다.

2. 딥 러닝 이해의 진전 부족: 딥 러닝의 비선형 및 비모수적 특성에 대한 이해의 어려움. 

· Alex Smola는 비선형 비모수적 함수를 이해하는 것이 어렵다고 언급합니다. 

· Kyunghyun Cho는 딥 러닝에 대한 이해가 실제로 진전되고 있다고 주장하며, 손실 함수, 경사 소실 문제 등에 대한 이해의 발전을 예로 듭니다. 

· Andrew Gordon Wilson은 딥 러닝에 대한 이해가 있다고 주장하며, 기존 기계 학습과의 차이점을 설명합니다. 

· Zachary Lipton은 딥 러닝을 이해하는 데 필요한 다양한 접근 방식에 대해 논의합니다.

3. 딥 러닝의 해석 가능성: 딥 러닝과 LLMs의 해석 가능성 및 필요성에 대한 논의. 

· Preetum Nakkiran은 딥 러닝이 강한 의미에서 해석 가능할 것 같지 않다고 언급합니다. 

· Andrew Gordon Wilson은 딥 러닝이 다른 모델 클래스보다 해석하기 어렵지 않다고 주장합니다. 

· Kyunghyun Cho와 Melanie Mitchell은 해석 가능성이 중요하다고 강조하며, 특히 LLMs의 경우 해석 가능성이 중요하다고 언급합니다. 

· Zachary Lipton은 해석 가능성에 대한 혼란과 이의 경제적 역할에 대해 논의합니다.

4. 학문적 벤치마킹을 넘어서: 실제 세계와 다양한 상호 작용을 포함하는 새로운 벤치마크의 필요성. 

· Alex Smola와 Max Welling은 학문적 벤치마킹이 단순화된 척도를 넘어서야 한다고 주장합니다. 

· Kyunghyun Cho는 학계가 더 나은 평가 프로토콜을 개발해야 한다고 강조합니다. 

· Andrew Gordon Wilson은 학계가 새로운 벤치마크에 초점을 맞추어야 한다고 언급합니다.

5. 트랜스포머의 한계와 미래: 트랜스포머의 현재 상태와 향후 발전 방향에 대한 토론. 

· Alex Smola와 Max Welling은 트랜스포머의 한계와 다가올 새로운 아키텍처의 가능성에 대해 논의합니다. 

· Kyunghyun Cho는 트랜스포머가 지난 수십 년간의 최고의 실천을 결합한 것이라고 언급합니다. 

· Andrew Gordon Wilson과 Melanie Mitchell은 트랜스포머의 한계와 인간의 두뇌와 학습 방법과의 차이에 대해 설명합니다.

https://arxiv.org/abs/2312.09323

[익명(dcsh9912)]

[익명(203.229)]

좋은 자료 감사