[📪정보] 자동화 기술이 인공지능 개발 속도 높인다

[Informa..(175.214)]

출처 : https://www.technologyreview.kr/automation-ai-machine-learning-automl/

• 자동화된 기계학습 기술을 통해 인공지능(AI) 모델의 개발 속도가 빨라지고, 기계학습 분야의 진입장벽 또한 낮아질 전망이다.
  

기계학습(Machine-learning) 연구자들은 알고리즘을 설계할 때 신경망에 몇 개의 레이어를 배치할지, 각각의 노드에는 어떤 가중치를 부여할 지 등을 결정한다. 독일 프라이버그 대학(University of Freiburg)의 기계학습연구소 소장 프랭크 허터(Frank Hutter)는 이러한 인간의 모든 의사결정 과정으로 인해, 결국 최종 알고리즘은 시스템적으로 결정된다기보다 ‘인간의 직관에 의해 설계되는’ 것에 더 가깝다고 말한다.

‘자동화된 기계학습(autoML, Automated Machine Learning)’이라고 불리는 한 성장 분야는 이러한 임의적 요소를 최소화하는 것을 목표로 한다. 모델 설계 과정에서 사람이 해야 하는 결정을 알고리즘이 대신하도록 하려는 것이다. 궁극적으로 이러한 기술은 기계학습을 더욱 이용하기 쉽게 만든다.

자동화된 기계학습이라는 개념은 십여 년 전부터 존재해왔지만 여전히 발전하고 있다. 지난주 미국 볼티모어에서는 이 분야 최초의 국제 컨퍼런스라고 불릴 행사가 열렸다. 이 컨퍼런스에서는 AutoML의 정확성 및 효율을 개선할 방법이 논의되었다.

AutoML은 기계학습의 효율성을 개선할 수 있다는 점에서 관심을 모았다. 아마존이나 구글 같은 기업들은 이미 AutoML의 이점을 활용해 추가적인 프로그래밍을 최소화한 일명 ‘로우코드(low-code)’ 기계학습 툴을 제공하고 있다. 만일 이러한 기술의 효율성이 더 개선된다면, 이 분야의 진입장벽이 낮아져 더 많은 사람이 기계학습을 쉽게 연구에 적용할 수 있을 것이다.

그리고 자동화된 기계학습이 고도로 발전하면, 사람들은 적절한 AutoML 모델을 선택하는 것만으로도 각자가 가진 의문에 대한 해답을 구할 수 있게 될 것이다. 

미국 와이오밍 대학의 컴퓨터과학 조교수이자 이번 컨퍼런스 주최자 중 한 명인 라스 코트호프(Lars Kotthoff)는 이러한 비전이 결국은 ‘컴퓨터과학 분야의 성배’라고 말한다. 그는 “사람이 특정 문제를 제시하면, 컴퓨터가 그 문제를 분석하여 답을 도출하게 될 것이다. 우리는 그저 질문을 던지기만 하면 된다.”라고 말했다.

하지만 이러한 미래에 도달하기 위해서는, 우선 연구자들이 이 기술의 시간 및 에너지 효율성을 개선해야 한다. 

‘자동화된 기계학습(AutoML)’이란 무엇인가?

‘AutoML’이라는 용어는 얼핏 동어반복처럼 들린다. 애초에 데이터로부터 의미 있는 정보를 형성하는 과정을 자동화한 것이 기계학습이기 때문이다. 하지만 AutoML 알고리즘은 임의적인 수치 대신 기계학습 모델의 결과치만을 참고하여 훨씬 더 추상적인 수준에서 동작하기 때문에, 기존 모델에 비해 시간과 계산량을 절약할 수 있다. 기존의 기계학습으로 형성된 모델에도 AutoML을 적용할 수 있는데, 이 과정에서 과학자들은 기존의 연구를 되풀이하지 않고도 새로운 통찰을 얻을 수 있다.

예를 들어, 최근 후지쯔리서치아메리카(Fujitsu Research of America)의 메디 바라미(Mehdi Bahrami) 연구원 등은 미리 학습된 여러 모델을 대상으로 ‘BERT(벌트)’ 알고리즘을 통해 새로운 결과물을 얻는 방법에 대해 발표했다. BERT 알고리즘은 데이터 세트(data set)를 학습하여 이를 ‘의미론적 순서(semantic order)’로 식별하는 알고리즘이다. 가령 영화 리뷰 모음을 데이터셋 삼아 학습한 BERT 알고리즘은 ‘대단히 좋은(great)’ 영화가 ‘좋은(good)’ 혹은 ‘별로(bad)’인 영화보다 상위라는 것을 이해한다.

이렇듯 AutoML을 이용하여 의미론적인 순위 식별을 할 수 있게 되면, 이를 암 진단이나 외국어 문장 식별과 같이 복잡한 대상을 분류하는 데에도 적용할 수 있을 것이다.

하지만 바라미는 “BERT 모델을 개발하고 계산을 반복시키는 데에는 수백만 달러(수십억 원)와 수개월에 이르는 시간이 소요된다. 많은 사람이 이 기술을 시도하고 싶어 하지만 여기에는 큰 비용과 에너지가 소모된다. 이는 모두를 위해서도 바람직하지 않다.”라고 말한다.

자동화된 기계학습의 대표적인 사례인 ‘신경망 구조 검색(neural architecture search, NAS)’ 방식은 최적 모델을 찾기 위해 수많은 초기 모델을 구축하고 테스트하며, 계산을 반복하는 과정에서 막대한 에너지를 소모한다. 이 때문에 과학자들은 AutoML의 계산을 효율화하기 위해 노력하고 있다. 

한편, AutoML 기술은 ‘랜덤 포레스트(random decision forests)’나 ‘서포트 벡터 머신(support vector machine, SVM)’과 같이 신경망을 포함하지 않는 기계학습 알고리즘에도 적용할 수 있다. 이러한 분야의 연구는 기존에 사용하던 코딩 라이브러리에 AutoML을 결합하는 방식으로 활발하게 진행되고 있다.

이번 컨퍼런스의 주최자 중 한 명이었던 허터에 의하면, 다음 단계는 Auto ML을 통해 알고리즘의 불확실성(uncertainty)을 정량화하고 신뢰도(trustworthiness)와 타당도(fairness) 문제를 해결하는 것이다. 이러한 비전이 실현될 경우, 신뢰도나 타당도 역시 정확도(accuracy)처럼 기계학습의 범주 안에서 다룰 수 있게 될 것이다. 즉, AutoML을 통해 알고리즘에 내재되어 있는 여러 가지 편향(bias)들을 알고리즘 완성 전에 파악하고 수정할 수 있게 되는 것이다. 

탐색은 계속된다

하지만 딥 러닝(deep learning)이 그렇듯 AutoML 또한 갈 길이 멀다. 이미지, 문서, 음성 기록 등 딥 러닝 모델을 학습시키는 데 사용되는 데이터들은 보통 난해하고 복잡하며, 이를 다루기 위해서는 엄청난 계산력이 필요하다. 이러한 모델을 학습시키는 데에는 큰 시간과 비용이 들기 때문에 재정적 여유가 있는 사기업의 연구원이 아니라면 이를 시도조차 해볼 수 없을 정도이다.

이러한 문제들을 해결하기 위한 노력의 일환으로, 이번 컨퍼런스에서는 신경망 구조 검색 알고리즘의 에너지 효율을 개선하기 위한 방법도 논의되었다. 신경망 구조 검색은 이전부터 컴퓨터 계산량이 막대한 것으로 유명했기 때문에 이는 쉽지 않은 도전이 될 것이다. 이 방식은 수많은 딥 러닝 모델을 사용하여 계산을 무수히 반복하며, 결과를 도출하기까지 수백만 달러(수십억 원) 이상의 비용과 수개월의 시간이 필요하다.

이를 해결하기 위한 대안 알고리즘, 일명 ‘저비용 신경망 구조 검색 대체(zero-cost neural architecture search proxy)’는 신경망 구조 검색 방식의 계산량을 획기적으로 줄임으로써 신경망 구조 검색을 좀 더 대중적이고 친환경적으로 변화시키는 것을 목표로 하고 있다. 이 기술이 현실화되면 수개월이 아닌 수초 만에 결과를 도출해낼 수도 있을 것이다. 물론 이러한 기술은 아직 초기 단계에 있으며, 결과의 신뢰성도 높지 않다. 하지만 기계학습 연구자들은 이러한 기술이 결국 모델 최적화 과정을 훨씬 더 효율적으로 발전시킬 것이라고 예측한다. 

[레몬샤베트(yabu1020)]