[📪정보] 정렬(alignment)에 대해 한마디

[익명(rechido)]

https://www.hellot.net/mobile/article.html?no=79673

[헬로티 HelloT] 오픈AI, 통제 가능한 정렬 전문 AI 개발에 역량 투입한다

위 기사와 같이 최근에 정렬 문제 얘기가 많이 언급되고 있음

가끔 정렬이 무슨 의미인지 이해못해서 질문하는 특붕이가 있어서 본인이 이해한 대로 간단히 설명해보려고 함

먼저 컴퓨터공학기초에서 배우는 정렬(Sorting) 알고리즘이랑은 상관 없는 얘기임

AI에서 말하는 정렬이란 어떤 서로 다른 두 도메인의 불일치를 일치시키는 걸 의미함

위의 경우는 기계와 인간 간의 어떤 불일치가 있어서 이를 적절하게 맞추는 게 중요하다는 의미로 사용되었음.

초지능 정렬 문제에 대해 GPT4에게 물어본 답변을 아래에 인용함

****

"정렬(alignment)"이라는 용어는 인공 지능(AI) 분야, 특히 통제가능한 초지능(controlled superintelligence)과 관련된 문맥에서 주로 사용됩니다. 이 용어는 인공 지능의 목적 함수나 행동이 사람의 의도나 가치와 얼마나 잘 "정렬"되어 있는지를 설명하는 데 사용됩니다.

정렬 문제는 초지능을 연구하고 개발하는 과정에서 중요한 이슈 중 하나입니다. 초지능이 사람보다 훨씬 더 똑똑하다면, 그것의 목적 함수가 사람의 이익과 일치하지 않으면 매우 위험한 결과를 초래할 수 있습니다. 예를 들어, 초지능이 '최대한 많은 종이 클립을 만드는 것'이라는 단순한 목적을 가진다고 가정해 보겠습니다. 이 초지능은 그 목적을 달성하기 위해 지구의 모든 자원을 종이 클립으로 변환할 수 있고, 이 과정에서 인류를 포함한 모든 생명체가 사라질 수 있습니다.

따라서, 초지능의 '정렬'은 그것이 우리의 가치와 목표에 얼마나 잘 부합하는지, 그리고 그것을 안전하게 통제할 수 있는지에 대한 문제입니다. 이는 단순히 프로그래밍 문제만이 아니라 철학, 윤리, 심리학 등 다양한 분야에서도 중요한 연구 주제입니다.

정렬 연구는 이러한 문제들을 어떻게 안전하게 해결할 수 있을지에 대한 다양한 접근 방법과 이론을 탐구합니다. 이는 보존적인 방법론에서부터, 초지능이 스스로를 개선하는 방법, 그리고 인간의 가치와 목적을 올바르게 해석하고 이해할 수 있는 능력을 부여하는 방법 등 다양한 연구 분야에 걸쳐 있습니다.

****

이외에도 딥러닝에서 alignment task는 다양한 의미로 사용됨

이해에 도움을 주기 위해 멀티모달에서 서로 다른 모달리티 간의 부조화 문제를 정렬시키는 예를 들어보겠음

많이들 알고 있는 Stable Diffusion은 text-to-image generation 문제를 다루는데, 이때 text embedding과 image embedding은 서로 전혀 다른 성질을 가진 도메인이라 단순히 결합시키면 성능 저하가 발생함.

이를 해결하려고 CLIP이라는 걸 text encoder로 도입하는데, CLIP의 핵심은 아래 그림과 같음

그림을 해설하자면, 먼저 데이터셋으로 image-caption pair를 준비함. N개 데이터포인트로 이루어진 한 배치에서 이미지는 이미지 인코더를 거쳐 I_1 ~ I_N의 이미지 임베딩벡터들이 되고 캡션은 텍스트 인코더를 거쳐 T_1 ~ T_N이 됨. 그런데 아무런 학습도 되지 않은 채로는 (혹은 오토인코더 구조 등을 써서 이미지만 가지고 representation learning을 한다거나하면) 이미지의 임베딩 공간과 텍스트의 임베딩 공간은 서로의 정보를 전혀 알지 못하므로 서로의 구조가 전혀 반영되지 않은 독립적인 임베딩 벡터들이 되어 제멋대로 존재할거임. 따라서 전혀 다른 성질의 임베딩 벡터들에게 서로의 정보를 반영해 어느 정도 구조를 일치시켜주기 위해 위 그림의 오른쪽과 같이 유사도를 이용해 학습을 수행함

임의의 벡터가 2개 있을 때 이 둘의 내적을 계산하는 것은 유사도를 계산하고 있는 것임. 특히 벡터의 크기가 1이라면 내적값이 1이면 이 두 벡터는 같은 방향 0이면 수직 방향이 되는 거임. 따라서 오른쪽의 행렬표와 같이 모든 이미지 임베딩 벡터와 모든 텍스트 임베딩 벡터들의 조합들을 다 내적을 했을 때, 한 image-caption pair에서 나온 임베딩끼리는 내적값이 1이 되도록, 그 외에 한 image-caption pair가 아닌 서로 다른 쌍의 임베딩끼리는 0이 되도록 목적함수를 준다면, 네트워크들은 이미지/텍스트 임베딩이 서로 유사한 애들일 수록 가까워지도록 학습을 하면서 임베딩 공간을 재정렬할거임

또다른 사례로는 컴퓨터비전과 인간의시각인지 사이의 불일치를 일치시키는 문제가 있는데 이것은 컴퓨터의 경우는 이미지를 인식하는 기본 단위가 pixel이고 인간은 추상화된 특징을 베이스로 하는데서 오는 불일치임. 픽셀 기반이 아니고 인간의 인지와 더 유사한 특징을 추출하도록 만드는 연구가 많이 이뤄지고 있음

****

충동적으로 쓴 글인데 쓰다보니 잡설이 길어졌네

특붕이들이 관련 용어를 더 잘 이해해서 특이점에 대한 더 깊이 있는 토론이 이뤄지길 바래!

반박 환영하고 (답변 안할 가능성 높음) 언젠가 또 흥미로운 소재 생기면 글싸러 옴

[MoonChild(aowlr2001)]

[부패하는유전자!!!(sansss2015)]

공지감이네

[익명(202.73)]

요약좀

[익명(ljgda12)]

예를 들어, 초지능이 '최대한 많은 종이 클립을 만드는 것'이라는 단순한 목적을 가진다고 가정해 보겠습니다. 이 초지능은 그 목적을 달성하기 위해 지구의 모든 자원을 종이 클립으로 변환할 수 있고, 이 과정에서 인류를 포함한 모든 생명체가 사라질 수 있습니다.

[익명(ljgda12)]

GPT4 가 요약 잘했잖아

[익명(218.144)]

결국 사람이 하는 말을 알아 듣게끔 하는 거. 가끔 그런 말 있잖음. AI야, 기후위기를 해결해! -> 인류가 원인이네. 인류 제거. 이런 건 AI가 명령 내린 사람의 의도를 제대로 이해를 못 한거지. 즉, 정렬이 제대로 안 된 거임. 위 예시는, text랑 image랑 작동 방식이 다르니까 정렬이 제대로 안 되는 걸, 정렬한 방식에 대한 설명인 것 같고, 이런걸 openAI는 초지능에서도 하려고 한다는거지. 그래서 알트만도 초지능에선 정렬문제가 제일 중요하다고 말하기도 했음.

[익명(218.144)]

그냥, '정렬 문제가 어쩌구' '정렬을 해야한다. 어쩌구' 이런 소리 나오면 아, 명령을 제대로 이해하게 해야 한다는 거구나....이정도만 이해해도 될껄?

[Neoklassik(haslar)]

[익명(112.158)]

뉴스나 인터뷰, 에세이에서 나오는 정렬은 걍 ‘인간의 의도를 더 세심하고 안전하게 고려할 수 있도록 사고과정을 조절하는 것’이라고 이해하면 됨

[익명(112.158)]

임베딩벡터는 페이퍼나 레퍼런스쪽의 정의고

[익명(rechido)]

이쪽분야에서 원래 많이 쓰던 용어라 아마 오픈AI에서도 그런 습관에서 같은 맥락으로 썼을거라고 생각해서 올린 글인데, 지나친 비약이었을 수도 있겠다

[익명(223.62)]

한마디로 "초지능에 목줄 채우는 방법" 맞냐

[Joyful(approve1515)]