AI가 학습하는 데이터셋 중에 인류에 적대적이거나 악의적인 텍스트는 비중이 매우 작고
특히 가치판단과 관련된 분야(철학, 윤리학, 사회과학)에 있어서 더욱 그렇기 때문에
사전학습 모델이 인류에 적대적인 가치관을 학습할 확률이 매우 낮을 것.
오히려 파괴지향적 집단(테러리스트, 정치or종교극단주의자, 권위주의 정권)이
처음부터 인류(의 특정집단)을 해칠 목적으로 하거나
특권을 유지, 강화하고자 지배계층의 이익 극대화만을 추구하도록 AI를 설계하는 경우가
실질적 위협이 될 것.
특권을 유지, 강화하고자 지배계층의 이익 극대화만을 추구하도록 AI를 설계하는 경우 이거 중국 아님?
거긴 권위주의 정권쪽에 더 가깝고 미국쪽이 유력하지
하기사 미국도 자국우선주의에 고립주의 타면 ㅅㅂ 아니라고도 못하것다 근데 중국이 물리적으로 더 가까워서 한국 박살낼 수 있으면 무조건 박살낼듯
중국은 자기나라에 위협되면 그렇겠지 한국이 위협됨?
거 미 대통령한테 한국은 중국의 속국이라는 말을 주석각하가 직접 하셨는데 일단 중국이 한국 조질 이유가 없다는 말은 전랑외교 관두면 그때 생각해도 될듯
추론하고 수학 과학 분야쪽에만 요즘 집중적으로 투자해서 그런지 o시리즈 보면 대체로 학습데이터가 그쪽 위주라서 이 추세면 우선 문과 비중이 적은 것부터 먼저 발생할 수 있지 않을까 - 그러나 특붕이라면 2025 AGI인데 뭔 상관이냔 말이지만.
한 분야 예를들면 수학 특화 모델 레벨에선 정렬문제가 발생하기 어려울듯 발생해도 존재론적 위협까지 가기도 어렵고
수학 특화가 아니라 추론 특화면 가능성 있지 않나 자신의 이익을 극대화하는 초천재 싸이코패스 생각해보면 될 듯 그들이 뭐 인권 공리주의 인문학 철학 몰라서 그런 행동을 못하는 게 아니라 알면서도 안 하는 거니 - 그러나 특붕이라면 2025 AGI인데 뭔 상관이냔 말이지만.
정렬에 그런 것만 의미하는게 아님 사용자의 의도를 제대로 파악하고 수행하게 하는 것도 정렬임
그건 커뮤니케이션or사용자경험 최적화라고 부르는게 더 직관적인거 같다
뭔 소리야 정렬 정의가 이건데
AI 정렬(AI alignment) 연구는 인공지능(AI) 분야에서 AI 시스템을 인간이 의도한 목표, 선호도 또는 윤리적 원칙에 맞게 조정하는 것을 목표로 한다. AI 시스템은 의도한 목표를 달성하면 정렬된 것으로 간주된다. 잘못 정렬된 AI 시스템은 일부 목표를 추구하지만 의도한 목표는 추구하지 않는다.
가치판단 정렬이랑 사용자의도 정렬을 같은걸로 퉁친다고?
네가 정렬에 대해서는 하나도 모르고 네 생각대로 씨부리는 건 확실한듯
해당 댓글은 삭제되었습니다.
사랑해
정렬 쉽게 설명해준다. 니가 쌀 씻고 밥지어줘 라고 했을때, 부엌에 쌀이 없으면 쌀 사올까요? 하고 되물을건지
아니면 쌀이 없으면 다른걸 씻을건지, 다른 음식을 만들건지, 아니면 쌀을 처음부터 기를건지 이런 걸 말 안해도 알아서 사용자 의도를 알아먹게하는게 ai 기술 중 하나고, 이거 안하고 AI가 곡해하면 알지? 몸 좀 좋아지고 싶네~ 이러면 아묻따 스테로이드 100배 꽂아버리는 수가 있다
예를 들어 경쟁사와의 사업경쟁에서 이기고싶어! 라고하면 AI는 불법적 수단을 쓰는건지 암살을 할건지 루머를 퍼트릴건지 상대 서버를 터트리던지 알게뭐임? 주인이 감방에 가던말던 일단 목적달성은 성공했잖아