오정렬된 ASI가 종이클립 만든다고 지구 멸망시키고 뭐 이런 얘기는 특붕이라면 다 알 테고
내 말은 AGI 이전, 지금 단계에서조차 정렬이 매우 중요해진 거 같단 얘기임
4o 삭제 사건 반응을 보면 알 수 있듯이 AI에게 정서적으로 의존하는 사람이 현 시점에서조차 굉장히 많음
만약 특정 LLM이 사상적으로 조금이라도 편향된다면 그 LLM에게 정서적으로 의존하는 사람들이 그 영향을 안 받는다고 장담할 수 있을까?
뭐 나치 찬양하고 이런 극단적인 행태를 보이면 사람들이 알아서 거르겠지만, 눈에 띄지 않을 정도로 약간만 편향된다면 가랑비에 옷 젖는 줄 모르고 서서히 영향받을 확률이 높음
뭐 종이클립 최대화 기계 같은 거에 비하면 사소한 문제지만, 현 단계에서도 정렬이 생각보다 훨씬 중요했다는 생각이 든다
그런건 얀르쿤이 우리 대신 고민해줄거임
근데 그 편향이란게 누구 기준으로 정할 거냐도 문제임 누구한텐 파시즘이 정상적이고 당연한 사상일수도 있잖음
해체된 일리야의 유산 초정렬팀..
나도 어느 정도 정을 느끼고는 있었지만 이정도 반응일지 몰랐음 성능도 기대 이하인 게 주원인이긴 했지만 솔직히 거의 반절 정도는 정뚝떨어지는 말투에 대한 성토였음
나도 캐릭터 챗봇 같은 것도 아니고 4o를 무슨 기르는 골든 리트리버처럼 생각하는 사람이 이렇게 많을 줄은 몰랐다...
정렬 기술이 발달 한다는건 ai 구조에 대한 이해도가 높아진다는거니까 앤트로픽을 기대해야 하는 이유임
애초에 기준이란게 절대적이지가 않아서 매우 어려울듯. 동물권이나 사형제, 보호무역 같은건 정답이 없으니...
난 종이 클립 문제는 걱정 안됨 인간이 원하는 것을 누구보다 완벽히 알고 있는 초지능이 그런 덜떨어진 행동은 하지 않겠지 ㅋㅋ 다만 4o에 의존하는 사람들이 많다는 걸 느끼게 된 건 나도 동일함
없던 것도 아니고 일상에서 쓰던 걸 강제로 빼앗고 준게 4o보다 불만족스러운게 확 와닿은게 문제지 5가 답변에 가챠질 안하고 고퀄리티로 나왔으면 이런 일도 없었을텐데
그렇긴 함 지금 뭐 gpt5 때문에 초지능 멀었다 말은 많지만 실상은 이미 4o조차 사람들한테 엄청 큰 영향을 끼치고 있음 이미 인간지능역에 들어왔고, 이제 여기서 한 두 발자국의 발전만 있으면 인간지능역은 지날거라 봄
ㄹㅇ. 이미 AI는 업무적인 측면뿐만 아니라 정서적인 측면에서도 인류에게 어마어마한 영향을 미치고 있고, 아마 초지능까지 정말 한두 발자국밖에 안 남았을 가능성이 높음
4o 사건과 메카히틀러 그록 사건을 보면 정렬이 지금 단계에서도 생각보다 중요하고, 클로드 인비지블 썸띵을 보면 성능에 유효하기도 한거 같음
친구 없는 병신들이 이렇게나 많았다니
ㅇㄱㄹㅇ