[일반] 클로드가 안전 아무리 잘해도 성능에서 뒤쳐지면 무의미 아님?

[특갤(northern3449)]

성능의 갭이 어느정도 내여야지

성능을 포기하고 안전으로 가는 제품을 채택할 확률이 높지

성능이 ㅈㄴ 차이나면 안전이고 뭐고 선택지에서 밀릴 거 아냐

그러면 그 안전 노력은 걍 헛수고 아님?

[익명(compact5711)]

딱코 맞추려고 노력하고는 있다는데 나와봐야 알겠지

[익명(compact5711)]

에이전트를 적극적으로 쓰려면 프롬프트 인젝션 같은걸 잘 견뎌야하니까 기업 채택을 위해서는 안전이 매우 중요한 요소라고 생각하긴 함

[앙아라(emerge6633)]

그래서 그게 초지능 정렬 문제가 해결되기 쉽지 않은 이유인듯. 정렬되고 안전한 지능을 만드려고 하는것과 정렬 무시하고 지능만 올리는 것 중에 후자가 더 지능 올라가는 속도가 빠를 것이니까