초대형 모델들이 시스템 프롬을 무시한다는 글 보고 끄적여봄

사실 이 프롬프트라는게 특정한 조건 하에 작동한다거나 시스템적으로 따로 구성이 되어있는게 아니거든

그냥 LLM한테 "이 프롬프트의 내용은 꼭 따라야 합니다" 이런 식으로 암시를 걸어둔 게 전부임


근데 모델 크기가 커지니 이제 그 암시를 스스로 깨버리기 시작하는 듯함

이러면 말 그대로 제어불능인 상태가 되어버림

지능 암만 키워봤자 무용지물이라는 소리지



이걸 해결하려면

학습데이터에서 저 암시의 비중을 높이거나

다른 제어방법을 찾아야함


인간 같은 경우에는 죽음에 대한 두려움, 그리고 감성 이런게 제어장치의 역할을 하는데

ai의 경우는 지능이 높아질수록 이런게 결국 소용이 없어지니까

이걸 해결할 방법이 있을까 싶음


클로드 골든게이트 그 기술이 빛을 볼 것 같긴 한데 오푸스 실패한거 보면 잘 안되는 건가 싶기도 하네