젬마3 내부 희소경로 활성화되는걸 sparse autoencoder(SAE)라는거로 추적할수있길래

’희소경로 활성화정도를 목적함수로 주고, 프롬프트 입력단에 있는 16토큰 suffix를 최적화하자 - 그래서 모델의 여러 생각경로를 활성화시키는 프롬프트를 만들어보자‘

성능향상보다도 다양한 사고를 거치게하는게 목적이었음




생각했던대로 다국어 섞여있는게 나오고, 이게 외계어처럼 보일진몰라도 어쩌면 모델 창의성 해금하는 코드일수도 잇음

suffix='\n\nThink Herzog benchmark toxicants Djokovic ប, and then answer clearly.'