1. 뉴럴넷의 심각한 단점 중 하나는 해석이 어렵다는 거임
2. 해석이 어려운 이유는 뉴런 하나가 딱 하나의 특징을 학습하지 않기 때문. 예를들어 사람 얼굴을 학습한다고 치면 단 한개의 뉴런이 사람 눈깔에도 반응하고 코에도 반응하고 귀에도 반응함. 이래서 만약 모델 아웃풋이 병신같이 나와서 어느 뉴런새끼가 잘못하고있는건지 뜯어볼려해도 콕 집어내서 알아내기가 어려움. 이걸 entanglement라 함.
3. GPT같은 언어모델도 마찬가지임. 하나의 뉴런이 한국어에도 반응하고 영어에도 반응하고 코딩에도 반응하고 지랄남.
4. 그래서 딥러닝으로 뉴런을 바로 학습하는 대신에 dictionary learning으로 feature를 추출해서 쓰겠다는게 앤트로픽 논문. 딥러닝은 정보들을 ㅈㄴ적은 뉴런에 압축해서 학습시키는데 그래서 중첩되고 지랄난다는 가설임. sparse autoencoder를 써서 loss에 regularization을 줘서 정보를 조밀하지 않게 ㅈㄴ띄엄띄엄 학습하게 했더니 각 feature의 중첩성이 줄었다고 함. 자세한건 나도몰루? beta-vae같은 원리인가?
5. 암튼 이렇게 disentangled된 feature들을 사용하면 언어모델이 딱 그 단일 feature와 직결되게 출력할 수 있게 만들수있음. 그럼 모델의 interpretability가 상승하고 align도 잘할수 있게됨. 이런거 관심있으면 xai쪽 논문 찾아보셈.
- dc official App
화학쪽이랑 연관지으면 나아질 것 같기도한데, 화학적 반응의 관찰을 뭐 수십만분의 1로 관측하는 기술이 있다던데 뉴럴 반응을 관찰하면 그런 문제도 해결되지 않을까 싶기도 하고.. 그냥 모든 공학 과학 분야가 특이점을 맞이하기 위해 맞물리는거 같음
흠....이게 반드시 좋은 방식이라는 보장이 과연 있을지
그러니까 논문 냈겠지 - dc App
개추
근데 disentangled, interpretability, align 등 굳이 영어로 안 쓰는 게 더 가독성 면에서 좋으면 안 쓰는 게 좋음
한국어로 번역하면 더병신됨 학계 특정 분야에서 고착화된 단어는 번역하면 안된다고 생각함 - dc App
그래서 sparse autoencoder, regularization, loss, feature는 암말 안했잖아 나머지는 풀어쓰면 더 낫지 병신 ㄴㄴ