The Geometry of Concepts: Sparse Autoencoder Feature StructureSparse autoencoders have recently produced dictionaries of high-dimensional vectors corresponding to the universe of concepts represented by large language models. We find that this concept universe has interesting structure at three levels: 1) The "atomic" small-scale structure contains "crystals" whose faces are parallelograms or trapezoids, generalizing well-known examples such as (man-woman-king-queen). We find that the quality of such parallelograms and associated function vectors improves greatly when projecting out global distractor directions such as word length, which is efficiently done with linear discriminant analysis. 2) The "brain" intermediate-scale structure has significant spatial modularity; for example, math and code features form a "lobe" akin to functional lobes seen in neural fMRI images. We quantify the spatial locality of these lobes with multiple metrics and find that clusters of co-occurring features, at coarse enough scale, also cluster together spatially far more than one would expect if feature geometry were random. 3) The "galaxy" scale large-scale structure of the feature point cloud is not isotropic, but instead has a power law of eigenvalues with steepest slope in middle layers. We also quantify how the clustering entropy depends on the layer.arxiv.org



일단 논문에서 쓴 모델은 gemma-2-2b, gemma-2-9b llm모델임 ㅇㅇ

이 모델들의 중간 데이터를 빼와서(정확히는 12계층 정도에서의 활성화(activation) 값)

SAE(Sprase AutoEncoder) 를 사용해서 활성화값을 16000개의 feature를 가진 벡터로 변환하고

그걸 t-SNE 방법으로 차원 축소해서 2d로 나타내고 클러스터링(clustering) 했더니

39b5d535ecdc3fb362bec4bc02c8696fb256f54e77900fade32a06da43241eb6ae73b51566f943f21fecf924f2ab68843004


위 사진과 같이 뇌의 엽과 비슷한 모양의 분포가 나온다는게 논문의 핵심 내용중 하나임. (다른 내용도 있는데 일단 뇌와 관련된 직접적인 부분만 가져왔음)


일단 이걸로 llm이 의식이 있다고 주장하거나 진정한 추론을 한다고 주장하기에는 조금 너무 과하게 간 부분이 없지않아 있고

핵심은 llm이 텍스트를 처리하는데 있어서 인간의 뇌와 유사하게 개념적으로 비슷한 단어들끼리 엽과 같은 형태로 묶어서 연관성을 찾는다는 부분인것 같음.

사실 저 그림도 16000개 차원의 고차원 데이터를 2d로 차원축소 한거라 비약이 좀 있을수도 있고 ㅇㅇ


결론) 너무 과한 근들갑 ㄴㄴ



39b5d535ecdc3fb362bec4bc02c8696fb256f54e779207ade02802df46271eb6a9428276dd202a2257c4555f2c129b2e2f4801eb903f2e5b

- dc official App