걍 취미로 내가 구상한 모델 직접 구현하고 테스트해보는데
잘 안돼도 그게 왜 안되는건지 해석이 안됨.
Ablation은 나름 해보는데 걍 베이스라인이랑 학습 그래프도 똑같고 검증 성능도 똑같고 ㅋㅋ
대충 뭐냐면
이미지넷에 있는 클래스를 다 dinov2에 통과시킨다음에 gap하고
그걸 모아서 클러스터링 한 다음에 하드웨어에 피처맵 원본을 저장해둠.
그리고 훈련,추론할 때 이미지가 들어오면 dinov2 통과시키고, gap하고, 하드웨어에서 RAG마냥 유사도 기반으로 피처맵 하나 꺼내온 다음에 그거로 크로스어텐션한걸 디코더에 입력하는 방식인데
난 이게 왜 장점이 있을거라 생각했냐면
하나의 클래스에 대해 가장보편적인 클러스터랑, 입력된 이미지랑 비교하는 방식에서 모델이 훨씬 더 ‘개‘의 일반적인 특징, ’고양이‘의 일반적인 특징을 잘 파악을 할거라고 생각했는데
특히 하나의 클래스에 대해 동일한 이미지가 계속 들어오면
학습동역학에 있어서 안정적일거라 생각했음.
근데 아닌가본데 하여튼 궁금한건
내가 생각한 모델이 왜 말도안되는 모델인지를 어떻게 알수있고
분석은 또 어떻게 하는건지 모르겠음
잘 하고 있네. 처음 클러스터링 할 때 인코더를 Dino v2말고 다른거 한번 써봐.
멋있는 청년
취미? ㅎㄷㄷ
너 재능 있어, 너 계속 가면 돼. inference setting 따라서 어텐션 맵이나 추론되는 텍스트의 스타일, 이미지 임베딩을 변환 시켜보는 방식 같은것들로 추론 결과들 많이 분석해보면서 익혀나가는게 요즘 시대에 맞는 능력치임 ㄹㅇ
너가 정말 진심으로 고통받고 있다면 잘하고 있는거임