[일반] 1.2B정도 모델을 파인튜닝해서 기억모듈로 쓸수있지 않을까?

[익명(118.217)]

코드짜보고있는데 될런지 모르겟네

학습데이터 자체를 gpt gemini 이런애들한테 api주고 생성하는거라 증류인거같긴 한데 음

[우완국(surprise0124)]

필요한 기억을 선별하는것 자체가 완전하지가 않음 12B로 테스트 해봤음

[익명(sudden9813)]

1.2b가 씹빡통이라 안댐..

[눈누난나(kjh1017)]

성공하면 회사 차려도 되겠다

[ㅇㅇ 1(182.227)]

파인튜닝이 아니라 님이 기억에 최적화된 아키텍쳐를 제대로 짜면 가능할듯. 1.2B랑 거대모델이랑 보는 시각이 달라서 파인튜닝만으로는 어려움

[ㅇㅇ 2(147.46)]

작은 놈은 학습한 것밖에 못 내뱉는 거의 개똥멍청이임 유연성 기대 못함