[일반] SOLAR 는 자체 모델이야?

[익명(180.230)]

아니면 라마2 파인튜닝한 모델이야?

허깅페이지 가봐도 사전학습된 모델을 사용했다는 내용이 없어서 궁금하네

[익명(123.100)]

라마 기반인데 몇가지 기법 더한거로 앎 - dc App

[익명(175.126)]

라마1레이어를 복제해서 쌓아서 더 깊은 레이어를 가지는 트랜스포머로 만든다음 파인튜닝 + DPO강화학습 방법으로 학습시킨것으로 앎. 그랬더니 라마2보다 성능이 더좋아지고 gpt3.5 일부 테스크에서 능가함.