맷 슈머가 리플렉션 70B 성능이 기대 이하라는 이슈를 인지했고, 


업로드된 모델이랑 우리가 가진 API랑 다르다.. 이런 식으로 실시간으로 대응하고는 있는데


애들 질문에 답변하는 것 중에 도저히 내가 이해할 수가 없는 내용들이 섞여있었음


Q: Why does the model on HF have Llama 3 as base model instead of 3.1?

Q: 왜 허깅페이스에 올라온 모델은 라마 3.1 대신에 3이 베이스 모델인가요?


A: We don’t know — this is why we’re just retraining from scratch. Should be relatively quick.

A: 모르겠어요... 그래서 처음부터 다시 재훈련시키고 있어요.


??????????????


Q: Address claims around LORAing in the benchmarks

Q: 벤치마크용 로라를 썼다는 말이 있어요


A: Not sure what LORAing is haha, but we checked for contamination and will be releasing the dataset alongside the 405B (or before) next week. You’ll be able to look through it yourself!

A: 로라가 뭔지 모르겠네요, 하하... 그래도 데이터 오염은 체크했고, 다음주에 405B 버전으로도 출시할 예정이랍니다!


????????????


이게 CEO인지 특붕이 1인지.. 2024년 9월에 이런 기초적인 내용을 어떻게 모르지?

일단 상황을 좀 더 봐야 하긴 하겠지만 모델과는 별개로 얘는 좀 이상함