[일반] 근데 저런 추론모델이 llm이 아니면 남들은 못따라하는거임?

[익명(175.208)]

얀르쿤 말대로 llm이 아니면

시크릿 소스가 있는거임?

그럼 왜 짱이 바로 배낌

플래시-씽킹도 바로 나오고

아무나 다 하는거 아니노?

아니면 먼가 oai 만의 비법이 있는건가

[익명(210.91)]

모르고 하는 말이긴 한데, 추론 데이터가 많이 필요할 걸. 기존 언어데이터에는 추론 과정은 생략된 경우가 많으니까. 그래서, 추론 데이터를 박사 시켜서 라벨링 하고, 그걸 파인 튜닝한 모델을 가지고 생성한 데이터를 학습했다던가. 그럼, 중국은 이걸 박사급 시켜서 흉내냈을 수도 있고. 근데 일리야가 합성데이터 전문이기도 하고, 지금이야 찬밥 신세지만 소라도 합성데이터로 학습한거고. 그냥 oai가 데이터 합성해서 학습시키는 걸 겁나 잘 하는 느낌.

[익명(175.208)]

흠 ㄱㅅ // 근데 박사(휴먼) 라벨링이 필요하면 곧 병목이 생길 수 밖에 없잖아. 그럼 합성데이터에서 다음 프론티어 모델 훈련용 데이터 확보를 못하게되면 중국이 따라잡을수도 있겠네. 거긴 라벨링해줄 STEM 인력이 훨씬 더 많으니까. 소라가 veo2에 발린것도 합성데이터를 잘 못써서 그런건지 싶었는데 오늘자 wsj 뉴스보니까 오리온쪽 애들이랑 컴퓨팅 리소스때문에 분쟁이 있었다고 하니 그래서 그런가 싶기도하고

[콜라조무사(tkatjdrhdghkrnr123)]

추론의 핵심인 재질문이 llm보단 시퀀스에 가까워서 그런가 생각해봄

[익명(175.208)]

일리야가 있네

[익명(spoiler6984)]

시크릿 레시피가 있을거임. 저번에 알트만이 직접 인터뷰에서 각 기업들마다 모델에 맞춘 엄청난 알고리즘을 연구하고 있다했으니

[익명(175.208)]

ㅇㅎ

[익명(14.47)]

잼민이도"띵킹"모델 나왔는데 플래쉬 꼬라지 보면 해자가 있는거 같아 그래서 역시 oai 인듯

[익명(175.208)]

띵킹 모델좀 써봐야겠음