LLM 좋은 거 나오면 베낀다는 건, 두가지 의미일거임.
오픈소스로 좋은 모델이 풀려서, 거기에 파인튜닝만 하거나 기술 약간 조합해서 개선한다. 이건 라마3가 이전 오픈소스 중에 제일 좋아서 한국에서도 많이들 했을거임. 근데 라마3 자체가 썩 좋은 게 아니니까 묻히는거지.
다른 건, 좋은 모델이 내뱉는 출력 데이터를 학습 데이터로 쓰는거임. GPT4 후발주자들이 그렇지. 이건 당연하지만 돈이 많이 필요하고 법,규제 무시하고 하는거지. GPT 계정 여러개, 아니 수백,수천개 만들어서 사용량 최대치까지 질문하고 답변 받게 해야지. 그리고 그 데이터를 학습데이터로 쓰면 GPT4에 가까워질거임.
익명(218.144)2025-01-21 21:32:00
답글
즉, 오픈소스 파인튜닝은 성능이 특출나지 않으니 묻힌거고. 후자의 방법은 돈이 많이 깨짐. 새로 학습해야 하니 GPU도 많이 필요하고. 그래서 일단 중국이 가능한거고.
추론모델은 좀 결이 다른 것 같음. 물론 돈 더 내고 pro 계정들 수천개 써서 추론 데이터도 생성해보라고 노력해서 그걸 학습하면 추론이 약간 개선은 될텐데. 딥식은 여기에 자기들 아이디어도 많이 넣은 것 같고....
딥식 같은 접근은 우리도 충분히 가능할 것 같긴한데. 강화학습에서 접근한거라. 근데 우리는 뭐....GPU 없어서 못 하지 싶음.
익명(218.144)2025-01-21 21:36:00
AI는 미국이 기밀 싹 모아서 한국업체에 공짜로 줘도 한국은 정부에서 나서서 태클걸고 국회의원들 깽판치고 언론이 줘패서 못만듬
기술이랑 인력 수준이 엇비슷해야 베끼지
근데 ㄹㅇ 베낀다고 다 될거면 다른나라들도 r1같은거 넘쳐야하는데
걍 중국의 전매특허임 모든 법과 규제를 ㅈ까고 산업스파이로 가져오는거라 중국밖에 못함
뭐 기술 수준이 이미 중국이 저 멀리 갔다는 뜻이지 한국은 시간 많았는데 낭비했고
LLM 좋은 거 나오면 베낀다는 건, 두가지 의미일거임. 오픈소스로 좋은 모델이 풀려서, 거기에 파인튜닝만 하거나 기술 약간 조합해서 개선한다. 이건 라마3가 이전 오픈소스 중에 제일 좋아서 한국에서도 많이들 했을거임. 근데 라마3 자체가 썩 좋은 게 아니니까 묻히는거지. 다른 건, 좋은 모델이 내뱉는 출력 데이터를 학습 데이터로 쓰는거임. GPT4 후발주자들이 그렇지. 이건 당연하지만 돈이 많이 필요하고 법,규제 무시하고 하는거지. GPT 계정 여러개, 아니 수백,수천개 만들어서 사용량 최대치까지 질문하고 답변 받게 해야지. 그리고 그 데이터를 학습데이터로 쓰면 GPT4에 가까워질거임.
즉, 오픈소스 파인튜닝은 성능이 특출나지 않으니 묻힌거고. 후자의 방법은 돈이 많이 깨짐. 새로 학습해야 하니 GPU도 많이 필요하고. 그래서 일단 중국이 가능한거고. 추론모델은 좀 결이 다른 것 같음. 물론 돈 더 내고 pro 계정들 수천개 써서 추론 데이터도 생성해보라고 노력해서 그걸 학습하면 추론이 약간 개선은 될텐데. 딥식은 여기에 자기들 아이디어도 많이 넣은 것 같고.... 딥식 같은 접근은 우리도 충분히 가능할 것 같긴한데. 강화학습에서 접근한거라. 근데 우리는 뭐....GPU 없어서 못 하지 싶음.
AI는 미국이 기밀 싹 모아서 한국업체에 공짜로 줘도 한국은 정부에서 나서서 태클걸고 국회의원들 깽판치고 언론이 줘패서 못만듬