과기정통부의 독자 AI 파운데이션 모델 프로젝트 공모 안내서만 봐도
이번에 새로 '독자 파운데이션 모델'을 개발하던가 이미 개발했던 `독자 파운데이션 모델`을 확장한다던가 하라는건데
'독자 파운데이션 모델'이 뭘 말하는지 딱 써있잖아
모델의 설계부터 사전학습 과정 등을 수행한 국산 모델 (타사 모델에 대한 라이센싱 이슈 부재)
아니 자꾸 "설계"도 처음부터 하면 너무 비효율적이잖아 ㅋㅋ라면서 옹호하는데
아니 이 프로젝트 자체가 애초에 그런 관점이면 비효율적인거 맞고 지금까지 그래서 소버린 ai가 의미가 있네 마니 한건데
전혀 이해못하고 개소리 하는애들은 왜 있는거임?
타사 모델에 대한 라이센싱 이슈 부재 이건 못 봤네.. - dc App
이러면 문제가 있겟는데
그러면 sk랑 lg 네이버도 문제있는거아닌가? 새 아키텍쳐 쓰는데가 있긴함?
네이버는 아예 자기들이 짠 거 같고(발상 자체야 다 비슷하긴 한 데) 나머지는 전수조사 들어가야될 듯 - dc App
전부 아키텍쳐 가져와서 다 탈락하면 재밌긴하겠네요
ㄴㄴ glm 깃헙봐라 상업이용부터 다 가능한 아파치 2.0 라이센스임. 이슈있는 라이센스가 아님
근데 본문 사진만 보면 그냥 아예 독자설계를 의미하는거 같은데 오픈소스라이센스라 해도
그건 당연하지 오픈소스 아닌걸 썼으면 아예 법적 문제니까 그런 문제가 아니고 이 대회의 의도는 기존에 니네 회사가 가지고있던 독자 파운데이션 모델을 확장하던가 이번에 새로 만들던가 근데 독자 파운데이션 모델은 타사 모델을 기반으로 한게 아니라 새로운 자체 아키텍처, 독자적 학습 알고리즘 등이 있어야한다고. 타사 ai 말하는거였으면 독자가 왜 붙냐고 자기네 독자 모델을 말하는거지 애초에 최소한 국내를 기반으로 하던가, 아키텍처부터 처음부터 만드는걸 상정해서 주권을 확보한다는거지. 물론 그게 절대 쉬운일은 아닌데 의도는 그거라고 사전학습 대회가 의도가 아니라고 이 대회가 의미가 있냐 없냐를 떠나서
타사 라이센스에 의존하는 소버린 AI ㅋㅋㅋ
@글쓴 ㅇㅇ(124.60) 뭐 아키텍쳐만 따지면 그렇게 생각할수도 있는데 데이터랑 합성데이터 만들고 학습하는 노하우가 더 중요한 부분인데 저작권도 ㅈ까고 긴빠이하는 대ai개발시대에 그렇게까지 뭔 일일히 신토불이 따지냐? 그건 좀 아닌듯
@특갤용 나도 그게 비효율적이라고 생각하긴하는데 아키텍처는 베껴도 된다라는게 이 대회 요건에 부합하는지에 대해서만 논한거임 뭐 베낀게 맞느냐, 신토불이가 효율적이냐를 떠냐서
@글쓴 ㅇㅇ(124.60) 수능보듯이 무조건 공정하게 줄세우는게 중요한게 아니고 말하자면 좀 치는 사람들 모아가지고 gpu도 몰아주고 독자발전 가능한 토양을 세우는게 대회취지라고 나는 생각함 그리고 아키텍쳐 개발도 모델 훈련시켜가면서 경험적으로 하는거라 첫술에 배부를순 없다는 거임
근데 잘 읽어보면 예시잖아 저건 그냥. 둘중에 하나만 해도 되는거아님? 그러면 가중치만 자기꺼여도 되는거같은데
다시보니까 정의가 써있구나 흠 문제될수있겠네
예시부터 설명까지 매번 "독자" 꼬박꼬박 달아줬는데 그래도 무시할거면 대체 설명 자체를 왜 봄
둘다 독자 ai라고 하는거보면 만약 써도 국내 모델을 사용하란거같음
2번도 설계단에서 기존에 자기들이 한 걸 고도화한 걸 말하는 거지 이번꺼처럼 가져다 조금씩 바꾼 걸 말하는 건 아닌 듯 - dc App
아래꺼가 다른 모델의 아키텍처를 기반으로 해도 된다는 의미가 아님. (최소한 내가 이해하기엔) 독자 AI 파운데이션 모델이라는게 뭔지 설명한거보면. "기존 독자 파운데이션 모델의 고도화 확장"의 독자 파운데이션 모델이 뭔지 정의했잖아. 그리고 위에를 봐도 새로 독자 파운데이션 모델을 만들때의 요건도 달아둔거보면 일단 의도는 새로 만드는게 맞음. 그게 가능하냐를 떠나서
아키텍처를 다 만들라고? 빡신거였네 저런 조건까진 못봤지
어.. 이건 못봤네 이러면 NC랑 업스테이지는 위험할듯. NC는 라마, 라바 계열이고.
LG는 독자적으로 했다고 하고
https://www.thelec.kr/news/articleView.html?idxno=50357
네이버나
sk 정도나 괜찮으려나
LG는 뭐 트랜스포머 아키텍처 단에서도 계산 방식을 최적화했다고 하면서 말하던데 대회 의도에 가장 부합하게 한거같긴함
@글쓴 ㅇㅇ(124.60) SK는 이전에 만든게 qwen 기반이여서 SK도 위험할거 같음.
@아무것도없을
https://huggingface.co/skt/A.X-4.0-Light
@아무것도없을
그거 이번에 만든게 아니라서 괜찮을걸
https://huggingface.co/skt/A.X-K1
@글쓴 ㅇㅇ(124.60) 오호 그건 첨봤네 정보 ㄳㄳ
NC도 라마 라바는 옛날 공개 모델이고 이번건 MoE던데 바꿨겠지
재미나이 분석임 해석의 여지가 있는 문구: "모델의 설계부터..." ※ ...모델의 설계부터 사전학습 과정 등을 수행한 국산 모델... 여기가 **가장 애매한 '그레이존(Gray Zone)'**입니다. 보수적 해석 (Sionic 측 논리): "설계(Design)부터 하라며? 근데 코드를 GLM 거 그대로 베꼈으면 '설계'를 안 한 거 아니냐? 탈락이다." 현실적 해석 (업계 통용 논리): "여기서 말하는 '설계'란 단순히 model.py 코드 작성이 아니라, 데이터 레시피 구성, 학습 커리큘럼 설계, 파라미터 튜닝 등 모델을 만들기 위한 거시적 엔지니어링을 뜻한다. 아키텍처 차용은 설계의 일부일 뿐이다. 통과." - dc App
전망: 정부 입장에서도 Llama 구조를 차용한 수많은 국내 기업들을 다 탈락시키면 지원할 기업이 아무도 없는 사태가 벌어집니다. 따라서 **"남의 가중치(Brain)를 몰래 훔쳐 쓴 게 아니라면, 아키텍처(Skeleton) 차용 정도는 '독자 설계'의 범주로 봐줄 가능성"**이 99%입니다. - dc App
정말 **핵심**을 찔렀노 새로 독자 파운데이션을 만들려면 새로운 자체 아키텍처 설계 및 구현을 해야한다고 대놓고 적혀있잖아. 아무리 보수적으로 해석해도 기존에 독자 파운데이션 모델이 없는 기업은 새로운 자체 아키텍처 설계 및 구현을 통해서 새 독자 파운데이션 모델을 만들수밖에 없음. 그래서 지금까진 다른 모델을 기반으로 했다고 하던 기업들도 이번엔 새로 만들었다고 하는거고.
어디까지가 모델 설계가 아닌 거임? 그럼 트랜스포머 부터 갖다 쓰면 안 되는 거 아님? 정의부터가 애매하구만