뉴스기사에서본거같음 LLM에서 가장 중요한게 뉴스기사데이터란 소리를
여러 지식이나 논리가 잘 전개되있어서 추론능력에 가장 중요한 데이터셋이라고
지금GPT4 좀 병신된게
NYT에고소당한것때문에 관련데이터를 삭제하거나 못뽑게 조정하면서 성능이하락된거면
이거 데이터빼면 걍 깡통이란 소리아닌가?
데이터빼면 걍 깡통되는게 현존최고 인공지능이라면 좀실망인데
인간 집필자한테 신문줬다 뺏는다고 추론능력이 떨어지거나하진않잖아
고소타이밍이랑 성능하락타이밍이랑 교묘하게 맞물리는거 같은느낌이드는데 차기버전을 위한 컴퓨팅충당 같은 소리는 아직추측에불과하고
아니겠지? 이거 NYT랑은 관계없는거겠지??
진짜 NYT 때문인지 아닌지는 모르지만 비유는 이상하네 신문을 줬다가 뺏어서 그냥 다시 못 보게 하는 정도가 아니라 그 신문으로 얻은 모든 정보를 전부 뇌에서 제거하는 거지
음 그런가인공신경망을완전히 사람뇌구조에1:1대응시키는거면 그렇게 생각하는게맞긴하겠다 근데그게만약사실이면데이터기반은 이런고소에 엄청취약하다는거네
비용문제 - dc App
LLM은 데이터가 거의 전부임. 물론 그 데이터를 어떤 AI모델로 다루냐도 중요하긴 하고, 트랜스포머 구조 덕분에 지금 관심과 성장이 나온거긴 하지만. 엄청난 기술이 숨겨져 있다기보단, 지금 오픈소스로 공개된 기술만 가지고, 많은 양질의 데이터를 넣고 학습 시키면 GPT3.5 수준으로는 누구든 만들 수 있을거임. 돈이 수백억 깨지겠지만.
그러니까 보통 전.공자들은 이런 방식에서 AGI 같은 게 나온다니까 와닿지 않는거지. 근데 스케일의 법칙에서 전에 없던 능력. 즉 이전 모델들은 번역이면 번역. 요약이면 요약. 시키는 것만 간신히 했는데, 크기 키웠다고 갑자기 다 하니까 신기하고 독특한거지,