[일반] 밑에 Instruct gpt 개발자가 발표하면서 약간두렵다는데

[익명(49.166)]

보통 개발 발표하면서 두렵다 안하지 않나?

곧 Agi나올것같으니까 자기가 개발해놓고 두렵다는걸로 해석할 여지가있지 않나

[익명(125.191)]

저 기술을 적용한 다음 스케일 업하면 엄청난 성능이 나오려나

[익명(49.166)]

의도를 이해한다는데 이게중요한건가

[익명(49.166)]

지금은 패러미터 몇정도임?

[익명(125.191)]

AI를 인간의 가치에 맞추는 기술이라고 함 욕이나 편향적인 발언을 필터링하는 데에 쓰일 것 같고 자렘바는 앞으로 미래의 모든 ai 시스템에 들어가는 씨앗이 될 거라 보네

[익명(49.166)]

Ai에게 윤리를 가르치는거네

[익명(210.106)]

걍 발표하니까 떨린다는 의미같은데

[익명(1.239)]

They also make up facts less often, and show small decreases in toxic output generation. Our labelers prefer outputs from our 1.3B InstructGPT model over outputs from a 175B GPT-3 model, despite having more than 100x fewer parameters. At the same time, we show that we don’t have to compromise on GPT-3’s capabilities

[익명(1.239)]

13억짜리 모델이 1750억짜리 GPT3보다 성능이 더 떨어지지도 않고 인간의 지침에도 더 잘 따르니 훨씬 더 많은 참여자가 언어모델을 활용할 수 있게 될거고 그 사회적 파급효과가 두려울 수 있겠지

[익명(49.166)]

100배나 적은데 gpt3급으로 패러미터올리면 얼마나좋아질까

[익명(49.166)]

근데 저걸 gpt4라고하기엔 실망스러운듯 아닌가 패러미터늘리면 어케될지모르나

[익명(1.239)]

일반 개인들이 널리 체감하기에는 소형 모델의 성능이 더 중요하지. 그런면에서 보면 새로운 초거대모델보다 사회적 변화에의 영향은 더 클지도 모름

[익명(49.166)]

저게 gpt3의 후속작이면 gpt4는 이제 또 몇개월 걸리겠네 저것도 개발기간 14개월이라함

[익명(1.239)]

그리고 MoE같은게 나오는 걸 봐도 그저 단일모델만 뭉뚱그려서 큰 것보다는 유능한 소형모델들이 각각의 특화된 분야를 가지고 집단화하는 식으로 AGI에 가까워질수도 있겠지

[익명(49.166)]

약인공지능을 모으면 합쳐서 범용인공지능 될수도있는것임?

[익명(1.239)]

그냥 합친다고 되는건 당연히 아니고 군집체로 기능할 수 있도록 효율적인 연결은 필요하지. 사실 인간사회 자체가 그런 구조잖아

[익명(49.166)]

근데 moe는뭐임 검색해도 안나오던데

[익명(1.239)]

Mixture of Experts라고 해야 나옴

[익명(1.239)]

GPT3가 50억원 들었는데 그 1/100보다 작으면 단순계산으로 5천만원 미만이고 얼마전 올라온 학습비용 감소 추세가 맞다면 2천만원 수준일테니 개인이 막 쓰기에는 아직 부담되지만 기업들 입장에선 저거 도입해서 보고서나 메일 작성이나 요약, 고객 응대에만 써도 엄청 이익이지

[익명(49.166)]

Gpt3가 50억밖에 안들었음? 몇천억들어간줄

[익명(1.239)]

학습비용은 50억임. 설비 구매 비용이나 인건비는 예외겠지

[익명(1.239)]

다시 찾아보니 1200만달러, 즉 150억원쯤이었네

[익명(125.137)]

왔다

[익명(49.166)]

뭐가?

[익명(thor2018)]

저런건 결국 다 기억력이 없어서 땜빵식으로라도 해볼라고 하는거에 일환인듯. 지금 핵심 제1과제는 기억력임. 이거만 해결하면 진짜 그럴듯하게 agi처럼 보이는게 나오게 됨.

[익명(49.166)]

기억력 생기게하려면 아예다른알고리즘이 필요하지않음?

[익명(180.83)]

테슬라나 스페이스x 같이 멋진 기술들로 보답한 회사들처럼 얘네도 기대되지만, 그와 다르게 많은 기업들이 설레발로 입만 먼저 턴 사례들도 적지 않게 봐가지고, 난 결과물로 확실히 보여주면 믿을거같어ㅋㅋ 어쨌든 agi 에 한발짝 더 다가가면 좋겠네

[익명(49.166)]

Gpt3때는 결과물로 확실히 보여줌 이후로 뭐가없어서 그렇지

[익명(58.239)]

그냥 투자받으려고 ㅈㄹ하는거 같은데