[📪정보] 트랜스포머 공동 저자, “트랜스포머에 질렸다”

[익명(both6480)]

[천상열차(annoy6122)]

플랜 B도 필요한 법이긴한데..

[이세이미야케(jkwarawara)]

[익명(both6480)]

Ai의 발전이 독창성을 강화하고 결국 새로운 틀이 등장할 확률도 높아질 것으로 기대 중

[천상열차(annoy6122)]

일단 뾰족지능부터달성하고 그걸로 새로운 아키텍쳐를 개발하는 것도 나쁘지않을 것 같기도 하고요

[익명(average2909)]

འགག་ག་ཡད་ན་གང་ལ་འད་ཁ་སན་གནང་རགས། ང་རང་སར་གས་འད་ཀག་ནས་སམས་འགལ་ཐབས་ཡད།

[저는한글이좋아요(wishbari19)]

사람들이 트랜스포머에 익숙해져 있으니 쉽게 벗어나기 힘들듯

[익명(class7663)]

결국 진짜 천재는 없다는거지

[익명(help2538)]

[익명(125.128)]

thinking 추론 프로세스를 모델안에서 어텐션으로 하는 아이디어 있던데 이정도만되도

[디시콘발사대(fcbjsjmu1t9f)]

삼성에서 냈던 그거?

[않이웨그러눈대(ahn88823)]

[ㅇㅇ 1(121.133)]

난 이게 맞다고봄 솔직히 llm으로 agi 달성한다는게 기대가 안됨

[천상열차(annoy6122)]

[ㅇㅇ 2(14.42)]

엄밀하게 llm 이랑 transformer는 같은 말은 아님.. llm의 아키텍처 구조 중 하나로 transformer를 쓰는 거임

[ㅇㅇ 5(112.155)]

@ㅇㅇ2(14.42) 그럼 맞는말 한거잖아 llm으로 agi 달성한다는게 기대가 안된다고

[ㅇㅇ 7(183.96)]

트랜스포머는 입력의 압축방식일뿐이라서 llm이라고 정의하긴어려움 - dc App

[ㅇㅇ 8(1.241)]

@ㅇㅇ7(183.96) 니가쓰는 llm들 다 트랜스포머 기반이라잖아

[익명(147.46)]

@ㅇㅇ5(112.155) LLM이 트랜스포머보다 큰 범주인데 ‘트랜스포머로 한계가 있다‘라는 게 어떻게 ‘LLM으로는 안된다‘로 연결되냐…

[익명(average2909)]

འགག་ག་ཡད་ན་གང་ལ་འད་ཁ་སན་གནང་རགས། ང་རང་སར་གས་འད་ཀག་ནས་སམས་འགལ་ཐབས་ཡད།

[익명(180.70)]

근데 아키텍처 개발은 돈 퍼붓는거에 비례해서 더 잘되는게 아니잖아? 규모를 키우는데 돈을 쓰면서 그 거대해진 규모를 효율적으로 활용하기 위해 애쓰다보면 새로운 아키텍처 혁신을 발견하게 되는거 아님? 규모를 키우지도 않고, 대규모 모델 실험도 안해보면서 개쩌는 아키텍처를 도출할 수 있나?

[야하이잇(dignity123)]

마찬가지로 트랜스포머 공동 저자인 OpenAI의 루카스 카이저랑 Google의 노암 샤지어는 일단 트랜스포머 극한까지 밀어 붙이는 느낌이긴 한데 아마 그들도 다른 아키텍처 준비하고 있긴 할듯

[익명(wanted7407)]

구글 제미니 3 보면 아키텍쳐에서 뭔가 바뀌긴 할 듯

[약팔이아님(vital7966)]

에휴 씹ㅋㅋㅋ 스캠 사기꾼 그만좀 퍼와라

[익명(175.118)]

트랜스포머 개발자가 왜 스캠 사기꾼? ㅋㅋㅋ ㅂㅅ인감

[ㅇㅇ 8(1.241)]

저 능아임?

[익명(125.129)]

다음 아키텍쳐가 있다면 좋겠네

[Azurespace(azurespace)]

스케일업할때 바닐라 트랜스포머보다 모든 측면에서 나은 구조는 이제 나오기 힘든게 아닐까 싶고, 서로 다른 장점을 가진 여러 종류의 유사 어텐션 레이어들을 잘 이어붙여 돌리는 방향으로 가지 않을까 싶은데

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

멀티 헤드 어텐션 단점만 해결해줘. 시발러마. 니자식이잖아

[익명(landofooo)]

ㅋㅋㅋㅋ

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[ㅇㅇ 2(14.42)]

5월에 ATLAS라고 후속 아키텍처 논문 나왔었음

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

@슈피슈와 논문만 나오고 아키텍쳐는 안 오픈함. 지들만 씀

[멘토스(gblzvhbddpj2)]

[ㅇㅇ 3(112.187)]

필요하다고 생각했으면 기업들이 안 했을리가 없을거같은데

[ㅇㅇ 4(218.146)]

기업의 선택이 정답이라는 보장있음? 오히려 최근 시류에 편승해서 일단 돈벌고 보자는 마인드로보이는데

[ㅇㅇ 9(219.255)]

못한거지

[ㅇㅇ 4(218.146)]

속이 뻥뚫리네 ㄹㅇ

[벤치처형(hyeongim264)]

그 트랜스포머 개량해 국제수학올림피아드, 정보올림피아드 금메달따고 코딩대회 세계2위하고 이젠 뭘 더 보여줘야 인정할건가 싶네. 골대만 끝없이 옮기고

[덕수옹(deogsuong)]

트랜스포머 대체 아키텍처는 존나 차고 넘치는데 계속 트랜스포머에 머무는건 그만큼 강점이 존나 있어서 그럼

[익명(friendly5597)]

이건 결국 트랜스포머 개발자 본인들도 자기들이 뭘 만든건지 잘 모르는거 아님? 밑도 끝도없이 질린다는 뭐냐 그럼 본인들이 또 만들어보든가 ㅇㅇ 최초에 개발할 땐 이게 유일한 해답이라고 생각하고 만들기 시작한거 아니었어?

[슈넬(tunnel5955)]

넌 라면끓일때 이건 내가 만든 최고의 라면이라고 생각하고 끓이냐? 이게 뭔 신박한 헛소리냐

[ㅇㅇ 6(14.46)]

그냥 공동저자 1명의 의견일 뿐임 다른 애들은 여전히 트랜스포머 파고 있음

[익명(friendly5597)]

@슈넬 마치 콜럼버스가 신대륙 발견 후에 인도라고 죽기 전까지 믿었던 것이 생각나네 ㅇㅇ 자기가 뭘 발견한건지 모르는거지

[익명(merge3772)]

'사카나' ㅋㅋㅋㅋ

[기도문(newzerg2)]

이글의 핵심 주장은 "트랜스포머 응용연구에 쓸 자원을 새로운 AI 아키텍처 연구에 쓴다면 더 좋을것" 이라는 주장인데 글쎄 돌파구를 새로 찾는것과 현재 나온것을 잘 개량해서 좋은 제품을 만드는건 아예 별개의 문제라고 생각함. 그리고 기업입장에서 눈에 보이는 뭔가 바로 만들수있는걸 하는거랑 언제 완성되고 언제 결과물이 나올지 모르는 연구에 몰빵하는건

[기도문(newzerg2)]

다른일이지. 뭘 답답해 하는건지는 알겠는데 근거가 빈약한 주장이라 생각함

[익명(nurse9605)]

[ㅇㅇ 7(183.96)]

이게 추론이전에 한스텝으로 끝내야하는모델일때 방대한입력과 작은입력 모두 일관적으로 욱여넣는 아주 획기적인방법이었는데 추론처럼 여러 스텝가능한게 나오고선 "입력도 여러번분할하면 그만아니냐? 인간처럼" 라고 다시 고민해보는 문제가 된듯 - dc App

[익명(112.171)]

한계도달?

[Samus(tktlqtk44)]

아아ㅡㅡㅡㅡㅡ 《질렸다》