구라 ㄴㄴ ㅋㅋㅋㅋ
[일반] 큐원 이거 진짜임?
익명(115.22)
2025-11-05 20:30
추천 1
댓글 30
다른 게시글
-
조커가 2019 년임 [2][일반] 익명(115.22) | 25.11.05추천 1
-
큐원 오픈소스 기반 “어텐션” 없는 새로운 아키텍처 “파워 리텐션” [9][📪정보] 익명(both6480) | 25.11.05추천 10
-
속보) 애니프사 : 클로드 코드와 좋은 경험을 했다 [1][일반] 익명(61.84) | 25.11.05추천 0
-
sora2 코드 좀요 ㅜㅜ[일반] 익명(jsw00428) | 25.11.05추천 0
-
Ai가 지금 못하는것들이 뭘까 [8][일반] 익명(charm6751) | 25.11.05추천 0
-
종종 현재 아키텍쳐가 개구데기인거 아닐까 생각듦 [5][일반] 익명(61.84) | 25.11.05추천 0
-
딥식이한테 중국 ai 물어보니까 냉정하게 말해주더라 ㅋㅋ [1][일반] 익명(both6480) | 25.11.05추천 0
-
gpt 자주쓰면 월2만원 투자할만함? [4][일반] 익명(khsnej) | 25.11.05추천 0
-
상황인식 글이 너무 길어서 읽기 귀찮은데 [7][일반] 익명(irritate5221) | 25.11.05추천 0
-
씨발 ㅋㅋㅋㅋ 한국 ai ㅋㅋㅋㅋ [5][일반] 익명(115.22) | 25.11.05추천 1
근본없는 데서 내놓으니 신뢰하기가
큐웬 근본 없진 않잖아.. 나름 알리바바 였나? 꽤 괜찮은 회사꺼였던걸로 아는데
@솔담비
여기서 내논 거
https://huggingface.co/manifestai
@ㅇㅇ1(121.131) 아 그러네. 고마워!
오픈소스 모델 현 랭킹 1위임
구라는 아닌데 성능이 완전히 동일하지는 않을거임. 예전 방식은 계층적으로 관계를 추출하기 위해 그만큼의 어텐션 레이어와 데이터가 필요했던건데 이방식은 계속해서 쌓아가는거니까 두 방식이 동일할 수는 없음
면으로된 문서를 훑어 본 뒤 인풋된 프롬프트를 처리하는것과 입력된 프롬프트의 토큰간 모든 맥락을 연결지어서 이해하는것의 차이 아님?
@글쓴 ㅇㅇ(115.22) 그거랑은 다름. 토큰 간의 맥락을 비교하는 건 똑같은데 기존 방식은 여러층으로 나뉘어서 어텐션 계산을 반복하기 때문에 층마다 서로 다른 값을 가질 수 있었고 저기서도 써있듯이 모델이 좀 더 유연하게 반응할 수 있음. 그러니까 더 다양한 값을 다룰 수 있다고 생각하면 됨. 근데 이 방식은 RNN처럼 데이터 흐름순으로 처리하면서 되먹이는 구조처럼 보임. 이러면 유연성은 좀 떨어질 수 밖에 없을 것 같으
@글쓴 ㅇㅇ(115.22) 문제는 그 트레이드 오프에서 희생된 유연성이 모델에서 얼마나 중요했는지일듯. 별 역할이 없었거나 에너지 소모 대비 성능 하락폭이 감내 가능한 정도면 범용성 좋은 아키텍처이고 그 반대면 특수한 용도에 적합한 아키텍처의 느낌 아닐까 싶음
@ㅇㅇ2(211.220) 벤치에서는 동등하거나 더 우월했다고 하던데 대규모로 확장했을때 성능을 봐야할듯
@ㅇㅇ2(211.220) 인공지능은 수학 이랑 과학에만 치중하면된다. 언어는 별의미없음
@ㅇㅇ2(211.220) 아 무슨말인지 알겠다 계층을 세분화 시켜서 나누어서 마치 관절이 많은 척추처럼 유연하게 반응하는게 기존 방식이고 리텐션은 하나의 척추 관절에 이전정보를 다 때려박고 다음 척추 관절에는 프롬프트를 넣어서 이 두가지의 레이어를 처리한다는거네
@글쓴 ㅇㅇ(115.22) 프롬프트는 토큰화 되어서 이미 처리하는 데이터 안에 있징. 그것보다는 식품 만들려고 건조할때 기존 방식은 원물 -> 1번 건조기 -> 2번 건조기 -> 3번 건조기 -> 완성 이런 식으로 여러 건조기를 두고 저마다 다른 세팅 값. 변수 값 등을 두고 완성품을 만들 수 있다면
@글쓴 ㅇㅇ(115.22) 글에서 나온 방식은 원물 -> (돌아가는 위치) -> 1번 건조기 -> (앞으로 돌려보냄) * n회 -> 완성/ 처럼 같은 값을 가진 장비를 여러번 사용하는 거임. 한번 통과할 때마다 상품에 남아있는 수분량이 다를 거 아냐? 80% -> 60% -> n% 이런 식으로 과거의 처리 과정이 현재 상태에 반영되어 있으니 되돌려서 하더라도 현 상태에 담겨 있는 정보를 기반으로 다른 처리를 할 수 있다고 하는 거임.
@ㅇㅇ2(211.220) 전자는 세팅 값이 다르니까 다양한 결과를 낼 수 있지만 장비를 여러개를 사용하니 돈이 많이 들고 후자는 같은 장비를 연속으로 돌리는 거니까 다양한 공정을 적용할 수는 없지만 장비 값이 절약되는거지
@ㅇㅇ2(211.220) 무한 되먹임 구조 이해완료
@ㅇㅇ2(211.220) 연산비용이 증가하지 않은건 이미 건조기 안에 처리된 내용이 남아있기때문애 그 내용을 재활용하기만하면되는거군
앞 문맥 처리할때 뒤에서 뭐가 나올지 어떻게 알고 정보를 남기고 지울지 결정함. 그게 안돼서 RNN이 안되는거
엄... 지금 이야기 나누는것과 다른 이야기를 하는중인듯?
@글쓴 ㅇㅇ(115.22) RNN이 트랜스포머에 비해 긴 문맥처리를 잘할 수 없는 이유인데?
@Azurespace 이해하는 사람에 대한 배려없는 너만 이해하고 있는 정보를 일방적으로 전달할때 쓰는 화법이라서 그럼
@Azurespace 너 같은 부류들의 특징이 뭐냐면 '남들이 모르는것을 내가 아는것에 대한 지적 우월감' , '상대는 순수하게 질문한건데 혼자서 가르치려 하는 도파민에 휩쌓여서 딸치는중임' 임
상대의 지능이 어떻든 니가 알고있는 정보에 대해서 이해하려면 사전정보와 쌓여야 하는 공부의 총량이 필요함 그 과정을 전혀 배려하지 않은 이기적인 화법이라서 지적하는거임
@Azurespace 이제 급바둑 두는사람이 단수 바둑을 어떻게 알고 이해함?
@글쓴 ㅇㅇ(115.22) ㅋㅋ셈
@Azurespace ㅋㅋ 존나 장애인새끼 니가 취한 태도와 윗사람이 취한 태도의 차이를 보셈
@Azurespace 소인은 아는것에 대해서 으스대면서 나대고 자랑하지만 대인은 본인이 아는것을 나누며 베푸려고 함 벼는 익을 수록 고개를 숙인다고 ㅋㅋㅋㅋ 너는 고개숙이는법 부터 배워야할듯?
@글쓴 ㅇㅇ(115.22) 그래그래 잘놀다가
@Azurespace 꺼져 병신아
@글쓴 ㅇㅇ(115.22) 쟤설명보다 내설명이 더 쉬운버전이란다 그럼ㅂㅂ