[📪정보] '모라' 미쳤는데 이거 gpt5 에 통합될듯 ㅋㅋ

[익명(125.134)]

https://www.aitimes.com/news/articleView.html?idxno=160122

MS, 미세조정 기술 '로라' 개선한 '모라' 공개

구글이 지금 인피니 어텐션이라고 컨텍스트 캐싱 기술을 내세우면서 기억력 부문에서 OAI 보다 훨씬 능가함을 어필했는데

OAI와 가장 가깝게 결탁되어있는 MS가 모라라는 기술을 개발 함으로서 치타가 내세우는 장점마저 눌러버렸음

- 로라 -

"일반적으로는 미세조정 후 가중치를 기본 LLM과 병합하지만, 로라는 가중치를 추론 중에 기본 모델에 연결하는 별도의 ‘어댑터(Adapter)'로 대체할 수 있다. 이 방법을 통해 막대한 비용을 들이지 않고도 맞춤형 LLM 기반 서비스를 제공할 수 있다.

그러나 로라는 전체 미세조정에 비해 성능이 떨어진다는 단점도 생긴다.

특히 텍스트 분류 및 지시 조정과 같은 작업에서 잘 작동하지만, 수학적 추론 및 지속적인 사전 훈련과 같은 복잡한 작업에서는 새로운 지식을 학습하고 기억하는 능력이 제한된다.

이는 로라의 어탭터 순위가 모델의 전체 순위보다 매우 작기 때문에, 미세조정을 통해 새로운 정보를 저장하는 능력을 제한하기 때문이다."

그래서 마소 측에서 '모라' 라는 새로운 미세조정 기법을 제작함

- 모라 -

이를 통해 연구진은 다양한 작업에서 동일한 크기의 로라와 모라 모델 성능을 비교했다. 암기 작업에서 모라는 로라보다 뛰어난 성능을 보였으며, 고전적인 방식의 전체 매개변수 미세조정 모델의 성능에 훨씬 더 근접했다는 설명이다.

지시 조정 및 수학적 추론 작업에서 모라는 로라와 거의 동등한 성능을 보였다. 그러나 생의학 및 금융 분야의 지속적인 사전 훈련에서는 모라가 고순위 업데이트를 통해 새로운 지식을 기억하는 면에서 로라를 능가했다.(모라의 가능 중요한 능력임 '고순위 업데이트' 사용자가 임의로 모라의 우선순위를 조정해서 모라안의 데이터 값의 반영도를 조절할 수 있음)

모라 어댑터의 순위를 높이면 수학적 추론 작업에서 전체 미세조정 사이의 성능 격차를 거의 없앨 수 있다고 전했다. 그러나 훈련 및 저장 비용이 이 든다는 것을 단점으로 꼽았다.

이 것은 모라가 미세조정을 위한 파인튜닝으로도 작용하지만

구글에서의 인피니 어텐션의 컨텍스트 캐싱 과 동일한 사용법 으로도 활용할 수 있음을 반증 함

가용토큰 내의 토큰 반영률이 낮아질때마다이전 컨텍스트 기록을 그대로 LLM에 어뎁터에 연결되어있는 모라에 집어넣고 실시간으로 파인튜닝 시키고 그리고 이 컨텍스트 기록이 저장되어있는 모라의 우선순위를 조정해서 상단에 위치하게 만든다면 사실상 외부기억장치로 활용할 수 있는것임

그리고 MS는 OAI 와 깊게 결탁 되어있는 기업이니까 분명 OAI 측에 제공하기위해서 개발한 것 일거임

차기 GPT5 에서 기술적으로 결합된 형태로 출시 될 확률이 높음

그렇다면 GPT-5 는 이미지 + 오디오 + 텍스트 + 비디오 비전이 멀티 모달리티고 결합되어있는 단일 신경망임과 동시에 외부기억학습장치인 모라와도 연결되어있는 괴물모델임

예상 GPT-5 의 스펙

1. 이미지 + 오디오 + 텍스트 + 비디오 비전이 결합 되어있는 멀티 모달리티

2. 외부기억장치인 모라

저 본문에서 가장 중요한 문장은 이 것임 

이를 통해 연구진은 다양한 작업에서 동일한 크기의 로라와 모라 모델 성능을 비교했다. 암기 작업에서 모라는 로라보다 뛰어난 성능을 보였으며, 고전적인 방식의 전체 매개변수 미세조정 모델의 성능에 훨씬 더 근접했다는 설명이다.

이 말을 간단하게 풀어 헤치자면 아얘 처음부터 학습해서 데이터를 조정하는것과 거의 비슷한 퍼포먼스를 냈다는 말이지

[익명(dlsjftldk)]

파인튜닝은 완전 다른건디

[익명(125.134)]

"미세 조정(fine-tuning)이다. 미세 조정이란 사전 학습한 모든 가중치와 더불어 하위 문제를 위한 최소한의 가중치를 추가해서 모델을 추가로 학습(미세 조정)하는 방법" 에휴 븅신 ;;

[익명(dlsjftldk)]

님 영어 못읽음?? ㅋㅋㅋㅋㅋㅋ

[부패하는유전자!!!(sansss2015)]

굳

[익명(125.134)]

이제 빠가 에서 벗어난거다 원할때마다 이전 컨텍스트 기록을 계속 업데이트 해주기만 하면 됨 추가학습비용이 지불되겠지만 깡토큰으로 밀어붙히는거보다 싸게치겠지

[익명(119.197)]

결국 매개변수를 조정한다는 것 같은데, 저게 가능하려면 1계정당 1LLM이어야 하니, GPT5 1억개 복사할 데이터센터만 만들면 되겠네

[익명(125.134)]

외부 어뎁터로 연결해서 외부기억장치로 사용하는건데 매개변수 조정과는 무슨연관성임?

[익명(119.197)]

매개변수의 전체 가중치를 업데이트 하는 식으로 조정하는게 아니라, 그 "어답터"라는 장치를 통해 매개변수를 조정하는거라고. 어떤 방식이든 모델 매개변수를 직접 건들이는거라 1인 1모델일때만 가능하다고

[익명(125.134)]

아 현재 그림 AI 모델들이 스테이블 디퓨전 내의 작동모델에서는 로라사용이 가능하지만 면웹에서 제공하는 그림AI들은 로라사용이 불가능한것과 똑같은 맥락인가

[익명(125.134)]

아 그러면 저 모라라는 미세조정 기술을 상용보급화 하기위한 방법이 없을까 출력할때만 어뎁터만 일시적으로 연결하는 방법은 안되는거임?

[익명(125.134)]

각각의 유저에게 "연결 어뎁터가 달려있는 개인 학습 커스텀 모라" 를 제공하고 GPT-5 에 입력호출을 할때마다 일시적으로 이 기본모델에 커넥트와 디스커텍트를 끊임없이 하는 방법으로 하면 1인1모델 아니라도 사용가능할거같은데

[익명(119.197)]

애초에 너가 잘못 이해한듯. 저 모라는 기억하고는 전혀 관계없음. 같은 가중치로 출력할때만 답변이 다르도록 하는게 지금의 시스템 프롬프트

[익명(125.134)]

아그러니까 저기다가 이전 컨텍스트 기록을 때려박는다 해도 기억장치로서 활용할 수 없다는거지?

[익명(125.134)]

그러면 결국 장기기억은 구글의 인피니 어텐션으로 귀결되는군 파인튜닝은 모라고 장기기억은 인피니 어텐션이네

[익명(125.134)]

그런데 모라를 위해서 1인1모델은 너무 과대해석한거같고 디스커넥트 기법을 이용해서 충분히 모델복사없이 사용가능할듯

[익명(58.29)]

장기기억력 좋아지는거임? - dc App

[익명(125.134)]

좋아지는 정도가아니라 무한기억인데?

[천사다천사(jjtheman999)]

노력추 감사추 - dc App

[익명(124.56)]

그럼 bing에도 적용?

[익명(125.134)]

외부도메인에 연결된 모델은 사용할 수 없을것임 아마 API로 지원할걸

[초존도초(htr3c654r6ft)]

외부기억장치 용도로 사용되려면 학습 방법 자체에서 돌파구가 필요함.. 현재의 트랜스포머 학습 방식인 채로 어댑터 끼고 학습시키면 일단 정확도면에서 개차반남 클로드 금문교처럼 장애인 탄생함 그걸 어느정도 방지하려면 꽤 많이 학습시켜야 하는데 모라는 로라보다 훠어어얼씬 오래 학습시켜야 하므로 지금 당장에 적용시키는 건 에바인 듯 - dc App

[디시콘발사대(fcbjsjmu1t9f)]

[익명(125.134)]

장기기억은 구글의 인피니 어텐션이 정답인거 같고 모라는 미세조정 용도로만 사용해야 할 듯

[익명(125.134)]

야 너 댓글이나 게시글 쓰는거 봤는데 꽤 박식한거 같은데 인피니 어텐션 그거 원리가 뭐냐? 기존 어텐션 상태를 저장한다는 개념이 잘 이해가 안감

[익명(125.134)]

가용토큰내에 저장했을때의 출력품질과 어텐션에 저장했을떄의 출력품질도 동일함?

[초존도초(htr3c654r6ft)]

쉽게 말하면 어텐션에 쓰이는 Key랑 Value 벡터의 정보를 계속 선형적으로(덧셈연산) 쌓으면서 기억해놓고 있다가 필요할 때에 RNN에서 히든스테이트처럼 불러와서 사용하는 거임 여기서는 현재의 Query를 이용해서 기억을 끄집어내는 거 - dc App

[초존도초(htr3c654r6ft)]

출력품질이 뭘 말하는지 잘 모르겠는데 일단 KV 선형 연산이 아무래도 선형이기 때문에 현재 상태의 쌩 노멀 어텐션보다는 정보 상태가 흐릿하다고 할 수 있기에 비교적 정확하진 않을 거임 아 참고로 위에서 과거의 KV와 더불어 현재의 쌩 어텐션을 적절히 섞은 걸 다음 출력으로 내보냄 그 섞인 비율은 학습가능한 파라메터로 학습하고 - dc App

[초존도초(htr3c654r6ft)]

KV선형 연산이란 건 대충 이런 거 (KV)_n - (KV)_n-1 - (KV)_n-2 ... - dc App

[익명(125.134)]

너 이거 어떻게 알고 있는거임

[익명(125.134)]

전공자임?

[초존도초(htr3c654r6ft)]

ㄴㄴ 유투브 보니까 설명 잘해놓은 사람들 많던데.. 난 걍 취미로 항상 어떻게 하면 AGI만들까 공부하고 이것저것 해보는 정도 - dc App

[익명(125.134)]

'Key랑 Value 벡터의 정보를 계속 선형적으로(덧셈연산) 쌓으면서 기억해놓는 공간' 이 구글에서 말하는 '압축 메모리' 임?

[초존도초(htr3c654r6ft)]

ㅇㅇ 논문 보면 M으로 표기되어 있음 압축된 메모리 공간 - dc App

[익명(125.134)]

"최대 5K 시퀀스 길이의 암호 키 인스턴스에 대해 미세 조정된 1B 모델은 1M 길이 문제를 성공적으로 해결했습니다." 쌩 어텐션 상태와 대비되는 '정보의 흐릿함 문제' 는 생각보다 큰 걸림돌이 아닌거 같음 긴 컨텍스트에 요구되어지는 벤치마킹 테스트 에도 통과했다는거보면

[익명(125.134)]

"쌩 어텐션 상태에 부과되는 토큰소실률" 과 "KV선형 덧셈연산에서 발생되는 '정보의 흐릿함 문제'" 에 대한 비교분석 에 대한 정보가 나와봐야알듯

[익명(125.134)]

토큰 소실 감안하면 차라리 KV선형 덧셈연산 형식의 정보저장방식을 선택하는게 더 좋을지도 .. ?

[익명(175.124)]

아 개추박았는데 댓글보니 내용 틀렸나보네

[익명(220.68)]

모라 살펴보니까 아직은 못쓰겠던데... 근데 대중한테도 발표됐다는건 오히려 이미 뒤에서 씹고 뜯고 맛보고 즐겼다는 뜻이기도 해서 지켜봐야됨 ㅇㅇ

[익명(175.214)]

비트넷 꼴 날지 누가 알아? 실적용 되기 전까진 별 기대가 안되네

[익명(49.142)]

또 다른 비트넷

[익명(210.110)]

[익명(221.159)]

젠장 또 특들갑이야

[익명(qpalzm0147)]

ai 울트론이네. 이것저것 다 흡수함

[포스트휴먼.(ysoo75430)]

[ㅇㅖㅇㅏ(pinterest123)]

모라..는지 모르겠어 설명좀

[익명(49.142)]

논문이랑 코드 공개해놨는데 뭔 마소 openai만 쓸수있는 기술인거마냥 써놨노

[익명(125.134)]

난 한번도 마소랑 OAI 만 사용할 수 있는 기술이라고 말한적이 없는데

[익명(49.142)]

치타가 내세우는 장점마저 눌러버림 <- 뭐 어쩌라고? 치타도 그거쓰면 되는데

[익명(14.46)]

더이상 치타만의 장점이 아니라는 말로 이해했는데

[익명(ckeks30dlf)]

한국어로 이야기해 씹년아 아 이게 한국어던가