밑에 유동 친구가 옛날 글 하나 파묘해와서
오랜만에 봤는데
attention을 "집중"이라고 번역해서
그거가지고 좀 예뻐해줬던 게
아직도 기억이 나네
https://gall.dcinside.com/board/view/?id=programming&no=2797040
AI글 가져온게 아님. 내가 읽고 번역한거임. 반박해봄.이게 너가 날 깐 증거임무한 집중이라는 문장 자체가 내가 임의로 번역한거당연히 비전공이기때문에 초록이랑 내용만 읽고나서 비전공이기때문에 문맥에 따른 내용으로 알 수 있어서 하는 말임.그럼 AI 검사기로 85% 나왔다?gall.dcinside.com굳이 파묘까지 할 생각은 없었는데
마침 내 분야가 나오니까 그냥 가볍게 한번 짚고 감.
왜 쌉소리인줄 알았냐면
transformer 모델에서 나오는 attention은 한국어로 번역하는 "집중"의 의미가 아니라
하나의 모델(아키텍처)이기 때문에
고유명사로 사용됨.
(ref: https://arxiv.org/pdf/1409.0473)
(ref: https://arxiv.org/abs/1706.03762)
transformer 안에서는 attention block이라고도 하는데 transformer의 핵심 같은 역할을 하지.
그래서 attention을 "집중"이라고 번역하는 거부터가 이미
attention을 모르는 거임.
attention을 안다면 당연히 이를 고유명사로 사용했겠지?
업계 일하면서 단, 한번도 attention을 집중이니 주의니 이렇게 말하는 사람 ㄹㅇ 한번도 못봄.
그런데 attention이 뭔지도 모르는 애가 해주는
transformer 리뷰?
당연히 제대로된 소리가 있을 리가 없지.
(혹시나 싶어서 원 글도 찾아봤으나 찾을 수가 없고
위에 올려둔 링크의 글은 말같지도 않은 해명만 있음.)
그리고 애초에
구글 연구진이 만든거긴 한데
학회 억셉된 논문도 아님.
왤케 마이너한 논문을 가져오는지
"이해가 안되노"
참고로 본문의 논문을 대충 요약하자면 transformer는 원래 입력 문장을 한번에 처리하는데 이러면 문장이 길어질수록 연산량이 기하급수적으로 늘어나니까 입력을 일정 토큰마다 짜름. 이것을 segment라고 명명함. ex) segment1 (토큰1~2048) segment2 (토큰 2049 ~ 4096) ... 그리고 나눈 segment를 순차적으로 attention block에 넣는데 이러면 1번 segment를 연산하고 그 다음 2번 segment를 연산하겠지?
이때 1번 segment에서 연산한 결과물(Key * Value)을 기존 Transformer-XL (attention is all you need에 나오는 transformer 아님)에서는 버리지만 infini-attention에서는 고정된 matrix로 만든 다음(압축) 2번 segment 연산 결과에다가 붙힘. (그리고 이 과정을 Retrieve 라고 칭하며 이런식으로 뒤쪽 segment에까지 앞쪽에 있던 memory를 유지시키는 거) 뭔가 아키텍쳐가 LSTM 같네
@ㅇㅇ(124.48) 아하 논문 요약 감사! 어떤 내용인지 알아야 지나가는 사람들도 논제를 이해할 수 있을테니까. 공부해보면 재밌을거 같은 내용임
노? 신고합니노
학회에서 발표는 안했지만 파급력은 꽤 높았던 논문으로 알고 있는데 나는 모델 관련 논문은 거의 안 읽지만 저 제목은 들어본거 같음
신기하게도 저거 구현한 사람이 한국인이네
https://github.com/Beomi/InfiniTransformer/tree/main/infini_llama
@ㅇㅇ(124.48) 저거 1저자인지 교신저자인지 노벨상 받은 사람 아니냐 그 연구팀에 한국인 있어서 공저자로 논문에 참여했다고 들었는디
무현 집중
예아 안될거 뭐 있노
ㅆㅇㅆ가 그냥 Ai 번역에 의존했다는 사실을 밝혀준 글
맞음. 그냥 ai가 번역해준 글을 나열했을 뿐임. 원 글을 찾지는 못했으나 본문의 글 일부를 봤을 때에도 그냥 abstract를 따라 읽는 수준이지 이해를 해서 설명하는 영역이 아니었음.