[일반] 지금 LLM 방식이 매번 컨텍스트 전체를 연산하는 거 아님?

[애웅스(disabled3714)]

처리 가능한 컨텍스트만 무식하게 늘려봐야 가중치 개념이 없으면 말짱 꽝이지?

[갉달비(secure2924)]

ㅇㅇ 그래서 지금은 기억력이 사실상 제로임

[갉달비(secure2924)]

말짱 꽝은 아닌게 컨텍스트가 점점 길어지고 있고 그 안에서 정보를 많이 활용하고 있는 비율도 늘어나고 있어서 충분히 의미는 있는듯

[애웅스(disabled3714)]

로컬에서는 컨텍스트를 늘리는 것보다 컨텍스트를 동적으로 관리해주는 능력이 훨씬 중요할 것 같아서 먼가 아쉬움

[ㅇㅇ 1(14.38)]

'처리 가능한'의 기준에 따라 다르겠지

[애웅스(disabled3714)]

읽는 데이터 양이 많아도 다 똑같은 토큰 취급하고 그 중에 더 중요한 부분을 파악하지 못하는 거 같아서

[ㅇㅇ 2(219.255)]

치매환자임

[애웅스(disabled3714)]

내 chat history를 잊어버린거니

[개발용더미(sy1mn1t4y83k)]

가중치라는게 무슨말인지 모르겠지만 매 순간 새로들어오는 거랑 같지

[애웅스(disabled3714)]

그러니까 우리는 A를 제일 중요한 원칙으로 하고 나머지 B, C를 처리한다면 LLM은 ABC 모두를 다 똑같은 토큰으로 보잖아 말하자면 처리하는 컨텍스트 중에서 더 중요하게 보고 덜 중요하게 보는 그런 게 없다는 거

[개발용더미(sy1mn1t4y83k)]

아주 없지는 않음 프롬프트 엔지니어링 관련 조언들 보면 가장 ai 모델별로 중요한 정보를 어디에 배치하는 것이 성능에 주요한가 같은거 분석되고 그러긴함. 예를들면 클로드 같은 경우는 마지막에 가장 중요한 내용을 적는게 효과가 좋다거나 뭐 그럼..

[바다기린(hancomputer)]

지금도 가중치 있고 맨위(테마)랑 맨 아래 정보(가장최신인풋)임

[ㅇㅇ 3(211.52)]

이미 잇고 ㅡㄱ게 핵심 기술인데 먼소리야