[일반] 2백만 토큰 <- 이거 뭔가 이상함

[익명(1.241)]

실제로 그만한 분량을 신경망으로 기억하는게 아니라

그냥 어딘가에 데이터 그대로 저장해놓고

어떤 질문을 하면 그것과 관련된 내용만 찾는 느낌임

반면에 o1은 토큰은 적을지언정 전부다 기억해두고

답변할때 전체 내용을 다 고려해서 답하는 느낌임

이거 기분탓이냐

[익명(222.101)]

대충 2~3만토큰이 한계인 거 같던데

[익명(shore1232)]

3만토큰 정도가 한계임

[익명(hotkey02)]

그럴 수도 있음 내용 따로 저장하고 질문에 대해 사용할 내용을 뽑는 ai를 만들고 거기서 뽑은걸 넘기는 구조로 구현 했을듯