[일반] api 쓸줄 아는 사람 있음?

[익명(pf8zrgqaxruh)]

api 호출 종료되면 컨텍스트 다 날아간다고 해서

서버 만들어서 호출 중인 상태로 계속 놔두게 하면 되지 않을까 생각했거든?

근데 잼민이 한테 물어보니까 호출 해놓고 비활성 상태로 오래 냅두면 강제로 호출 종료 해버릴수도 있다고 설명함

얘 말대로 진짜 오래 놔두면 강제로 종료시켜버림?

이게 사실이면 서드파티 서비스들은 사용자들이 갑자기 ai가 치매 걸렸다고 욕 존나 할거 같은데?

[야하이잇(dignity123)]

호출 종료해도 그냥 컨텍스트로 기존 입력 다시 넣어주면 되는거잖아

[야하이잇(dignity123)]

캐싱 해둔게 깨져버리긴 하겠지만 컨텍스트가 날아간다고 하는게 이해가 안되는데

[익명(pf8zrgqaxruh)]

호출 종료하면 토큰 다시 0부터 시작하는거 아님?

[ㅇㅇ 1(121.165)]

뭔 말이지 걍 윗댓대로 하면 되는 거 아님?

[익명(59.1)]

종료안되게 막을수있을거같은데 왠지 1토큰씩 써야할것같다 자동으로 응답시키면될듯

[익명(kimkm2121)]

그게아님. 모든대화 히스토리를 db나 적당한데 저장해놓고 api 호출할때마다 모든대화 히스토리를 같이 보내야함 - dc App

[익명(pf8zrgqaxruh)]

그방법밖에 없나? 토큰단위로 연속성 유지 안되는건 좀 짜치는데...

[익명(kimkm2121)]

@ㅇㅇ 공식 앱들도 다 같은방식으로 작동함. 대화 히스토리는 자체적으로 보관해놓도록 구현되어 있을꺼임 - dc App