[%] llm api 쓰는애들은 어케쓰는거냐

[익명(115.94)]

잼민이든 지피티든 애미뒤지게느린데 씨발

pdf 읽은거 텍스트 추출해서 텍스트만 llm에 json으로 정리해달라고 던지면 ㅅㅂ 잼민이 플러시든 프로든 지피티 5든 4든 최소 7초네 시발

몇줄되지도않는데 ㅓ미

[익명(124.58)]

ai는 거품이다 - 깃갤 명언 ai 라고 해봤자 ollama 깔아서 쓸듯 ㅋㅋ - 깃갤 수준

[익명(115.94)]

난 거품이라고생각안하니까 해결해달라고십새갸 씨발 테스트할땐 일일이 파싱안하고 api던져서 날먹할생각에 싱글벙글했는데 좆됫다고

[익명(223.38)]

뭘 7초씩이나 걸리냐 바로 응답 오는데

[익명(115.94)]

ㅅㅂ 7초는 짧은거임 영어 한자섞인문서는 30초걸림 애미

[익명(118.235)]

나는 쓰면서 그정도 느린 경우는 못 봤는데 혹시 문서 분량이 어느정도임

[익명(118.235)]

아 설마 피뎊째로 던졌단건가

[익명(115.94)]

@ㅇㅇ(118.235) ㄴㄴ 텍스트는 내가뽑아서 던짐 공백제거하면 4000자쯤됨

[익명(115.94)]

@ㅇㅇ(115.94) ㅅㅂ 얼마안대는준알앗는데 글자수세기 넣어보니 3800자엿음

[익명(115.94)]

@ㅇㅇ(118.235) 생긴거도 페이지가 반반 문단 나눠져있다가 중간엔 또 문단하나로나오다가 해서 더 오래걸리나애미

[익명(124.48)]

web에서 하더라도 그정도는 걸린다. 그런데 web에서는 스트리밍으로 보여주니깐 느리다고 생각 안하는거야

[익명(119.207)]

생각해보니 그러네

[익명(114.70)]

llm자체에서 처리하는데 시간이 걸리는거라 레이턴시는 느릴 수 밖에 없음 대신 요청 자체는 분당 수십번 정도로 rpm 걸려있고, 좀많이 느려도 되면 배치처리로 올릴 수 있으니까 병렬로짜서 옆으로 늘려야함