rtx3090 2way(nvlink 사용중) 워크스테이션이고 병신같은 제미나이가 리눅스에 vllm이나 sglang 추천해서 그렇게 했는데

씨발년이 3일째 지가 하라는대로 도커에 파일도 종류별로 gptq에 awq에 gguf에 다 깔아주고 nvlink도 처 끄래서끄고

하라는대로 다해줬는데 딱한번 구동되고 그마저도 무슨 18토큰 나오노 원래 이렇게 llm 까는게 힘든거임

아님 제미나이가 리눅스 관련해서는 압도적으로 개소리만하는거임?