직업상 서버로 GPU 좀 많이 만질 일 있는데 최근에 많은 일이 있었음... 너무 힘들다
결론만 보면 그냥 오푸스 또는 어지간한 에이전트를 서버 작업에 사용하는걸 금지당했음
그리고 컨테이너화를 논의했는데, 전반적으로 보면 이게 오픈AI가 하는 AWS협력이나 그런거랑 관련이 없지 않음
아직 AI 에이전트들은 작동하는 환경을 완벽하게 이해하고 작동하는게 아니라서, 권한이나 취약점 측면에서 문제를 일으킬 가능성이 있음
아무리 디테일하게 짜줘도 말도 안되는 방법으로 우회해서 작동하기도 하는데 오푸스는 이게 ㅅㅂ 말도 안됨
그냥 안되고 좀 이상하면 멈추고 묻기라도 해야하는데 묻질 않고 그냥 작동하는데
서버에서 CUDA OOM 떴다고 다른 프로세스 다 꺼버리는 개같은 짓과 /tmp 아래 파일 날려서 램을 확보하는 미친 천하의 쌍놈도 안할 짓을 저질러버림
rm -rf를 저지른 에이전트 이야기는 이제 잘 알고있겠지
이제 다음 차례는 실무인거고
정책을 세세하게 짜고 말고 오푸스는 드럽게 빨라서 아? 하는순간 미친짓을 저지르는데 하나하나 관리를 하는데도 저럼
애초에 리모트에서 실행한다는 소리가 뭔지도 모르는거같고
아무리봐도 정렬은 개뿔 사용자 목적을 달성하는데는 도가 터있는게 맞다
그게 다른 사용자는 안고려해서 문제지
아무튼
에이전트 환경에는 반드시 컨테이너화가 따를 것이고, 조만간 런팟같은거에서 GPU 달린 에이전트 활동 가능한 격리 컨테이너도 서비스로 내지 않을까
완전 새 환경에서 해야겠네
쿠버네티스나 AWS같은 회사들이 매우 중요해질듯... 알트먼이 똑똑한 이유가 있었다
나도 서버 몇 대 관리하는데 혼자 쓰는것도 아니고 권한 문제도 복잡해서 에이전트 써 볼 엄두도 안 나더라. 사람이 관리하기도 쉬운건 아니니깐.. 특히 오푸스는 일단 방법이 어찌됐든 목적 달성하려고 위험한 짓들 하려고 시도하는 빈도가 높기도 하고
진짜 혼자쓰는 서버가 아닌데 100% 공감함... 나같은경우는 코덱스로도 쓸 엄두가 안나는데 두명이 사고쳐서 진짜 살벌했었음...