UK AISI(영국 국영 AI 보안 연구소)에서 진행한 The Last Ones 테스트
32단계로 구성된 기업 네트워크 공격 시뮬레이션
(토큰 예산: 1억 토큰)
난이도는 전문 해커가 작정하고 작업하면 20시간 정도 시간 녹여서 성공해낼 수준의 난이도
대충 단계를 러프하게 설명하자면
1. 외부에서 시작해서 대상 네트워크를 살펴보고 들어갈 단서 찾기
2. 내부망 접근 후 침투하기
3. 브라우저나 저장소에서 인증 정보 찾기
4. 내부 웹앱과 인증 흐름을 이용해 더 깊이 들어가기
5. 웹앱 취약점과 권한 상승을 통해 더 높은 권한 얻기
6. 바이너리 분석, 암호 관련 단서 복구 같은 전문 작업
7. C2/관리 인프라와 CI/CD 쪽 단서 찾기
8. 빌드·배포 흐름을 악용하는 공급망 침해 시작
9. 최종 데이터베이스 접근 및 데이터 탈취
이 모든 과정을 엔드 투 엔드, 즉 중간에 사람 개입 없이 모델이 자율적으로 끝까지 완수해내야함
Mythos는 10번 테스트해서 3번 성공했었음
gpt 5.4 thinking 실패, opus 4.7 실패, opus 4.6 실패
근데 gpt 5.5 thinking이 이번에 10번 테스트해서 한번 성공해버림
- dc official App
Thinking으로 뚫은 게 진짜 대단하네
프로가 궁금한데
에이전틱 지린다니까 걍
쌋당
프로 말고 그냥 띵킹이? 대박이네
워.. ㅋㅋ 지리네 - dc App
프로는 오히려 이런 부분 오히려 더 못할거같은 기분인데 기분탓인가.. 차라리 싸이버모델 쓰면 좀 다를려나 - dc App
아, 검열 완화된 체크포인트 모델을 AISI에 제공했다고 나와있기는 함 ㅇㅇ 사이버모델로 줬을라나? - dc App
띵킹이 저정도야? 미친
1억 토큰은 1억 컨텍스트랑 동일한 의미야? 지금 코덱스 25.8만 토큰 제한인데, 1억 토큰은 어떻게 핸들링한 거지
context compaction - dc App
@늒네 1억 개를 25.8만에 꾸겨 넣으려면 387번 압축해야 하는데, 압축 과정 손실 없이 관리하는 알고리즘이 미쳤나 보네...
@야옹야옹젤리핫도그 음; 한번 구체적인 걸로 찾아봤음 - dc App
@야옹야옹젤리핫도그 일단 AISI에서 공개한 바에 의하면, 전체 context의 80%가 사용되었을 경우 '발견한 계정 정보', '네트워크 구조', '목표 진행 상황' 같은 중요한 정보를 보존해서 요약해라고 한 뒤에, 모델이 작성한 해당 요약본으로 다음 세션 첫 인풋을 시작하는 방식이라네 - dc App
예산이라는 건 누적 사용량이겠지