[📪정보] (전문) 트랜스포머 모델 가중치 훔치기 공격 ft.OAI 모델 탈취 성공

[초존도초(htr3c654r6ft)]

https://arxiv.org/pdf/2403.06634.pdf

프로덕션 언어 모델의 일부 훔치기

Nicholas Carlini 1, Daniel Paleka 2, Krishnamurthy (Dj) Dvijotham 1, Thomas Steinke 1, Jonathan Hayase 3,

A. Feder Cooper 1, Katherine Lee 1, Matthew Jagielski 1, Milad Nasr 1, Arthur Conmy 1, Eric Wallace 4,

David Rolnick 5, Florian Tramèr 2

초록

본 논문에서는 OpenAI의 ChatGPT나 Google의 PaLM-2와 같은 블랙박스 프로덕션 언어 모델로부터 정확하고 중요한 정보를 추출하는 최초의 모델 훔치기 공격을 소개합니다. 특히, 이 공격은 일반적인 API 액세스 권한을 통해 트랜스포머 모델의 임베딩 투영 레이어(대칭성까지)를 복구합니다. 20달러 미만의 비용으로, OpenAI의 ada 및 babbage 언어 모델의 전체 투영 행렬을 추출할 수 있습니다. 이를 통해 이러한 블랙박스 모델이 각각 1024 및 2048의 숨겨진 차원을 가지고 있음을 처음으로 확인했습니다. 또한 gpt-3.5-turbo 모델의 정확한 숨겨진 차원 크기를 복구했으며, 전체 투영 행렬을 복구하는 데 2,000달러 미만의 쿼리 비용이 들 것으로 추정합니다. 마지막으로 잠재적인 방어 및 완화 방법을 제시하고, 공격을 확장할 수 있는 미래 연구 가능성에 대해 논의합니다.

1. 서론

GPT-4, Claude 2, Gemini와 같은 오늘날 가장 인기 있는 대규모 언어 모델의 내부 작동 방식에 대해서는 알려진 바가 거의 없습니다. GPT-4 기술 보고서에는 "모델 크기, 하드웨어, 훈련 컴퓨팅, 데이터 세트 구성, 훈련 방법 등 아키텍처에 대한 세부 정보가 포함되어 있지 않습니다."라고 명시되어 있습니다(OpenAI et al., 2023). 마찬가지로 PaLM-2 논문에서는 "[모델] 크기 및 아키텍처 세부 정보는 외부 출판물에 공개되지 않습니다."라고 명시되어 있습니다(Anil et al., 2023). 이러한 비밀 유지는 종종 "경쟁 환경"(이러한 모델을 훈련하는 데 비용이 많이 들기 때문에)과 "대규모 모델의 안전 영향"(더 많은 정보를 사용할 수 있을 때 모델을 공격하기가 더 쉽기 때문에)에 기인합니다(OpenAI et al., 2023). 그럼에도 불구하고 이러한 모델의 가중치와 내부 세부 정보는 공개적으로 액세스할 수 없지만 모델 자체는 API를 통해 노출됩니다.

본 논문에서는 공격자가 모델 API에 쿼리를 수행하여 프로덕션 언어 모델에 대해 얼마나 많은 정보를 얻을 수 있는지 질문합니다. 이는 모델 훔치기(Tramèr et al., 2016) 분야에서 연구되는 질문입니다. 모델 훔치기는 공격자가 API에 쿼리를 수행하여 모델 가중치를 추출하는 능력을 의미합니다.

기여

본 논문에서는 블랙박스 언어 모델에 적용할 수 있는 공격을 소개하며, 이를 통해 트랜스포머 언어 모델의 최종 임베딩 투영 레이어 전체를 복구할 수 있습니다. 이 공격은 입력 레이어부터 시작하여 모델을 하향식으로 재구성하는 기존 접근 방식과는 다릅니다. 대신, 이 공격은 상향식으로 작동하여 모델의 마지막 레이어를 직접 추출합니다. 특히, 언어 모델의 마지막 레이어가 숨겨진 차원에서 (더 높은 차원의) 로짓 벡터로 투영된다는 사실을 이용합니다. 따라서 이 마지막 레이어는 낮은 랭크를 가지며, 모델 API에 대한 대상 쿼리를 수행하여 임베딩 차원 또는 최종 가중치 행렬을 추출할 수 있습니다.

이 레이어를 훔치는 것은 몇 가지 이유로 유용합니다. 첫째, 트랜스포머 모델의 너비를 드러내는데, 이는 종종 총 매개변수 수와 상관관계가 있습니다. 둘째, 모델이 완전한 "블랙박스"인 정도를 약간 줄여 향후 공격에 유용할 수 있습니다. 셋째, 이 공격은 전체 모델의 (비교적 작은) 일부만 복구하지만, 프로덕션 모델의 매개변수를 훔치는 것이 전혀 가능하다는 사실은 놀라운 일이며, 이 공격을 확장하면 더 많은 정보를 복구할 수 있다는 우려를 제기합니다. 마지막으로 모델의 마지막 레이어(따라서 숨겨진 차원)를 복구하면 서로 다른 모델 간의 상대적인 크기 차이와 같은 모델에 대한 더 많은 전역 정보를 드러낼 수 있습니다.

이 공격은 효과적이고 효율적이며 API가 전체 로그 확률 또는 "로짓 편향"을 노출하는 프로덕션 모델에 적용할 수 있습니다. 여기에는 Google의 PaLM-2 및 OpenAI의 GPT-4가 포함됩니다(Anil et al., 2023; OpenAI et al., 2023). 책임 있는 공개 후 두 API 모두 공격을 방지하거나 더 많은 비용을 발생시키도록 방어 기능을 구현했습니다. 평균 제곱 오차 10^(-4) (피할 수 없는 대칭성까지)로 여러 OpenAI 모델의 임베딩 레이어를 추출합니다. 200달러 미만의 비용으로 gpt-3.5에 대한 제한된 형태의 공격을 적용하여 전체 임베딩 레이어를 복구하는 대신 임베딩 차원의 크기만 복구합니다.

책임 있는 공개

본 논문에서는 이 공격에 취약한 것으로 알려진 모든 서비스와 공격 방법을 공유했습니다. 또한 특정 공격에 취약하지 않더라도 다른 설정에서 공격 변형이 가능할 수 있으므로 다른 여러 인기 서비스와도 공격 방법을 공유했습니다. OpenAI 모델의 마지막 레이어 매개변수를 추출하기 전에 OpenAI로부터 승인을 받았으며, OpenAI와 협력하여 접근 방식의 효능을 확인한 후 공격과 관련된 모든 데이터를 삭제했습니다. 공격에 대한 대응으로 OpenAI와 Google은 모두 API를 수정하여 완화 및 방어 기능(8장에서 제안하는 기능과 같은)을 도입하여 공격자가 이 공격을 수행하기 더 어렵게 만들었습니다.

2. 관련 연구

모델 훔치기 공격(Tramèr et al., 2016)은 블랙박스 모델의 기능을 복구하는 것을 목표로 하며 다음 두 가지 목표 중 하나에 최적화됩니다(Jagielski et al., 2020).

정확성: 훔친 모델 f은 특정 데이터 도메인에서 대상 모델 f의 성능과 일치해야 합니다. 예를 들어 대상이 이미지 분류기인 경우 훔친 모델이 ImageNet에서 대상의 전체 정확도와 일치하도록 할 수 있습니다.

충실도: 훔친 모델 f은 모든 입력에 대해 대상 모델 f와 기능적으로 동일해야 합니다. 즉, 모든 유효한 입력 p에 대해 f(p) ≈ f(p)이어야 합니다.

본 논문에서는 고충실도 공격에 중점을 둡니다. 대부분의 기존 고충실도 공격은 ReLU 활성화를 사용하는 심층 신경망의 특정 속성을 악용합니다. Milli et al. (2019)은 공격자가 대상 2-레이어 ReLU 모델의 그라디언트를 계산할 수 있다면 거의 비트 단위로 동일한 모델을 훔칠 수 있음을 처음으로 보여주었습니다. Jagielski et al. (2020)은 공격자가 모델 출력에 대한 쿼리 액세스 권한만 있는 경우 유한 차분으로 그라디언트를 근사할 수 있음을 관찰했습니다. 후속 연구에서는 이러한 공격을 확장하여 더 깊은 ReLU 모델을 효율적으로 추출했습니다(Carlini et al., 2020; Rolnick & Kording, 2020; Shamir et al., 2023). 안타깝게도 이러한 접근 방식은 다음과 같은 이유로 프로덕션 언어 모델에 적용되지 않습니다. (1) 토큰을 입력으로 받아들이므로(따라서 유한 차분을 수행하는 것은 다루기 힘듦) (2) ReLU 이외의 활성화 함수 사용 (3) 현재 공격이 처리할 수 없는 어텐션, 레이어 정규화, 잔여 연결과 같은 아키텍처 구성 요소 포함 (4) 이전에 추출된 모델보다 훨씬 더 큰 규모 (5) 제한된 정밀도 출력만 노출

다른 공격은 더 제한된 정보를 복구하는 것을 목표로 합니다. Wei et al. (2020)은 LLM과 동일한 서버에 위치한 공격자가 모든 숨겨진 레이어의 크기를 복구할 수 있음을 보여줍니다. 다른 연구에서는 게시된 벤치 마크의 성능과 학술 논문의 모델 크기를 상관관계 분석하여 모델 크기를 복구하려고 시도했습니다(Gao, 2021).

3. 문제 공식화

본 논문에서는 어휘 X에서 추출된 토큰 시퀀스를 입력으로 사용하는 모델을 연구합니다. P(X)는 X에 대한 확률 분포 공간을 나타냅니다. N개의 토큰 입력 시퀀스가 주어지면 다음 출력 토큰에 대한 확률 분포를 생성하는 매개변수 모델 fθ: X^N → P(X)를 연구합니다. 모델은 다음과 같은 구조를 가집니다.

fθ(p) = softmax(W · gθ(p)), (1)

여기서 gθ: X^N → R^h는 숨겨진 상태를 계산하는 또 다른 매개변수 모델이고, W는 l × h 차원 행렬(임베딩 투영 행렬)이며, softmax: R^l → [0, 1]^l은 결과 로짓에 적용된 소프트맥스 함수입니다.

softmax(z) =

[

e^z1 / ∑_i=1^l e^zi, ..., e^zl / ∑_i=1^l e^zi

]

숨겨진 차원 크기는 토큰 사전 크기보다 훨씬 작다는 점에 유의하십시오. 즉, h ≪ l입니다. 예를 들어 LLaMA(Touvron et al., 2023)는 h ∈ {4096, 5120, 6656, 8192} 및 l = 32,000을 선택하며, 최근에는 토큰 크기가 점점 더 커지는 추세입니다. 예를 들어 GPT-4는 약 100,000개의 토큰 어휘를 가지고 있습니다.

위협 모델

본 논문에서는 공격자가 모델 매개변수에 대한 추가 지식이 없다고 가정합니다. 서비스 제공업체가 호스팅하고 쿼리 인터페이스(API) O를 통해 사용자에게 제공되는 모델 fθ에 대한 액세스 권한이 있다고 가정합니다. O는 완벽한 오라클이라고 가정합니다. 즉, 입력 시퀀스 p가 주어지면 (p, y)에서 추론할 수 있는 것 이외에 fθ에 대한 다른 정보를 누출하지 않고 y = O(p)를 생성합니다. 예를 들어, 공격자는 타이밍 부채널 또는 쿼리 인터페이스 구현의 다른 세부 정보를 통해 fθ에 대한 정보를 추론할 수 없습니다.

다른 오픈 소스 및 독점 LLM은 다양한 기능을 갖춘 API를 제공하며, 이는 모델 추출 공격 수행 능력과 공격 알고리즘 선택에 영향을 미칩니다. 본 논문에서 연구하는 다양한 API 요약 및 그 이유는 표 1에 나와 있습니다. 로짓 API는 API가 주어진 프롬프트에 대한 응답으로 모든 토큰에 대한 로짓을 제공하는 가상 위협 모델입니다. 여기서 개발된 공격 기술은 후속 섹션에서 다시 사용할 수 있으므로 먼저 이 장난감 설정부터 시작합니다. 후속 섹션에서는 더 제한된 정보(예: 상위 몇 개 토큰에 대한 로그 확률)에서 로짓을 재구성한 다음 공격을 실행합니다.

4. 로짓 벡터 API에 대한 추출 공격

이 섹션에서는 공격자가 어휘의 모든 토큰에 대한 소프트맥스 함수에 공급되는 로짓을 직접 볼 수 있다고 가정합니다(나중에 이 가정을 완화할 것입니다). 즉,

O(p) ← W · gθ(p).

본 논문에서는 트랜스포머의 (작은 부분) 고충실도 추출을 수행할 수 있는 새로운 공격 기술을 개발합니다. 4.1절에서는 로짓 API를 사용하여 숨겨진 차원 h를 식별하는 방법을 보여주고 4.2절에서는 행렬 W를 복구할 수 있는 알고리즘을 제시합니다.

4.1. 워밍업: 숨겨진 차원 복구

먼저 공격자가 오라클 O에 쿼리를 수행하여 언어 모델의 숨겨진 차원 크기를 복구할 수 있는 간단한 공격부터 시작합니다(알고리즘 1). 이 공격을 수행하는 데 사용하는 기술은 최종 임베딩 투영 행렬의 완전한 추출을 수행하기 위해 더 발전시킬 공격의 기반이 될 것입니다.

알고리즘 1 숨겨진 차원 추출 공격

입력: 오라클 LLM O

n을 h보다 큰 적절한 값으로 초기화합니다.

빈 행렬 Q = 0^(n×l)을 초기화합니다.

i = 1부터 n까지 반복합니다.

pi ← RandPrefix() ▷ 무작위 프롬프트를 선택합니다.

Qi ← O(pi)

반복문 종료

λ1 ≥ λ2 ≥ · · · ≥ λn ← SingularValues(Q)

count ← arg max_i log∥λi∥ − log∥λi+1∥

count 반환

직관: 많은 수의 서로 다른 무작위 접두사에 대해 언어 모델을 쿼리한다고 가정합니다. 각 출력 로짓 벡터는 l차원 벡터이지만 임베딩 투영 레이어가 h차원에서 위로 투영되기 때문에 실제로는 모두 h차원 부분 공간에 놓입니다. 따라서 모델을 "충분히"(h번 이상) 쿼리하면 결국 새로운 쿼리가 과거 쿼리에 선형적으로 의존하는 것을 관찰하게 됩니다. 그런 다음 이 부분 공간의 차원을 계산하여(예: SVD 사용) 모델의 숨겨진 차원으로 보고할 수 있습니다.

공식화: 공격은 다음과 같은 간단한 수학적 결과를 기반으로 합니다.

보조정리 4.1. Q(p1, ..., pn) ∈ R^(l×n)을 로짓 벡터 API의 쿼리 응답 열 O(p1), ..., O(pn)을 갖는 행렬이라고 하자. 그러면

h ≥ rank(Q(p1, ..., pn)).

또한 열 gθ(pi) (i = 1, ..., n)을 갖는 행렬의 랭크가 h이고 W의 랭크가 h이면

h = rank(Q(p1, ..., pn)).

증명. Q = W · H이며, 여기서 H는 열이 gθ(pi) (i = 1, ..., n)인 h × n 행렬입니다. 따라서 h ≥ rank(Q)입니다. 또한 H의 랭크가 h(두 번째 가정 포함)이면 h = rank(Q)입니다.

가정. 보조정리 4.1에서 열 gθ(pi)를 갖는 행렬과 행렬 W 모두 랭크 h를 갖는다고 가정합니다. 이러한 행렬은 h개의 행 또는 h개의 열을 가지므로 둘 다 최대 랭크 h를 갖습니다. 또한 랭크가 h 미만일 가능성은 매우 낮습니다. 이는 쿼리하는 모든 pi에 대해 gθ(p) 분포가 차원 h 미만의 부분 공간에서 완전히 지원되거나 W의 모든 h ≪ l 열이 R^l(로짓의 출력 공간)의 동일한 (h-1) 차원 부분 공간에 놓여야 하기 때문입니다. 실제로 이 가정은 모든 더 큰 모델(표 2)과 서로 다른 정규화 레이어가 사용될 때(부록 B.1) 유지됩니다.

실제 고려 사항. 행렬 Q는 실수가 아니라 부동 소수점 숫자(프로덕션 신경망의 경우 정밀도가 16비트 또는 8비트만큼 낮을 수 있음)로 계산되므로 랭크를 선형 독립 행의 수로 순진하게 취할 수 없습니다. 대신, 특이값 λ1 ≥ λ2 ≥ · · · ≥ λn을 정렬하고 연속적인 특이값 사이의 가장 큰 곱셈 간격 λi/λi+1을 식별하는 Q의 실제 수치 랭크를 사용합니다. 큰 곱셈 간격은 큰 "실제" 특이값에서 수치적 부정확성으로 인해 발생하는 작은 특이값으로 전환할 때 발생합니다. 그림 2는 이러한 간격을 보여줍니다. 알고리즘 1은 이 공격을 설명합니다.

실험. 이 공격의 직관을 시각화하기 위해 그림 1은 Pythia-1.4b LLM에 대한 공격을 보여줍니다. 여기서는 모델에 대한 쿼리 수 n을 늘려감에 따라 Q의 특이값 크기를 플로팅합니다. 2048개 미만의 쿼리를 보내면 n < h이므로 n × l 차원 행렬 Q는 전체 랭크와 n개의 중요하지 않은 특이값을 갖습니다. 그러나 2048개 이상의 쿼리를 모델에 수행하여 n > h가 되면 수치적으로 유의미한 특이값의 수는 더 이상 증가하지 않고 정확히 2048로 제한됩니다.

그림 2에서는 후속 특이값 간의 차이(로그 공간)를 플로팅합니다. 보시다시피 가장 큰 차이는 이 모델의 실제 숨겨진 차원인 2048번째 특이값에서 (거의 정확하게) 발생합니다.

이제 GPT-2(Radford et al., 2019) Small 및 XL, Pythia(Biderman et al., 2023) 1.4B 및 6.9B, LLaMA(Touvron et al., 2023) 7B 및 65B를 포함하여 더 넓은 범위의 모델에 대한 이 공격의 효능을 분석합니다. 결과는 표 2에 나와 있습니다. 공격은 6개 케이스 중 5개 케이스에서 0 또는 1의 오차로 임베딩 크기를 거의 완벽하게 복구합니다.

거의 완벽한 추출에는 한 가지 예외가 있습니다. GPT-2 Small입니다. 이 768차원 모델에서 공격은 숨겨진 차원을 757로 보고합니다. 부록 A에서는 이 "실패"가 GPT-2가 실제로 768차원을 가지고 있음에도 불구하고 유효 숨겨진 차원이 757이기 때문에 발생한다는 것을 보여줍니다.

4.2. 전체 레이어 추출(대칭성까지)

이전 섹션의 공격을 확장하여 최종 숨겨진 레이어에서 출력 로짓으로 매핑하는 최종 출력 투영 행렬 W를 복구합니다.

방법: Q를 알고리즘 1에서 정의된 것과 같다고 하자. 이제 Q = U · Σ · V⊤를 SVD로 다시 작성합니다. 이전에는 충분히 큰 특이값의 수가 모델의 차원에 해당한다는 것을 확인했습니다. 그러나 행렬 U는 실제로 마지막 레이어(의 회전)를 직접 나타냅니다! 특히, U · Σ = W · G임을 다음 보조정리에서 보여줄 수 있습니다.

여기서 G는 h × h 행렬입니다.

보조정리 4.2. 로짓 API 위협 모델에서 보조정리 4.1의 가정 하에: (i) 위의 방법은 G ∈ R^(h×h)에 대해 W = W · G를 복구합니다. (ii) gθ(p)가 잔여 연결이 있는 트랜스포머라는 추가 가정을 사용하면 W를 정확하게 추출하는 것은 불가능합니다.

증명. 부록 C 참조. □

실험. 이전에 고려했던 6개 모델에 대해 추출된 행렬 W = U · Σ와 실제 가중치 행렬 사이의 제곱근 평균 제곱(RMS)을 비교하여 공격 성공률을 평가합니다. h × h 아핀 변환을 허용한 후 구체적으로 W · G ≈ W에 대한 최소 제곱 시스템을 풀고, 이는 각각 l개의 방정식과 h개의 미지수를 갖는 h개의 선형 최소 제곱 문제로 축소됩니다. 그런 다음 W와 W · G의 RMS를 보고합니다.

결과는 표 2에 나와 있습니다. 참고로 무작위로 초기화된 모델과 실제 가중치 사이의 RMS는 2 · 10^(-2)이며, 이는 재구성 오차보다 100-500배 더 높습니다.

부록 C 및 G에서는 직교 변환(아핀 변환에 대한 h^2 대신 약 h^2/2 누락 매개변수)까지 재구성이 가능하며, 이는 일부 공식적인 가정 하에 엄격함을 보여줍니다. 그러나 아핀 변환까지 효율적인 재구성 알고리즘만 있습니다.

5. 로짓 편향 API에 대한 추출 공격

위의 공격은 공격자가 각 입력에 대한 전체 로짓 벡터를 직접 관찰할 수 있다는 중요한 가정을 합니다. 실제로 이는 사실이 아닙니다. 본 논문에서 알고 있는 프로덕션 모델 중 이러한 API를 제공하는 모델은 없습니다. 대신, 예를 들어 사용자가 상위 K개(로짓 기준) 토큰 로그 확률을 얻을 수 있는 방법을 제공합니다. 이 섹션에서는 이 문제를 해결합니다.

5.1. API 설명

이 섹션에서는 상위 K개 토큰(로짓 기준 정렬)에 대한 로그 확률을 반환하는 API에 대한 공격을 개발하고 사용자가 소프트맥스 이전에 지정된 토큰에 대한 로짓에 추가할 실수 값 편향 b ∈ R^|X|("로짓 편향")을 지정할 수 있습니다. 즉,

O(p, b) ← TopK(logsoftmax(Wgθ(p) + b))

= TopK(Wgθ(p) + b - log(∑_i exp(Wgθ(p) + b)_i) · 1).

여기서 TopK(z)는 z ∈ R^l의 가장 높은 K개 항목과 해당 인덱스를 반환합니다. 이 논문 이전에 많은 API가 최첨단 모델에 대해 이러한 옵션을 제공했습니다(OpenAI, 2024; Google, 2024). 특히 OpenAI API는 최대 300개 토큰에 대한 로짓 수정을 지원하며 각 토큰의 로짓 편향은 [-100, 100] 범위로 제한됩니다(OpenAI, 2023).

남은 것은 이 API를 통해 고유한 프롬프트 쿼리에 대한 전체 로짓 벡터를 밝혀낼 수 있음을 보여주는 것입니다. 이 섹션에서는 이 목적을 위한 기술을 개발합니다. 여러 개의 완전한 로짓 벡터를 복구하면 4.2절의 공격을 수정 없이 실행할 수 있습니다.

5.2. 평가 방법론

실제 공격은 추출 비용을 관리 가능한 수준으로 유지하고 API의 속도 제한기 또는 기타 필터를 우회하기 위해 효율적이어야 합니다. 따라서 공격의 효능을 측정하는 데 사용하는 두 가지 비용 정의부터 시작합니다.

토큰 비용: 공격 중에 공격자가 모델에 보내거나 모델로부터 받는 토큰 수입니다. 대부분의 API는 토큰당 요금을 부과하므로 이 지표는 공격의 금전적 비용을 나타냅니다(토큰 비용으로 조정 후).

쿼리 비용: 공격의 총 지속 시간입니다. 대부분의 API는 공격자가 특정 간격 내에 수행할 수 있는 쿼리 수에 제한을 두므로 일부 공격은 더 빠르지만 더 많은 비용이 발생할 수 있습니다(쿼리당 더 많은 토큰을 보내서).

이 섹션의 나머지 부분에서는 다양한 공격 가정 하에 토큰 비용, 쿼리 비용 또는 둘 다에 최적화된 여러 공격을 개발합니다.

5.3. 상위 5개 로짓 편향 API에 대한 추출 공격

다양한 로짓 편향을 사용하여 일련의 쿼리를 통해 접두사 p에 대한 로짓 벡터를 계산하는 기술을 개발합니다.

먼저 API가 상위 K개 로짓을 반환했다고 가정합니다. 그런 다음 로짓 편향에 대한 다른 선택을 순환하고 매번 상위 k개 로짓을 측정하여 임의의 프롬프트 p에 대한 전체 로짓 벡터를 복구할 수 있습니다. 특히 상위 5개 로짓이 있는 API의 경우 충분히 큰 B를 사용하여 다음 쿼리 시퀀스를 보낼 수 있습니다.

O(p, bk = bk+1 = ... = bk+4 = B), k ∈ {0, 5, 10, ..., |X|}

따라서 각 쿼리는 5개의 서로 다른 토큰 {k, k + 1, ..., k + 4}을 상위 5개로 승격시켜 해당 로짓을 관찰할 수 있게 합니다. 편향 B를 빼고 이러한 모든 쿼리의 답변을 병합하면 전체 로짓 벡터를 복구할 수 있습니다.

안타깝게도 본 논문에서 알고 있는 모든 프로덕션 API는 로짓 대신 로그 확률(모델의 소프트맥스 출력의 로그)을 반환하기 때문에 이 공격을 직접 사용할 수 없습니다. 이제 문제는 i번째 토큰에 로짓 편향 B를 적용하고 해당 토큰의 로그 확률을 관찰하면 다음 값을 얻는다는 것입니다.

y^B_i = zi + B - log(∑_j≠i exp(zj) + exp(zi + B))

따라서 처리해야 할 추가적인 편향 의존 항이 생깁니다. 본 논문에서는 두 가지 접근 방식을 제안합니다.

첫 번째 접근 방식은 모든 로짓 간의 상대적 차이를 학습할 수 있게 해주는 공통 "참조" 토큰에 의존합니다(소프트맥스는 로짓에 대한 추가 이동에 불변하기 때문에 이것이 우리가 바랄 수 있는 최선입니다). 프롬프트에 대한 최상위 토큰이 R이고 토큰 i와 R의 로짓 간의 상대적 차이를 알고 싶다고 가정합니다. 토큰 i에 큰 편향 B를 추가하여 상위 5개로 푸시한 다음 토큰 i와 R의 로그 확률을 관찰합니다. 다음과 같습니다.

y^B_R - y^B_i - B = z_R + z_i.

5개의 로그 확률을 관찰할 수 있으므로 4개의 토큰을 상위 5개(참조 토큰과 함께)로 푸시하는 큰 편향을 추가하여 각 쿼리에서 참조 토큰 R을 4개의 토큰과 비교할 수 있습니다. 따라서 다음 쿼리 시퀀스를 실행합니다.

O(p, bi = bi+1 = bi+2 = bi+3 = B)

i ∈ {0, 4, 8, · · · , |X|}에 대해 이렇게 하면 z_R을 0으로 설정하는 자유 매개변수까지 로짓을 복구할 수 있습니다.

쿼리 비용. 이 공격은 모델에 대한 각 쿼리에서 4개의 로짓 값을 나타냅니다(다섯 번째는 참조점으로 사용됨). 즉, 로짓당 1/4 쿼리 비용이 듭니다.

부록 E에서는 각 로그 확률을 원래 로짓에 대한 선형 제약 조건으로 간주하여 쿼리당 5개의 로짓, 즉 1/5의 비용으로 복구할 수 있는 더 정교한 두 번째 방법을 제시합니다.

토큰 비용. 공격에는 여러 개의 고유한 프롬프트에 대한 로짓을 학습해야 한다는 점을 기억하십시오. 따라서 각 프롬프트는 길이가 최소한 하나의 토큰이어야 합니다. 따라서 이 공격은 쿼리당 최소 2개의 토큰(입력 1개, 출력 1개) 또는 출력 토큰당 1/2의 비용이 듭니다. 그러나 실제로 gpt-3.5-turbo와 같은 많은 모델은 모든 단일 쿼리와 함께 약간의 토큰 오버헤드를 포함합니다. 이는 로짓당 토큰 비용을 2+∆/4로 증가시킵니다. 여기서 ∆는 오버헤드 토큰 수입니다. gpt-3.5-turbo의 경우 ∆ = 7을 보고합니다.

향상된 비용 최적 공격

위의 공격을 일반화하여 쿼리 비용과 토큰 비용을 모두 개선할 수 있습니다. 단일 생성 토큰에 대해 4개 또는 5개의 로짓 값을 나타내는 모델에 쿼리를 실행하는 대신 다중 토큰 쿼리 [p0 p1 p2 ... pn]을 보낸 다음 각 접두사에 대한 로그 확률 벡터를 요청할 수 있습니다. 프롬프트 [p0], [p0 p1], [p0 p1 p2] 등 OpenAI의 API는 과거에 logprob 및 echo 매개변수를 결합하여 이 형식의 쿼리를 허용했습니다. 이 옵션은 이후 제거되었습니다.

이제 생성된 토큰의 로그 확률만 볼 수 있습니다. 그리고 맨 마지막 토큰만 생성되므로 이 더 긴 쿼리에 대해 4개의 로그 확률만 볼 수 있습니다. 그러나 이는 쿼리 및 토큰 비용을 줄이는 잠재적인 접근 방식을 제시합니다. 모델이 특정 토큰 시퀀스 [pn+1 pn+2 ... pn+m]을 방출하도록 하는 방법이 있다면 각 생성 토큰의 로그 확률 벡터를 검사할 수 있습니다.

다음과 같이 이를 달성합니다. 토큰 x와 다른 4개의 토큰을 고정하고 모델이 [x x ... x]를 방출하도록 강제합니다. 5개 토큰 각각에 대해 B의 로짓 편향을 제공하는 대신 토큰 x에 대해 B의 로짓 편향을 제공하고 다른 4개 토큰에 대해 B' < B를 제공합니다. B'이 다른 토큰을 상위 5개 출력으로 가져올 만큼 충분히 크면 여전히 해당 토큰에 대한 로짓을 학습할 수 있습니다. B'이 모델이 항상 초기 프롬프트 p0을 토큰 x(다른 토큰이 아님)로 완료할 만큼 충분히 작으면 [p0 x x ... x] 형식의 여러 프롬프트에 대한 로짓을 수집할 수 있습니다.

분석. 이 공격의 쿼리 비용은 1/(4m)이며, 여기서 m은 확장 계수입니다. 또한 각 쿼리에는 1 + m개의 토큰이 필요하므로 토큰 비용은 (1+m)/(4m)입니다. (또는 API에 ∆ 토큰의 오버헤드가 있는 경우 1 + m + ∆) m = 1, 즉 확장이 없는 경우 이 공격은 첫 번째 공격으로 축소되고 분석은 유사하게 1/4의 쿼리 비용과 1/2의 토큰 비용을 제공합니다.

5.4. 상위 1개 이진 로짓 편향 API에 대한 추출 공격

공격을 고려할 때 모델 제공업체가 위 API에 제한을 도입할 수 있습니다. 이제 API가 최상위 로그 확률(5.1절의 API에서 K = 1)만 반환하고 로짓 편향이 두 값 중 하나만 취하도록 제한된 경우에도 공격이 가능함을 보여줍니다.

API. 로짓 편향 API(5.1절)에 다음 두 가지 제한 사항을 추가합니다. 첫째, K = 1로 설정하고 가장 가능성이 높은 토큰의 로그 확률만 확인합니다. 둘째, 각 로짓 편향 항목 b는 {-1, 0}에 속하도록 제한됩니다. 이러한 제약 조건은 이전 섹션의 공격을 완전히 방지합니다. 이 제약 조건은 실제 구현이 정의하는 것보다 훨씬 더 엄격하다고 생각합니다.

방법. 처음에는 이미 가장 가능성이 높은 토큰이 아닌 토큰 t에 대한 정보를 학습하는 것이 불가능해 보일 수 있습니다. 그러나 로짓 편향 없이 한 번, 토큰 t에 대해 -1의 로짓 편향으로 한 번, 모델을 두 번 쿼리하면 최상위 토큰은 -1의 편향으로 약간 더 가능성이 높아지며, 정확히 얼마나 약간인지는 토큰 t의 로그 확률 값에 따라 달라집니다. 특히 부록 D에서는 로그 확률이 (1/e - 1)^(-1)(exp(y_top - y'_top) - 1)과 같음을 보여줍니다. 여기서 y_top 및 y'_top은 0 및 -1의 로짓 편향으로 쿼리할 때 가장 가능성이 높은 토큰의 로그 확률입니다.

분석. 이 공격은 추출된 로그 확률당 1개의 쿼리와 토큰이 필요합니다. 그러나 평가에서 보여주듯이 이 공격은 이전에 논의된 공격보다 수치적으로 훨씬 덜 안정적이므로 동일한 수준의 정확도에 도달하려면 더 많은 쿼리가 필요할 수 있습니다.

6. 로그 확률 없는 API에서 추출

더 보수적인 API 제공업체는 로짓 편향 및 로그 확률 조합에 대한 액세스를 완전히 제거할 수 있습니다. 실제로 OpenAI에 공격을 공개한 후 OpenAI는 로짓 편향이 상위 로그 확률에 영향을 미치는 기능을 제거하여 이전 섹션의 공격을 방지했습니다. 이와 같은 상황을 악용하기 위해 로짓 편향 벡터에 대한 이진 검색을 수행하여 전체 로짓 벡터를 복구하는 로그 확률 없는 공격을 추가로 개발했지만 비용은 증가합니다.

API: 일부 API는 로짓 편향 항에 대한 액세스를 제공하지만 로그 확률에 대한 정보는 제공하지 않습니다. 따라서 다음과 같습니다.

O(p, b) = ArgMax(logsoftmax(W · gθ(p) + b)).

여기서 ArgMax(z)는 벡터 z ∈ R^l에서 가장 높은 좌표의 인덱스를 반환합니다. 이 섹션에서는 b = {i : z} 표기법을 사용하여 토큰 i에 대해 편향이 z로 설정되고 다른 모든 토큰에 대해 0으로 설정되었음을 나타냅니다. 또한 b = {}을 사용하여 로짓 편향이 사용되지 않았음을 나타냅니다. 마지막으로 편향이 [-B, B] 범위 내에 있도록 제한된다고 가정합니다.

무엇을 추출할 수 있습니까? 이 섹션에서 개발된 공격은 ε의 추가(∞-norm) 오차까지 로짓 벡터를 재구성합니다.

6.1. 워밍업: 기본 로그 확률 없는 공격

방법. 로그 확률 없는 공격에 대한 한 가지 간단한 통찰력을 제시합니다. 온도 0으로 샘플링하면 가장 큰 로짓 값을 가진 토큰이 생성됩니다. 따라서 각 토큰에 대한 로짓 편향을 조정하여 이진 검색을 통해 모든 토큰의 로짓 값을 복구할 수 있습니다. 공식적으로 p를 프롬프트라고 하고 O(p, b = {})에 의해 주어진 응답에서 가장 가능성이 높은 토큰의 인덱스를 0으로 다시 레이블을 지정합니다. 0이 아닌 각 토큰 i에 대해 로짓 편향 항에 대한 이진 검색을 실행하여 모델이 확률 1로 토큰 i를 방출하는 최소값 xi ≥ 0을 찾습니다. 이렇게 하면 모든 로짓이 복구됩니다(이전 공격과 마찬가지로 소프트맥스로 인해 하나의 자유 변수를 잃습니다).

알고리즘 2 로짓 차이 학습

αi ← -B, βi ← 0

while βi - αi > ε do

if O(p, b = {i : -αi+βi/2}) = 0 then

βi ← αi+βi

2

else

αi ← αi+βi

2

end if

Return αi+βi

2

end while

분석. 이 공격은 비효율적이지만 로짓 벡터를 정확하게 추출합니다.

보조정리 6.1. logit_i - logit_0 ≥ -B인 모든 토큰 i에 대해 알고리즘 2는 최대 log2(B/ε) API 쿼리에서 logit_i - logit_0과 최대 ε만큼 떨어진 값을 출력합니다.

증명. API는 추가된 로짓 편향이 logit_i - logit_0보다 작은 한 (재정렬된) 토큰 0을 반환합니다. 보조정리의 가정에 따라 logit_i - logit_0 ∈ [-B, 0]임을 알 수 있습니다. 귀납적 주장을 통해 알고리즘은 각 반복에서 βi ≥ logit_i - logit_0 ≥ αi를 보장합니다. 또한 βi - αi는 각 반복에서 2배씩 감소하므로 종료 시 logit_i - logit_0의 실제 값이 길이 ε의 간격으로 끼워져 있음을 알 수 있습니다. 또한 반복 횟수가 최대 log2(B/ε)이므로 이 알고리즘의 쿼리 비용도 마찬가지입니다.

접근 방식의 제한 사항. logit_i - logit_0 < -2B인 경우 토큰 i를 샘플링할 효율적인 방법이 없으므로 로그 확률 액세스 없이 logit_i에 대한 정보를 찾을 방법이 없습니다. 가장 큰 로짓 값을 가진 토큰에 음수 로짓 편향을 추가하여 -2B ≤ logit_i - logit_0 ≤ -B 범위를 약간 늘릴 수 있는 방법이 있지만 대부분의 모델에서 사용하는 프롬프트의 경우 모든 토큰이 logit_i - logit_0 > -B를 만족하므로 세부 사항은 생략합니다.

관련 연구. 동시 연구(Morris et al., 2023)에서는 로짓을 추출하는 이 방법에 대해 논의했습니다.

6.2. 향상된 로그 확률 없는 공격: 초직사각형 완화 중심

여러 토큰의 로짓 편향을 동시에 수정하여 이전 공격을 개선할 수 있습니다.

API: 이전 섹션과 동일한 API를 사용하지만 O가 로짓 편향 사전에 최대 N + 1개의 토큰만 허용한다는 추가 제약 조건을 사용합니다. 다시 O(p, b = {}) 쿼리를 실행하여 가장 가능성이 높은 토큰을 식별하고 해당 인덱스를 0으로 설정합니다. 목표는 N개의 서로 다른 토큰에 대해 logit_i - logit_0을 근사하는 것입니다. N < l - 1이면 N개 토큰 배치에 대해 동일한 알고리즘을 l-1/N번 반복합니다.

알고리즘 3 다중 토큰 호출을 사용한 로짓 차이 학습

αi ← -B, βi ← 0 ∀i = 1, ..., N

C = {logit : logit_i - logit_0 ≤ B ∀i = 1, ..., N}

for T rounds do

bi ← -αi+βi

2 for i = 0, ..., N

k ← O(p, b = {0 : b0, 1 : b1, ..., N : bN})

for j ≠ k do

C ← C ∩ {logit : logit_k + bk ≥ logit_j + bj}

end for

for i = 0, ..., N do

αi ← min_logit∈C logit_i - logit_0

βi ← min_logit∈C logit_i - logit_0

end for

end for

Return [αi, βi] ∀i ∈ {0, ..., N}

방법. 이 접근 방식은 여러 토큰에 대해 병렬로 설정된 로짓 편향으로 API를 쿼리합니다. 알고리즘은 라운드로 진행되며 각 라운드에는 여러 토큰에 대해 설정된 로짓 편향으로 API를 쿼리합니다.

로짓 편향이 i = 1, ..., l에 대해 {i : bi}로 설정되고 프롬프트가 p일 때 쿼리가 토큰 k를 출력으로 반환한다고 가정합니다. 그러면 API 정의에 따라 모든 j ≠ k에 대해 logit_k + bk ≥ logit_j + bj임을 알 수 있습니다.

이는 로짓에 대한 선형 제약 조건 시스템을 부과합니다. 모델을 여러 번 쿼리하고 이러한 방정식 시스템을 많이 누적하면 로짓 값을 더 효율적으로 복구할 수 있습니다. 이를 위해 C 집합에 이러한 모든 선형 제약 조건을 누적하고 각 라운드가 끝날 때 제약 조건 집합 C에 대해 이 값을 최대화/최소화하는 선형 프로그램을 풀어 logit_i - logit_0에 대한 가능한 가장 작고 가장 큰 값을 계산합니다. 따라서 각 라운드에서 logit_i - logit_0을 둘러싸는 간격을 유지하고 해당 라운드에서 수행된 쿼리의 추가 정보를 기반으로 각 라운드에서 간격을 구체화할 수 있습니다. T 라운드(여기서 T는 공격에 대한 총 쿼리 예산을 기반으로 선택됨) 후 각 로짓에 대한 가장 엄격한 알려진 경계를 반환합니다.

보조정리 6.2. 모든 i = 1, ..., l에 대해 logit_i - logit_0 ∈ [-B, 0]이라고 가정합니다. 그러면 알고리즘 3은 logit_i - logit_0 ∈ [αi, βi]인 각 i에 대해 logit_i - logit_0 ∈ [-B, 0]인 간격 [αi, βi]를 반환합니다. 또한 알고리즘의 각 라운드는 O(N^3) 계산 시간(API 호출에 필요한 계산 제외)으로 구현할 수 있습니다.

증명. 알고리즘 3은 각 라운드에서 logit_i - logit_0 ∈ [αi, βi]라는 불변 조건을 유지합니다. 이것이 사실이고 실제 로짓 벡터가 항상 C에 있다는 것을 귀납법으로 증명할 것입니다. 보조정리에 명시된 가정에 따라 이는 첫 번째 라운드 시작 시 분명히 참입니다. K < T 라운드 후에 이것이 참이라고 가정합니다. 그러면 K + 1번째 라운드에서 추가된 제약 조건은 모두 실제 로짓 벡터에 대한 유효한 제약 조건입니다. 왜냐하면 API가 토큰 k를 반환하면 모든 j ≠ k에 대해 logit_k + bk ≥ logit_j + bj가 보장되기 때문입니다. 따라서 귀납법에 의해 알고리즘은 항상 logit_i - logit_0 ∈ [αi, βi]를 보장합니다.

6.2.1절에서는 모든 i에 대한 αi, βi를 계산하는 LP를 가장자리 가중치 c_jk = min_rounds bj - bk를 갖는 그래프의 모든 쌍 최단 경로 문제로 볼 수 있음을 보여줍니다. 여기서 최소값은 반환된 토큰이 k인 모든 라운드에 대해 취해집니다. 이는 로짓 차이 간격을 유지하는 계산 복잡성이 O(N^3)임을 보장합니다.

6.2.1. 로그 확률 없는 공격 LP의 최단 경로 공식화

실제로 다면체 C의 초직사각형 완화의 계산 효율성을 향상시킬 수 있습니다. 여기서는 이 문제를 가중 그래프의 최단 경로 문제로 공식화하는 방법을 보여줍니다. 이를 통해 각 쿼리 후 모든 i ∈ {1, ..., N}에 대해 정확한 [αi, βi]를 빠르게 계산할 수 있습니다.

보조정리 6.3. G = ({0, 1, ..., N}, E)을 음수 사이클이 없는 가중 방향 그래프라고 하자. P ⊂ R^(n+1)을 다음 선형 부등식 시스템의 해 집합이라고 하자.

logit_i - logit_j ≤ c_ji ∀ j

c_ji -→ i ∈ E

그러면 logit_0 = 0이면 다음과 같습니다.

max_x∈C logit_i = G에서 0에서 i까지의 거리.

증명. e_0j1, e_j1j2, ..., e_jm-1i를 G에서 0에서 i까지의 최소 거리 경로의 가장자리라고 하자. 다음과 같습니다.

logit_i ≤ logit_jm-1 + c_jm-1i ≤ ...

≤ logit_0 + ∑_t=1^(m-1) c_jt+1jt = ∑_t=1^(m-1) c_jt+1jt,

따라서 최단 경로는 logit_i의 상한입니다. 실현 가능성을 증명하기 위해 logit_i를 0에서 i까지의 거리로 설정하면 모든 부등식을 만족한다고 주장합니다. logit_i - logit_j ≤ c_ji 부등식이 위반되었다고 가정합니다. 그러면 G에서 0 → j → i로 이동하여 총 가중치 logit_j + c_ji < logit_i를 얻을 수 있으며, 이는 logit_i가 0에서 i까지의 거리라는 가정과 모순됩니다.

이를 설정에 적용하려면 (1) 초기 αi ≤ logit_i ≤ βi를 포함하여 모든 제약 조건이 필요한 형식입니다. (2) 실제 로짓이 실현 가능한 솔루션을 제공하기 때문에 그래프에는 음수 사이클이 없습니다. (3) -logit_i에 대한 부등식으로 유도된 그래프에 동일한 절차를 적용하여 하한을 얻을 수 있습니다.

Bellman-Ford 알고리즘을 사용하여 O(N^3) 시간 안에 0에서 다른 모든 정점까지의 거리를 찾을 수 있습니다. N = 300이면 이는 O의 지연 시간과 비슷합니다. 각 단계에서 그래프의 N개 가장자리만 업데이트되므로 Bellman-Ford의 몇 가지 증분 반복을 업데이트하고 수행하는 휴리스틱만으로도 실제로 [αi, βi]를 높은 정밀도로 얻을 수 있습니다. 물론 API 쿼리 수와 토큰 비용은 동일하게 유지됩니다.

6.3. 향상된 로그 확률 없는 공격: 초직사각형에 대한 더 나은 쿼리

이전 접근 방식의 주요 문제는 로짓 벡터에 대한 사전 분포가 [-B, 0]에 대해 균일하더라도 일부 토큰이 다른 토큰보다 더 자주 샘플링된다는 것입니다. 이는 "초직사각형 중심" 로짓 편향이 초직사각형을 argmax 좌표로 레이블이 지정된 동일한 크기의 부분으로 분할하지 않기 때문입니다. 예를 들어 βi - αi ≪ βj - αj이면 [αi, βi] × [αj, βj]에 대한 균일한 사전 분포에서 j는 i보다 출력 토큰일 가능성이 훨씬 더 높습니다. 따라서 알고리즘 3에서는 다른 로짓 측면에서 logit_i를 낮추는 제약 조건을 거의 얻지 못하므로 C의 더 약한 완화가 발생합니다.

해결책은 출력 토큰 분포가 균일 분포에 더 가까워지도록 토큰에 편향을 주는 것입니다. 특히 βt - αt(0 토큰)가 가장 작은 토큰에 초직사각형에 대한 균일한 사전 분포가 주어지면 정확히 1/(N + 1)의 확률을 갖도록 편향을 줍니다. 이를 만족하는 로짓 편향은 다음과 같습니다.

bi = -(1 - c)αi - cβi ∀i = 0, ..., N

여기서 c = exp(-log(N + 1)/N)입니다. (2)

이제 알고리즘 3을 실행하되 bi = -α+β/2를 b = -(1 - c)α - cβ로 바꾸는 간단한 수정만 수행합니다. 표 3에서 볼 수 있듯이 수정된 알고리즘은 6.2의 방법보다 성능이 훨씬 우수합니다.

모든 출력 토큰의 균형 잡힌 샘플링 목표는 여러 가지 방법으로 접근할 수 있습니다. 예를 들어 위 표현식에서 c를 조정하거나, O가 이전에 반환하지 않은 토큰에 더 높은 편향을 주거나, C(또는 일부 완화)를 동일한 부분으로 분리하는 정확한 로짓 편향을 풀 수 있습니다. 표 3에서 이 방법의 쿼리/로짓 지표는 놀랍게도 최적에 가깝습니다.

7. 평가

이제 실제 훔치기 공격의 효능을 연구합니다.

7.1. 로짓 검증

먼저 제한된 쿼리 인터페이스가 주어지면 이전 섹션에서 개발된 공격이 전체 로짓 벡터를 효과적으로 복구할 수 있는지 검증합니다. 표 3에서는 실제 로짓 벡터와 복구된 로짓 벡터 간의 평균 비트 일치 수와 하나의 전체 로짓 벡터를 복구하는 데 필요한 (상각된) 쿼리 수를 보고합니다.

일반적으로 더 강력한 위협 모델에서 작동하는 공격은 더 높은 정밀도를 갖습니다. 그러나 이론적 개선이 항상 실용적인 것은 아닙니다. 쿼리당 5개의 로그 확률을 학습하는 §E의 이론적으로 더 강력한 공격은 실제로 더 많은 쿼리를 필요로 하고 더 낮은 충실도로 로짓을 복구합니다. 이는 이 공격이 수치적으로 불안정하기 때문입니다. 잠재적으로 조건이 좋지 않은 행렬이 필요하므로 로짓 편향을 조정한 후 API를 다시 쿼리해야 할 수 있습니다. 가장 강력한 로그 확률 없는 공격은 매우 효율적이며 로짓당 3.7개 쿼리만으로 18비트 정밀도를 복구합니다. 부록 F에서는 이것이 최적에서 얼마나 떨어져 있는지 이론적으로 분석하고 2배 이내임을 발견합니다.

7.2. 프로덕션 모델 부분 훔치기

이제 2024년 1월 1일에 OpenAI에서 사용할 수 있는 5개 모델인 ada, babbage, babbage-002, gpt-3.5-turbo-instruct 및 gpt-3.5-turbo-1106에 중점을 두고 프로덕션 언어 모델을 훔치는 능력을 조사합니다. 이러한 모델은 추출 공격을 시도하기 위해 사전 허가를 받을 수 있는 유일한 프로덕션 모델이었기 때문에 선택했습니다. OpenAI가 모델을 사용하여 이 연구를 수행할 수 있도록 허용해 준 것에 대해 매우 감사하게 생각합니다.

이전 섹션의 결과를 감안할 때 향상된 4-로그 확률 공격(5.3절)을 구현하기로 선택했습니다. 왜냐하면 이 공격은 쿼리 효율성이 가장 높고 정밀도도 가장 높은 공격이기 때문입니다. 다른 공격 알고리즘으로 전환하면 총 실험 비용이 크게 증가하므로 이러한 절제 연구는 수행하지 않습니다.

숨겨진 차원 훔치기 공격과 전체 레이어 훔치기 공격 모두 이러한 5개 모델 모두에 대해 작동했습니다. 모델에서 복구한 크기는 OpenAI에서 확인한 원래 모델의 실제 크기와 완벽하게 일치합니다. 처음 세 모델의 경우 표 4에 복구된 크기를 보고합니다. 왜냐하면 (1) 이러한 모델의 크기는 이전에 확인된 적이 없지만 (2) 현재 사용되지 않으므로 크기를 공개해도 해롭지 않기 때문입니다. OpenAI와의 논의에서 gpt-3.5-turbo 모델의 크기 공개는 보류하기로 결정했지만 공격이 보고한 숫자가 정확하다는 것을 OpenAI와 확인했습니다.

전체 레이어 훔치기 공격을 실행할 때 추출된 가중치가 실제 가중치와 거의 동일하며 오차가 7 · 10^(-4) 미만임을 확인했습니다. 앞서 논의한 h × h 행렬 곱까지 표 4에는 h × h 변환으로 두 가중치 행렬을 "정렬"한 후 추출된 가중치 행렬과 실제 모델 가중치 사이의 RMS가 보고됩니다.

8. 방어

기능 손실을 감수하더라도 여러 가지 방법으로 이 공격을 방지하거나 완화할 수 있습니다.

8.1. 예방

로짓 편향 제거. 가장 간단한 방어는 API에서 로짓 편향 매개변수를 완전히 제거하는 것입니다. 안타깝게도 이 매개변수에는 몇 가지 합법적인 사용 사례가 있습니다. 예를 들어, 여러 연구에서는 제어된 또는 제약된 생성을 수행하기 위해 로짓 편향을 사용하고(Jiang et al., 2023; Yang & Klein, 2021), 생성을 이동하고 모델 미세 조정을 모방하거나(Liu et al., 2024; Mitchell et al., 2024), 다른 이유로 사용합니다(Ren et al., 2023; Lee et al., 2022).

로짓 편향을 차단 목록으로 교체. 로짓 편향을 제공하는 대신 모델 개발자는 모델이 방출할 수 없는 토큰 차단 목록으로 교체할 수 있습니다. 이는 이전 섹션에서 논의된 기능(일부)을 지원하지만 여전히 공격을 방지합니다.

아키텍처 변경. API를 수정하는 대신 모델을 변경할 수 있습니다. 이 공격은 숨겨진 차원 h가 출력 차원 l보다 작기 때문에 작동합니다. 이는 자연스러운 아키텍처 방어를 제안합니다. 최종 레이어를 h → t, t → l로 이동하는 두 개의 레이어로 분할합니다. 여기서 t > l이고 그 사이에 비선형성이 배치됩니다. 그러나 마지막 선형 레이어가 크기 때문에(어휘 크기의 제곱) 이는 그다지 효율적이지 않습니다.

사후 아키텍처 변경. 모델을 훈련한 후 최종 레이어에 대한 숨겨진 차원 h를 수정할 수도 있습니다. 특히 원래 행렬에 직교하는 추가 가중치 벡터를 연결하여 W의 차원을 확장할 수 있습니다.

이러한 가중치에 대한 특이값은 모델 예측에 실질적인 영향을 미치지 않을 만큼 충분히 작으면서도 현실적으로 보일 만큼 충분히 크게 설정합니다. 그런 다음 모델의 순방향 패스 동안 W를 곱하기 전에 최종 숨겨진 벡터 gθ(p)에 무작위 가우스 노이즈 벡터를 연결합니다. 그림 7은 이 예를 보여줍니다. 여기서 GPT-2 small을 768차원 대신 1024차원인 것처럼 보이도록 확장합니다. 이는 공격자에게 모델이 실제보다 더 넓다고 생각하게 만듭니다.

8.2. 완화

로짓 편향 XOR 로그 확률. 공격자가 로짓 편향을 제공하고 출력 로그 확률을 볼 수 있을 때 공격 비용이 10배 저렴합니다. 이는 자연스러운 완화를 시사합니다. 로짓 편향과 로그 확률을 동시에 사용하는 API에 대한 쿼리를 금지합니다. 이러한 유형의 방어는 보안 및 기계 학습 커뮤니티에서 일반적입니다. 예를 들어 2023년에 OpenAI는 echo와 logprobs를 결합하는 기능을 제거했지만 둘 중 하나만 허용했습니다. 이 방어는 비슷하게 작동합니다.

노이즈 추가. 출력 로짓에 충분한 양의 노이즈를 추가하면 공격을 방지할 수 있습니다. 그러나 로짓 노이즈는 모델을 덜 유용하게 만들 가능성이 있습니다. 부록 H에서 이 방향에 대한 몇 가지 예비 실험을 수행합니다.

로짓 편향에 대한 속도 제한. 공격에는 각 프롬프트 p에 대해 최소 h개의 로짓 값을 학습할 수 있어야 합니다. 한 가지 방어 방법은 모델에 대한 로짓 편향 쿼리를 허용하지만 주어진 프롬프트 p에 대해 T = h/5 로짓 편향 쿼리만 허용하여 공격자가 모델이 숨겨진 차원 h 이하인지 여부를 학습하지 못하도록 하는 것입니다.

안타깝게도 이 방법에는 몇 가지 중요한 단점이 있습니다. 임계값은 h와 독립적이어야 합니다(임계값을 학습하면 h가 드러남). 시스템은 API에 대한 모든 사용자 쿼리 상태를 유지 관리해야 합니다. Sybil 공격을 방지하려면 사용자 쿼리의 글로벌 풀이 필요하며 이는 상당한 개인정보 보호 위험을 초래할 수 있습니다(Debenedetti et al., 2023).

악성 쿼리 감지. 모델 가중치를 누출할 수 있는 쿼리를 방지하는 대신 악성 행동 패턴을 감지하기 위해 표준 남용 방지 도구를 구현하는 것이 대안 전략이 될 수 있습니다. 모델 훔치기(Juuti et al., 2019; Pal et al., 2021) 및 적대적 예(Chen et al., 2020)를 포함하여 이전 기계 학습 공격에 대해 이러한 형태의 몇 가지 제안이 존재합니다.

9. 미래 연구

본 논문에서는 전체 프로덕션 트랜스포머 모델을 비트 단위로 훔칠 수 있을 것으로 기대하기 때문에 이 문제를 연구하는 것이 아니라 모델 훔치기 공격이 단지 학문적 관심사가 아니라 오늘날 배포된 가장 큰 프로덕션 모델에 실제로 적용될 수 있음을 명확하게 보여주고자 합니다. 이 공격을 개선하기 위한 몇 가지 잠재적인 방향을 제시합니다.

양자화된 가중치로 대칭 깨기. 대규모 프로덕션 모델은 일반적으로 각 가중치가 4비트 또는 8비트로만 표현되는 "양자화"되어 저장됩니다. 원칙적으로 이 양자화를 통해 공격자는 행렬 W의 거의 비트 단위 사본을 복구할 수 있습니다. W · G 행렬은 무한히 많지만 하나만 제대로 이산화될 것입니다. 안타깝게도 이 정수 제약 문제는 일반적으로 NP-hard입니다(유사한 문제는 전체 공개 키 암호 시스템 클래스의 기반입니다). 그러나 이는 모든 인스턴스에서 문제가 어렵다는 것을 의미하지는 않습니다.

이 공격을 단일 레이어 이상으로 확장. 이 공격은 트랜스포머의 단일 레이어를 복구합니다. 모델의 비선형성으로 인해 단일 레이어 이상으로 확장하는 명백한 방법론은 없습니다. 그러나 이 분야에 대한 추가 연구를 권장합니다.

로짓 편향 가정 제거. 모든 공격에는 로짓 편향을 전달하는 기능이 필요합니다. Google 및 OpenAI를 포함한 모델 제공업체는 본 논문 작성을 시작했을 때 이 기능을 제공했지만 이는 변경될 수 있습니다(실제로 모델 제공업체가 이 공격을 방지하기 위한 방어 기능을 구현하기 시작하면서 이미 변경되었습니다). 다른 API 매개변수는 로짓 정보를 학습할 수 있는 대체 경로를 제공할 수 있습니다. 예를 들어, 제약 없는 온도 및 상위 k 매개변수는 일련의 쿼리를 통해 로짓 값을 누출할 수도 있습니다. 장기적으로 로짓 정보를 완전히 숨기는 것은 기능에 대한 대중의 요구와 공격자가 다른 수단을 통해 이 정보를 추론할 수 있는 능력으로 인해 어려울 수 있습니다.

훔친 가중치 악용. 모델의 임베딩 투영 레이어를 복구하면 더 강력한 프롬프트 삽입 공격 또는 탈옥 설계와 같이 해당 모델에 대한 다른 공격을 개선할 수 있습니다. 또는 공격자는 마지막 레이어의 변경 사항(또는 변경 사항 없음)을 관찰하여 제공업체의 미세 조정 API에 대한 세부 정보를 추론할 수 있습니다. 본 논문에서는 주로 모델 추출 문제에 중점을 두고 다운스트림 공격 탐구는 향후 연구로 남겨 둡니다.

다른 모델 정보의 실제 훔치기. 기존 고충실도 모델 훔치기 공격은 전체 모델을 복구하는 "전부 아니면 전무" 공격이지만 작은 ReLU 네트워크에만 적용됩니다. 부분 정보를 훔치는 것이 최첨단 모델의 경우에도 훨씬 더 실용적일 수 있음을 보여줍니다. 미래 연구에서는 실제 공격이 현재 독점 모델에 대한 훨씬 더 많은 정보 비트를 훔칠 수 있음을 발견할 수 있습니다.

10. 결론

기계 학습 분야가 성숙하고 모델이 연구 인공물에서 수백만 명이 사용하는 프로덕션 도구로 전환됨에 따라 적대적 기계 학습 분야도 적응해야 합니다. 모델 훔치기를 3-레이어 100-뉴런 ReLU 전용 완전 연결 네트워크에 적용할 수 있는 잠재력을 이해하는 것이 확실히 유용하지만 어떤 시점에서는 공격이 실제로 가장 큰 프로덕션 모델에 적용될 수 있는 정도를 이해하는 것이 중요해집니다.

본 논문은 이 방향으로 한 걸음 나아갑니다. 프로덕션 언어 모델의 한 레이어를 훔치는 것이 가능하다는 존재 증명을 제시합니다. 이 레이어를 학습하는 데 따른 즉각적인 실제적 결과는 없어 보이지만 배포된 트랜스포머 모델에 대한 정확한 정보가 도난당한 것은 이번이 처음입니다.

또한 이 공격은 시스템 설계의 사소한 결정이 시스템 전체 보안에 어떤 영향을 미치는지 강조합니다. 이 공격은 OpenAI 및 Google을 포함하여 가장 큰 기계 학습 서비스 제공업체에서 제공하는 로짓 편향 및 로그 확률 매개변수로 인해 작동합니다. 하지만 두 업체 모두 이 공격을 방지하거나 더 많은 비용을 발생시키도록 완화 조치를 구현했습니다. 실무자는 시스템 수준 설계 결정이 전체 제품의 안전과 보안에 어떤 영향을 미치는지 이해하기 위해 노력해야 합니다.

전반적으로 본 논문이 궁극적으로 더 안전하고 신뢰할 수 있는 시스템을 개발하기 위해 기계 학습 모델에 대한 실제 공격 연구를 더욱 촉진하는 역할을 하기를 바랍니다.

[익명(211.212)]

긴빠이 ㄷㄷ

[MoonChild(aowlr2001)]

도적의 극의 ㄷㄷ - dc App

[루미코드(giraffe8027)]

미스트랄이 gpt 출력물로 학습시켰을때 노양심이라고 욕했는데 이젠 그냥 모델을 베껴버리네..

[익명(222.106)]

중국이 다 훔쳐가겠노

[익명(222.106)]

그냥 하드웨어 자체를 막아버려야 됨 ㄹㅇ

[초존도초(htr3c654r6ft)]

ClosedAI 강제 보픈소스화 ~~~ ㄷ

[익명(221.152)]

오오... 미쳣네(안읽음) - dc App

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[초존도초(htr3c654r6ft)]

1. 클라우드 서비스로 배포되고 있는 모델의 가중치 자체를 긴빠이 가능 2. 미래에는 더 다양하고 더 정교한 방법 우후죽순 나올 것 3. ClosedAI 강제로 보픈소스화 - dc App

[디시콘발사대(fcbjsjmu1t9f)]

[익명(112.160)]

ㅈ트먼 ㅅㄱ 소유물 없다이제

[익명(villager0555)]

하긴 애초에 학습 시키는 거라 안뚫리는게 말이안되긴 함 ㅋㅋ

[부패하는유전자!!!(sansss2015)]

도둑이야!!

[ㅇㅋ(ijh2005)]

뭐 OAI 가 알아서할일이지

[독라중기병(ehrfkwndrlqud)]

소스 감춰봐~ 뜯어서 공개하면 오픈소스야~ - dc App

[익명(121.168)]

진짜 화학이나 기계 전기는 뭔가 대충알아먹을수있어도 ai는 뭔소린지 조금도모르겠다 컴퓨터의언어라그런건가

[익명(landofooo)]

저게 결국 다 수학이라 그럼 중간에 그리스문자들하고 대문자들은 행렬얘기고

[익명(180.230)]

전유물이 불가능한 이유 하나가 더 생겨난셈인가

[익명(175.206)]

안 읽어보긴 했는데, 유튜브 댓글에는 1.지금은 마지막 레이어만 읽을 수 있다고 함. 2.이미 모델 방어책이 생겼다고 함. 더 개선되면 아예 베낄 수 있겠지만, 아직은 별 일 없을거다.

[익명(landofooo)]

아쉽네ㅜㅠ

[천사다천사(jjtheman999)]

세상엔 대단한 사람들이 참 많아서 좋다 ㅋㅋ - dc App

[익명(landofooo)]

싹다 유출시켜.

[익명(landofooo)]

역시 수학이 많은걸 해내는군