[📪정보] 아까 뜬 구글 라벨링 글 번역해옴

[plurali..(surely8340)]

구글의 혁신: 1만 배 적은 데이터로 같은 성능

고품질 라벨링으로 LLM 파인튜닝 데이터를 극적으로 줄이는 방법

Google Ads 팀이 발표한 놀라운 연구 결과입니다. 10만 개의 훈련 데이터를 500개 미만으로 줄이면서도 모델 성능을 65%까지 향상시켰습니다. 어떻게 이런 일이 가능했을까요?

문제의 핵심: 안전하지 않은 광고 분류

Google Ads에서 가장 까다로운 문제 중 하나는 정책 위반 광고를 찾아내는 것입니다. 클릭베이트, 사기성 광고, 부적절한 콘텐츠 등을 식별하려면 깊은 맥락적, 문화적 이해가 필요합니다. 바로 이런 영역에서 LLM이 기존 머신러닝 시스템보다 강점을 보입니다.

하지만 여기에는 치명적인 문제가 있었습니다. 이런 복잡한 작업을 위해 LLM을 파인튜닝하려면 고품질 훈련 데이터가 엄청나게 많이 필요하다는 것입니다. 더 심각한 것은 안전 정책이 진화하거나 새로운 유형의 위험 광고가 등장할 때마다 모델을 완전히 새로 훈련해야 한다는 점입니다.

비용의 현실

고품질 데이터 큐레이션은 매우 비싸고 시간이 오래 걸립니다. 특히 개념 드리프트(concept drift) 문제 때문에 지속적인 재훈련이 필요한 상황에서는 더욱 그렇습니다.

혁신적 해결책: 능동 학습의 새로운 접근

Google 연구팀이 개발한 새로운 큐레이션 프로세스는 능동 학습(Active Learning)의 혁신적 적용입니다. 핵심 아이디어는 간단하지만 강력합니다: "모든 데이터가 동등하게 중요하지 않다. 가장 헷갈리는 예시들을 찾아서 집중적으로 학습하자."

능동 학습이란?

모델이 가장 확신하지 못하는 데이터 포인트들을 선별적으로 찾아내어, 그 부분에 대해서만 전문가의 라벨링을 받는 학습 방법입니다. 무작위로 데이터를 선택하는 것보다 훨씬 효율적입니다.

이 방법의 핵심은 수백억 개의 예시가 있는 데이터셋에서도 적용 가능하다는 점입니다. 반복적으로 가장 가치 있는 예시들을 식별하고, 그 결과로 얻은 전문가 라벨을 파인튜닝에 사용합니다.

큐레이션 프로세스: 4단계 전략

Google의 프로세스는 정교하게 설계된 4단계로 구성됩니다:

1단계: 초기 모델의 대량 라벨링

Zero-shot 또는 Few-shot 초기 모델(LLM-0)에게 "이 광고가 클릭베이트인가?"와 같은 프롬프트를 제공합니다. 모델은 광고를 클릭베이트 또는 정상으로 분류하여 대량의 라벨링된 데이터셋을 생성합니다.

이 단계에서는 데이터가 매우 불균형합니다. 실제 트래픽에서 클릭베이트는 1% 미만이고, 아직 파인튜닝되지 않은 모델의 정확도도 낮습니다.

2단계: 클러스터링으로 혼란 지점 발견

클릭베이트로 분류된 예시들과 정상으로 분류된 예시들을 각각 클러스터링합니다. 여기서 중요한 것은 겹치는 클러스터들입니다. 이는 모델이 혼란스러워하는 경계 지역을 나타냅니다.

3단계: 가장 헷갈리는 쌍 찾기

겹치는 클러스터 쌍에서 서로 가장 가까이 있지만 다른 라벨을 가진 예시 쌍들을 찾습니다. 이런 예시들이 바로 결정 경계선상의 가장 정보가 풍부한 데이터입니다.

4단계: 다양성 확보

검토 예산 내에서 최대한 효과를 내기 위해, 검색 공간의 더 넓은 영역을 커버하는 예시 쌍들을 우선순위로 선정합니다. 이렇게 해서 정보성과 다양성을 모두 확보합니다.

핵심 통찰

결과적으로 얻어지는 큐레이션된 세트는 정보가 풍부하면서(결정 경계의 가장 헷갈리는 예시들) 동시에 다양합니다(결정 경계의 서로 다른 영역에서 추출).

평가의 혁신: 절대적 정답이 없을 때

Google 연구팀이 직면한 또 다른 도전은 절대적인 정답이 존재하지 않는다는 점이었습니다. 광고 안전성 분야의 많은 분류 문제들—콘텐츠 조정, 사기 탐지 등—은 본질적으로 모호하며 정책 전문가들 사이에서도 해석과 숙고가 필요합니다.

❌ 기존 방식의 한계

정밀도(Precision)와 재현율(Recall) 같은 표준 메트릭들은 명확한 정답 라벨이 필요합니다. 하지만 "이 광고가 클릭베이트인가?"라는 질문에 대해서는 전문가들도 의견이 갈릴 수 있습니다.

Cohen's Kappa: 일치도의 과학

이 문제를 해결하기 위해 연구팀은 Cohen's Kappa를 채택했습니다. 이는 두 독립적인 주석자가 우연히 일치할 것으로 예상되는 수준을 넘어서 얼마나 잘 일치하는지를 측정하는 지표입니다.

Cohen's Kappa 해석 가이드

1.0: 완벽한 일치
0.8 이상: 예외적으로 좋음 (업계 표준)
0.4 이상: 일반적으로 수용 가능
0.0: 우연 수준의 일치
음수: 체계적인 불일치

이 연구에서는 데이터셋 품질 지표와 모델 성능 측정 모두에 사용

이 접근법의 장점은 내부 일치도(전문가들 간의 합의 수준)와 모델-인간 일치도(현재 모델과 인간 전문가 간의 일치 수준)를 동시에 측정할 수 있다는 점입니다. 모델 성능의 상한선을 명확히 설정할 수 있죠.

실험: 두 모델, 두 작업, 놀라운 결과

연구팀은 어떤 모델과 작업이 이 큐레이션 프로세스에서 가장 큰 이익을 얻는지 이해하고 싶었습니다. 실험 설계는 체계적이고 포괄적이었습니다.

실험 설계

모델 비교:

• Gemini Nano-1: 18억 개 파라미터
• Gemini Nano-2: 32.5억 개 파라미터

작업 복잡도:

• 낮은 복잡도: 전문가 일치도가 높은 작업
• 높은 복잡도: 전문가 일치도가 낮은 작업

베이스라인 vs 큐레이션

각 조건에 대해 두 가지 접근법을 비교했습니다:

베이스라인 vs 큐레이션 비교

베이스라인 조건:
• 크라우드소싱 라벨 사용
• ~10만 개 주석
• 강한 클래스 불균형 (평균 95% 정상 라벨)

큐레이션 조건:
• 위에서 설명한 큐레이션 프로세스 사용
• 여러 라운드에 걸친 파인튜닝
• 각 반복에서 선별된 예시들로 모델 평가 및 파인튜닝

흥미롭게도 모든 모델이 전문가들의 내부 일치도에 도달하기 전에 성능이 정체되었습니다. 낮은 복잡도 작업은 6번의 반복(~400개 파인튜닝 + ~250개 평가 샘플), 높은 복잡도 작업은 5번의 반복(~250개 파인튜닝 + ~150개 평가 샘플)에서 중단했습니다.

흥미로운 관찰

낮은 복잡도 작업이 더 많은 반복이 필요했는데, 이는 예시의 다양성이 더 컸기 때문으로 추정됩니다. 최종 데이터셋은 두 경우 모두 ~40%의 양성 예시로 균형을 이뤘습니다.

놀라운 결과: 모델 크기가 핵심

실험 결과는 모델 크기에 따라 극명하게 갈렸습니다. 이는 큐레이션 프로세스의 효과가 모델의 용량과 밀접한 관련이 있음을 시사합니다.

1.8B 파라미터 모델: 변화 없음

성능 결과

• 낮은 복잡도: 베이스라인 0.24 vs 큐레이션 0.25 (거의 동일)
• 높은 복잡도: 베이스라인 0.13 vs 큐레이션 0.13 (동일)

작은 모델은 큐레이션의 이점을 활용할 수 있는 용량이 부족한 것으로 보입니다.

3.25B 파라미터 모델: 극적 개선

✅ 놀라운 성과

• 낮은 복잡도: 베이스라인 0.36 → 큐레이션 0.56 (55% 개선)
• 높은 복잡도: 베이스라인 0.23 → 큐레이션 0.38 (65% 개선)

3자릿수 적은 데이터(250-450개 vs 10만개)로 이런 성과를 달성했습니다!

데이터 품질 비교

전문가 내부 일치도:
• 낮은 복잡도: 0.81 Cohen's Kappa
• 높은 복잡도: 0.78 Cohen's Kappa

크라우드소싱 vs 전문가 일치도:
• 낮은 복잡도: 0.59 Cohen's Kappa
• 높은 복잡도: 0.41 Cohen's Kappa

전문가 라벨의 품질이 크라우드소싱보다 현저히 높음을 확인

프로덕션에서의 실제 성과

실험실 결과도 인상적이지만, 실제 프로덕션 환경에서의 성과는 더욱 놀랍습니다. 더 큰 모델들을 사용한 프로덕션 시스템에서는 최대 4자릿수(10,000배) 적은 데이터를 사용하면서도 품질을 유지하거나 개선했습니다.

✅ 핵심 성공 요인

• 신중한 큐레이션: 더 적지만 더 정보가 풍부한 예시들에 집중
• 매우 높은 품질: 0.8 이상의 Cohen's Kappa가 필요
• LLM과 전문가의 시너지: 넓은 탐색 + 정밀한 판단

이 접근법이 특히 가치 있는 이유는 빠르게 변화하는 광고 안전성 영역에서 소수의 예시만으로도 모델을 재훈련할 수 있다는 점입니다. 새로운 사기 패턴이나 정책 변경에 신속하게 대응할 수 있죠.

실용적 가치

단순히 데이터를 줄이는 것이 목적이 아닙니다. 고품질 라벨의 효율적 활용으로 데이터 병목 현상을 해결하는 것이 진짜 목표입니다.

기술적 통찰과 한계

이 연구의 성공 뒤에는 몇 가지 중요한 기술적 통찰과 현실적 제약이 있습니다.

품질 임계점의 발견

연구팀이 발견한 가장 중요한 통찰 중 하나는 라벨 품질의 임계점입니다. 크라우드소싱 데이터를 안정적으로 능가하려면 0.8 이상의 Cohen's Kappa가 필요하다는 것을 확인했습니다.

⚠+ 품질의 도전

이 수준의 품질을 일관되게 달성하는 것은 별도의 도전 과제입니다. Google은 이에 대한 후속 블로그 포스트를 예고했습니다.

모델 용량과 큐레이션 효과

1.8B 파라미터 모델에서는 큐레이션 효과가 나타나지 않았지만, 3.25B 파라미터 모델에서는 극적인 개선을 보였습니다. 이는 모델이 복잡한 패턴을 학습할 수 있는 충분한 용량이 있어야 고품질 데이터의 이점을 활용할 수 있음을 시사합니다.

모델 용량과 학습 효율성

가설: 작은 모델은 제한된 용량 때문에 미묘한 패턴을 학습하기 어려움
큰 모델: 복잡한 결정 경계를 학습할 수 있어 고품질 데이터의 이점 극대화
실무 함의: 큐레이션 투자 전에 모델 크기 고려 필요

이는 "스케일링 법칙"과도 연결되는 중요한 발견

클래스 불균형 문제 해결

초기 데이터셋의 심각한 클래스 불균형(95% 정상)을 큐레이션 과정에서 40% 양성으로 조정한 것도 주목할 점입니다. 이는 능동 학습이 자연스럽게 균형 잡힌 데이터셋을 만들어낸다는 것을 보여줍니다.

< !-- 실무 적용 가이드 -->

실무 적용 가이드

이 연구 결과를 실제 프로젝트에 적용하려면 몇 가지 핵심 조건들을 고려해야 합니다.

적용 조건 체크리스트

• 모델 크기: 최소 30억 파라미터 이상 권장
• 전문가 가용성: 0.8+ Cohen's Kappa 달성 가능한 전문가 팀
• 작업 특성: 주관적 판단이 필요한 분류 작업
• 데이터 규모: 초기 라벨링 가능한 대량 데이터
• 반복 가능성: 여러 라운드 큐레이션 수행 가능

단계별 구현 전략

1단계: 기반 구축

• 충분한 크기의 기반 모델 확보
• 도메인 전문가 팀 구성 및 훈련
• 초기 프롬프트 및 few-shot 예시 준비

2단계: 파일럿 실행

• 소규모 데이터셋으로 프로세스 검증
• 전문가 간 일치도 측정 및 개선
• 클러스터링 및 샘플링 알고리즘 튜닝

3단계: 확장 및 최적화

• 전체 데이터셋에 프로세스 적용
• 반복적 개선 및 성능 모니터링
• 프로덕션 배포 및 지속적 업데이트

미래 전망과 의미

Google의 이 연구는 단순히 데이터 효율성을 높이는 것을 넘어서, AI 개발 패러다임의 근본적 변화를 시사합니다.

데이터 중심에서 품질 중심으로

기존의 "더 많은 데이터가 더 좋다"는 패러다임에서 "더 스마트한 데이터가 더 좋다"는 패러다임으로의 전환을 보여줍니다. 이는 특히 전문 도메인에서 중요한 의미를 가집니다.

✅ 산업 전반의 영향

• 의료: 희귀 질환 진단 모델의 효율적 훈련
• 법률: 복잡한 법적 판단 지원 시스템
• 금융: 사기 탐지 및 리스크 평가
• 콘텐츠: 플랫폼 안전성 및 조정

인간-AI 협력의 새로운 모델

이 연구는 인간과 AI가 각자의 강점을 최대화하는 협력 모델을 제시합니다. LLM은 넓은 탐색을, 인간 전문가는 정밀한 판단을 담당하는 분업 구조입니다.

철학적 함의

AI가 인간을 대체하는 것이 아니라, 인간의 전문성을 증폭시키는 도구로서의 역할을 보여줍니다. 소수의 전문가가 만든 고품질 판단이 대규모 시스템을 개선할 수 있다는 것은 인간 지능의 가치를 재확인해줍니다.

지속 가능한 AI 개발

환경적, 경제적 관점에서도 이 접근법은 중요합니다. 더 적은 데이터로 더 나은 성능을 달성함으로써 컴퓨팅 자원의 효율적 사용과 개발 비용 절감을 동시에 실현합니다.

결론: 데이터 병목의 돌파구

Google의 이 연구는 AI 개발의 가장 큰 병목 중 하나인 고품질 훈련 데이터 부족 문제에 대한 실용적 해결책을 제시했습니다. 10,000배 적은 데이터로 더 나은 성능을 달성한다는 것은 단순한 효율성 개선을 넘어선 패러다임의 전환입니다.

특히 빠르게 변화하는 도메인에서 소수의 예시만으로도 모델을 재훈련할 수 있다는 점은 적응적 AI 시스템의 가능성을 보여줍니다. 새로운 위협이나 정책 변경에 신속하게 대응할 수 있는 유연한 시스템을 구축할 수 있죠.

결국 이 연구가 보여주는 것은 AI의 미래가 단순히 더 큰 모델이나 더 많은 데이터에 있는 것이 아니라, 인간의 전문성과 AI의 확장성을 지혜롭게 결합하는 것에 있다는 점입니다. 데이터 병목을 벗어나 더 효율적이고 지속 가능한 AI 개발의 길을 열어준 혁신적 연구라 할 수 있습니다.

원본 정보

제목: Achieving 10,000x training data reduction with high-fidelity labels
출처: Google Research Blog
저자: Markus Krause (Engineering Manager), Nancy Chang (Research Scientist)
소속: Google Ads
발행일: 2025년 8월 7일
핵심 키워드: 능동 학습, LLM 파인튜닝, 데이터 효율성, 광고 안전성

AI 연구 혁신 - Google의 데이터 효율성 돌파구

1만 배 적은 데이터로 더 나은 AI를 만드는 방법

[plurality(surely8340)]

좀 더 보기좋게 접근해보고 싶은데 디시 내부 css 제약이 너무 심해서 어렵다

[초존도초(htr3c654r6ft)]

https://gall.dcinside.com/thesingularity/764100
이거 써보세여

[익명(mars8054)]

고마워. 근데 작은 모델은 효과가 없으면 결국 모델 크기의 중요성이 극적으로 줄어들지는 않는거 같기도 하고

[plurality(surely8340)]

개인보단 기업입장에서 혁신인둣 - dc App

[ㅇㅇ 1(175.215)]

ㄱㅅㄱㅅ 나도 며칠전에 기사 링크만 특갤에 퍼오고 아직 다 안읽었는데 이걸로 먼저 읽어봐야겠다

[plurality(surely8340)]