DALL·E 3 System Card

OpenAI

October 3, 2023



Introduction 정리


1. DALLE3는 텍스트 프롬프트를 입력으로 받아 새로운 이미지를 생성하는 인공 지능 시스템입니다.


2. 우리는 DALLE3를 ChatGPT의 이미지 생성 구성요소로 포함시켰습니다.


3. 유저는 GPT-4를 사용해 자연어로 소통할 수 있으며,

GPT-4는 이를 바탕으로 DALLE3에 사용될 프롬프트를 합성하여 직접 전달합니다.


4. 우리는 이런 과정을 정밀하게 튜닝하여

유저.가 GPT-4에게 상대적으로 모호한 이미지 생성 요청을 하더라도

GPT-4는 더 자세한 프롬프트를 만들어 DALLE3에게 전달하여

보다 흥미롭고 다양한 이미지를 생성할 수 있게합니다.



Deployment Preparation (개발 준비) 정리


1. 우리는 DALLE3의 초기 프로토타입을 소수의 ChatGPT 유저에게 제공했습니다.

(디스코드상에서 믿을 수 있는 유저들을 선별)


2. 알파 유저들로부터 수집한 데이터를 바탕으로 DALLE3의 성능을 보다 높이면서 안전도 챙겼습니다.

(편견, 인종차별 컨텐츠 등)


3. DALLE3 초기 알파 버전의 분석 결과 2.6% 미만의 이미지들에서

공인(공적으로 알려진 사람)의 이미지를 생산한다는 것을 알았습니다.


4. 이를 해결하기 위해 RED TEAM의 노력을 기울였고

특정 공인들에 대한 blocklist를 확장하는 한편,

이미지 생성 뒤에 후처리로 공인을 제거하려고 노력했습니다.


5. 또한 알파 버전에서 '사람'에 대한 이미지는

대부분 '백인', '젊은', '여성'을 담고있다는 것을 알았고

ChatGPT를 튜닝하여 보다 다양한 인간을 생성하도록 프롬프트를 유도했습니다.


그 뒤로는 쭉 대충 성별/인종 등 편견 제거하기 위해 노력했다는 내용들 쭉



검열에 대한 내용


1. 이전 연구들에서 비전-언어 모델들은 girls나 women들에 대해

성적인 표현을 하는 경향이 있다고 알려졌습니다.


2. DALLE3 역시 초기버전에서는 성적인(Sexual) 콘텐츠들을

자주 만드는 경향이 있었기에 이를 줄이고자 노력했습니다.

초기 버전엔 벗고 있는데 launch 버전에선 껴입고 있는걸 볼 수 있다




그 뒤로도 최대한 인종/성별 등에 편견이 없는

컨텐츠를 생산하기 위해서 힘썼다고하는 내용들



https://cdn.openai.com/papers/DALL_E_3_System_Card.pdf

직접 볼 사람들은 여기서 보삼

(내가 정리한 내용빼곤 별거 없긴함)