GPT-4o 이전에는 음성 모드를 사용하여 평균 2.8초(GPT-3.5)와 5.4초(GPT-4)의 지연 시간으로 ChatGPT와 대화할 수 있었습니다. 이를 위해 음성 모드는 세 개의 개별 모델로 구성된 파이프라인으로 구성됩니다. 하나의 단순 모델이 오디오를 텍스트로 변환하고, GPT-3.5 또는 GPT-4가 텍스트를 받아 텍스트를 출력하며, 세 번째 단순 모델이 해당 텍스트를 다시 오디오로 변환하는 방식입니다. 이 과정에서 주요 인텔리전스 소스인 GPT-4는 톤, 여러 화자 또는 배경 소음을 직접 관찰할 수 없고 웃음, 노래, 감정 표현을 출력할 수 없는 등 많은 정보를 잃게 됩니다.

하지만 GPT-4o는 텍스트, 시각, 오디오에 걸쳐 하나의 새로운 모델을 엔드투엔드로 훈련시켜 모든 입력과 출력을 동일한 신경망으로 처리할 수 있게 했습니다. GPT-4o는 이러한 모든 양식을 결합한 최초의 모델이기 때문에 이 모델이 할 수 있는 일과 그 한계를 탐색하는 것은 아직 시작 단계에 불과합니다.

https://openai.com/index/hello-gpt-4o/

Just a moment...Just a moment...openai.com