GPT-Realtime-Whisper: transcripción de audio en tiempo real con OpenAI
GPT-Realtime-Whisper es un modelo streaming speech-to-text de OpenAI diseñado para convertir audio en vivo en texto con baja latencia. Produce transcript deltas mientras continúa llegando el audio y permite desarrollar subtítulos, reuniones, llamadas, herramientas de accesibilidad y aplicaciones de transcripción Realtime.
¿Qué es GPT-Realtime-Whisper?
GPT-Realtime-Whisper es un modelo de OpenAI especializado en transcripción streaming de audio en vivo. Recibe audio como entrada y devuelve texto progresivamente, permitiendo mostrar una transcripción antes de que la persona termine de hablar.
Principales capacidades de GPT-Realtime-Whisper
El modelo está específicamente orientado a transcripción streaming de baja latencia.
Audio en vivo
Procesa audio mientras continúa entrando.
Transcript deltas
Devuelve partes del texto progresivamente.
Baja latencia
Está diseñado para experiencias que necesitan resultados rápidos.
Latencia vs precisión
Permite diseñar experiencias donde se equilibra rapidez y exactitud.
Contexto de 16K
La ficha oficial publica 16.000 tokens de contexto.
Realtime API
Puede utilizarse dentro de sesiones de transcripción Realtime.
Cómo funciona GPT-Realtime-Whisper
El audio entra continuamente y el modelo genera texto de forma incremental.
Capturas audio
Micrófono, llamada, reunión o stream.
El modelo procesa
El audio se interpreta mientras sigue llegando.
Recibes texto
La transcripción aparece progresivamente.
Características técnicas de GPT-Realtime-Whisper
| Característica | GPT-Realtime-Whisper |
|---|---|
| ID | gpt-realtime-whisper |
| Tipo | Streaming Speech-to-Text |
| Audio | Entrada |
| Texto | Entrada y salida |
| Imagen | No soportada |
| Video | No soportado |
| Streaming | Sí |
| Context window | 16.000 tokens |
| Máximo output | 2.000 tokens |
| Knowledge cutoff | 30 de septiembre de 2024 |
| Function Calling | No soportado |
| Structured Outputs | No soportado |
| Fine-tuning | No soportado |
GPT-Realtime-Whisper para audio en vivo
La principal diferencia frente a una transcripción tradicional está en cuándo comienza el procesamiento.
Transcripción tradicional
Normalmente trabajas con un archivo que ya existe.
GPT-Realtime-Whisper
El audio puede procesarse mientras todavía está siendo capturado.
Texto progresivo con GPT-Realtime-Whisper
El modelo puede entregar fragmentos de la transcripción antes de disponer del turno completo.
La transcripción crece mientras se habla
Audio:
"Necesito cambiar la fecha de mi reserva..."
Delta 1:
"Necesito"
Delta 2:
"Necesito cambiar la fecha"
Delta 3:
"Necesito cambiar la fecha de mi reserva"Conforme llega más audio, una aplicación debe estar preparada para actualizar o consolidar el texto mostrado.
Equilibrio entre latencia y precisión
OpenAI posiciona GPT-Realtime-Whisper para escenarios donde los desarrolladores necesitan ajustar la relación entre velocidad y exactitud.
Menor latencia
El texto aparece antes, mejorando la sensación de respuesta inmediata.
Más contexto acústico
Esperar algo más puede permitir disponer de mayor contexto antes de confirmar.
Subtítulos, call centers y reuniones pueden necesitar compromisos diferentes entre rapidez y estabilidad.
Seleccionar GPT-Realtime-Whisper en una sesión
En una integración Realtime, el modelo se identifica mediante su ID.
Configuración conceptual
{
"model": "gpt-realtime-whisper"
}El patrón Realtime es diferente de una petición HTTP convencional donde envías un archivo completo y esperas una respuesta.
Endpoints Realtime relacionados con GPT-Realtime-Whisper
La ficha actual del modelo lo sitúa dentro del ecosistema Live y Realtime de OpenAI.
| Endpoint | Uso |
|---|---|
/v1/live/sessions |
Sesiones Live |
/v1/realtime |
Conexiones Realtime |
/v1/realtime/transcription_sessions |
Sesiones específicas de transcripción |
Arquitectura básica de una transcripción Realtime
El micrófono captura audio.
La aplicación divide el audio en fragmentos.
Los fragmentos se envían a la sesión.
GPT-Realtime-Whisper procesa el audio.
Llegan transcript deltas.
La interfaz actualiza el texto.
Ventana de contexto de GPT-Realtime-Whisper
La ficha oficial publica límites específicos de contexto y salida.
16.000 tokens
Ventana de contexto publicada para el modelo.
2.000 tokens
Máximo de salida publicado.
Qué entradas y salidas admite GPT-Realtime-Whisper
| Modalidad | Entrada | Salida |
|---|---|---|
| Texto | Sí | Sí |
| Audio | Sí | No |
| Imagen | No | No |
| Video | No | No |
GPT-Realtime-Whisper recibe audio y genera texto. Si necesitas que el modelo también responda hablando, utiliza un modelo Realtime con audio output.
Qué funciones admite GPT-Realtime-Whisper
| Función | Compatibilidad |
|---|---|
| Streaming | Sí |
| Function Calling | No |
| Structured Outputs | No |
| Fine-tuning | No |
| Predicted Outputs | No |
GPT-Realtime-Whisper puede transcribir. Después, otro modelo puede analizar la transcripción, usar herramientas o generar estructuras JSON.
GPT-Realtime-Whisper vs Whisper
Ambos comparten la intención de speech recognition, pero responden a arquitecturas distintas.
| Aspecto | GPT-Realtime-Whisper | Whisper |
|---|---|---|
| Orientación | Realtime streaming | Reconocimiento general |
| Audio live | Sí | No es su arquitectura moderna principal |
| Transcript deltas | Sí | No es su enfoque principal |
| Latencia ajustable | Diseñado para ello | Más limitado |
| Uso ideal | Transcripción en vivo | Workflows tradicionales |
GPT-Realtime-Whisper vs GPT-Live-Transcribe
Actualmente OpenAI mantiene ambos modelos como opciones de transcripción Realtime.
| Aspecto | GPT-Realtime-Whisper | GPT-Live-Transcribe |
|---|---|---|
| Tipo | Streaming speech-to-text | Low-latency speech-to-text |
| Audio live | Sí | Sí |
| Transcript deltas | Sí | Sí |
| Prioridad | Realtime Whisper | Modelo live más reciente |
| Precio actual por minuto | US$0,017 | US$0,017 |
La latencia, acentos, ruido y vocabulario pueden influir en qué modelo resulta mejor para tu aplicación.
Ver GPT-Live-Transcribe →GPT-Realtime-Whisper vs GPT-Transcribe
| Aspecto | GPT-Realtime-Whisper | GPT-Transcribe |
|---|---|---|
| Prioridad | Baja latencia | Alta precisión |
| Audio en vivo | Especializado | Compatible en flujos Realtime |
| Archivos | No es su foco principal | Sí |
| Contexto / hints | No es su diferenciador principal | Contexto, keywords y language hints |
| Precio por minuto | US$0,017 | US$0,0045 |
Cuánto cuesta GPT-Realtime-Whisper
Este modelo no se factura principalmente mediante tokens de texto, sino por duración del audio Realtime.
Pricing por duración del audio
La ficha oficial publica actualmente un precio de US$0,017 por minuto de audio Realtime.
Sesenta minutos de audio, multiplicados por US$0,017, equivalen aproximadamente a US$1,02 con el precio actual.
Límites de GPT-Realtime-Whisper
En este modelo, OpenAI publica el límite en minutos de audio procesables por minuto.
| Tier | Minutos de audio por minuto |
|---|---|
| Free | No soportado |
| Tier 1 | 100 |
| Tier 2 | 350 |
| Tier 3 | 650 |
| Tier 4 | 1.000 |
| Tier 5 | 1.300 |
Al tratarse de un modelo especializado de audio, la ficha actual expresa capacidad como minutos de audio por minuto.
Alias y snapshots de GPT-Realtime-Whisper
La ficha actual únicamente muestra el alias principal del modelo.
gpt-realtime-whisper
Actualmente no aparece un snapshot fechado adicional distinto del alias principal.
GPT-Realtime-Whisper para subtítulos en vivo
Los transcript deltas permiten actualizar una interfaz mientras una persona habla.
Capturas el micrófono.
Envías audio continuamente.
Recibes texto parcial.
Actualizas el subtítulo.
Consolidas el segmento final.
Transcribir llamadas mientras ocurren
La transcripción en tiempo real permite usar información de una llamada antes de que termine.
Ayudar al agente
La transcripción puede activar búsquedas, sugerencias o información relevante.
Analizar conversaciones
Otro modelo puede procesar el texto recibido durante la llamada.
GPT-Realtime-Whisper para reuniones
Mostrar subtítulos en vivo.
Crear notas progresivamente.
Guardar una transcripción final.
Generar un resumen después.
Extraer tareas y decisiones.
Transcripción Realtime para accesibilidad
Los subtítulos automáticos pueden hacer que una conversación o presentación sea accesible mediante texto.
Texto mientras ocurre el evento
Clases, reuniones, conferencias y transmisiones pueden mostrar contenido hablado como texto casi inmediatamente.
Procesar una transcripción Realtime con otro modelo
GPT-Realtime-Whisper se ocupa de convertir voz en texto. Ese texto puede alimentar otro sistema.
GPT-Realtime-Whisper genera texto.
El backend recibe la transcripción.
Otro modelo analiza el contenido.
Extraes intención, resumen o acciones.
Actualizas un CRM, ticket o aplicación.
GPT-Realtime-Whisper + Structured Outputs
El modelo no soporta Structured Outputs directamente, pero puedes encadenar otro modelo.
Separar transcripción y extracción
La primera etapa convierte el audio en texto. Una segunda etapa transforma la transcripción en datos estructurados.
{
"intencion": "cambiar_reserva",
"fecha_solicitada": "mañana",
"urgencia": "normal",
"accion": "consultar_disponibilidad"
}Casos de uso de GPT-Realtime-Whisper
Subtítulos: convertir voz en texto mientras ocurre.
Call centers: transcribir llamadas en directo.
Reuniones: generar notas en vivo.
Educación: subtitular clases y conferencias.
Accesibilidad: ofrecer live captions.
Automatización: utilizar voz como entrada de workflows.
Cuándo conviene usar GPT-Realtime-Whisper
Audio en vivo
El audio todavía está llegando cuando necesitas el texto.
Baja latencia
La interfaz necesita mostrar resultados rápidamente.
Whisper Realtime
Quieres utilizar específicamente esta rama streaming de transcripción.
Cuándo elegir otro modelo de transcripción
Prioridad absoluta en precisión
Evalúa GPT-Transcribe para archivos y transcripciones de alta precisión.
Modelo live actual
Compara GPT-Live-Transcribe para nuevos desarrollos Realtime.
Necesitas separar hablantes
GPT-4o Transcribe Diarize añade speaker diarization.
Protege las sesiones de GPT-Realtime-Whisper
No expongas API keys permanentes.
Autentica a los usuarios.
Controla la duración de las sesiones.
Limita consumo por usuario.
Protege las transcripciones.
Privacidad en transcripción de audio en vivo
Las conversaciones pueden contener información personal, comercial o confidencial.
Define reglas claras para audio y texto
Evalúa consentimiento, almacenamiento, permisos, retención y eliminación según tu aplicación y jurisdicción.
Documentación oficial de GPT-Realtime-Whisper
Precios, modelos y límites pueden evolucionar.
GPT-Realtime-Whisper
Consulta pricing, modalidades, contexto, streaming, endpoints y rate limits.
Ver ficha oficial →Guías relacionadas con GPT-Realtime-Whisper
FAQ sobre GPT-Realtime-Whisper
Respuestas sobre Realtime, Whisper, transcript deltas, precio, contexto y límites.
GPT-Realtime-Whisper es un modelo streaming speech-to-text de OpenAI para transcribir audio en vivo con baja latencia.
Sí. Streaming es una capacidad soportada oficialmente por el modelo.
Son fragmentos incrementales de texto que llegan mientras continúa entrando audio.
La ficha oficial publica actualmente un precio de US$0,017 por minuto de audio Realtime.
GPT-Realtime-Whisper dispone actualmente de una ventana de contexto publicada de 16.000 tokens.
La ficha oficial publica un máximo de 2.000 tokens de salida.
No. Audio está soportado como entrada, pero el modelo está diseñado para devolver transcripción en texto.
No. La ficha oficial marca Function Calling como no soportado.
Ambos están orientados a transcripción Realtime. Para proyectos nuevos, conviene comparar precisión y latencia con audio real de la aplicación.
La ficha oficial actual indica que Free no está soportado para GPT-Realtime-Whisper.
Explora Realtime API de OpenAI
Ya cubrimos GPT-Realtime-Whisper y los principales modelos de transcripción. Ahora puedes profundizar en la arquitectura completa de Realtime API: sesiones, audio, eventos, streaming y agentes de voz.
Ver Realtime API →