Computer Use OpenAI API: cómo controlar interfaces con GPT
Computer Use OpenAI API permite que modelos compatibles de OpenAI interpreten una interfaz visual y soliciten acciones como hacer clic, escribir, desplazarse, arrastrar o interactuar con una aplicación. Mediante Responses API puedes construir agentes capaces de operar navegadores y entornos digitales, manteniendo el control de seguridad dentro de tu propia aplicación.
¿Qué es Computer Use OpenAI API?
Computer Use OpenAI API es una capacidad de Responses API que permite al modelo analizar el estado visual de una computadora y solicitar acciones sobre la interfaz. La aplicación ejecuta esas acciones, captura el nuevo estado y lo devuelve al modelo para continuar el workflow.
Qué permite hacer Computer Use OpenAI API
Computer Use añade interacción visual a los workflows de agentes.
Hacer clic
Seleccionar botones, enlaces, menús y controles visuales.
Escribir
Introducir texto en formularios, buscadores y aplicaciones.
Desplazarse
Navegar por páginas y contenido fuera del área visible.
Arrastrar
Interactuar con elementos que requieren movimientos de arrastre.
Interpretar interfaces
Utilizar capturas para comprender el estado visual.
Automatizar tareas
Combinar varias acciones dentro de workflows de múltiples pasos.
Cómo funciona Computer Use en OpenAI API
Computer Use trabaja mediante un ciclo entre el modelo y el entorno controlado por tu aplicación.
El modelo observa
Recibe información visual del estado actual de la interfaz.
Solicita una acción
Puede pedir un clic, escritura, scroll u otra interacción.
Devuelves el nuevo estado
Tu aplicación ejecuta la acción y entrega una nueva captura.
Computer Use OpenAI API dentro de Responses API
Computer Use forma parte del ecosistema de herramientas disponible para modelos compatibles mediante Responses API.
El modelo solicita acciones
El modelo no controla directamente tu computadora. Responses API devuelve una llamada de herramienta y tu aplicación decide cómo ejecutar esa acción dentro del entorno.
Tú decides qué entorno se utiliza, qué acciones se permiten y cuándo una operación necesita confirmación humana.
Ver Responses API →Cómo habilitar Computer Use OpenAI API
Un modelo compatible puede recibir la herramienta Computer Use dentro de una solicitud de Responses API.
Herramienta Computer Use
{
"model": "gpt-5.6-sol",
"tools": [
{
"type": "computer"
}
],
"input": "Abre el sitio y busca la sección de documentación."
}Computer Use ha tenido versiones preview y una herramienta actual integrada en Responses API. Comprueba siempre la referencia oficial antes de implementar.
Qué es un computer_call
Cuando el modelo necesita interactuar con la interfaz, Responses API puede devolver una llamada de Computer Use.
Acción solicitada por el modelo
El elemento puede incluir un identificador de llamada, la acción solicitada y controles de seguridad asociados a esa operación.
Acciones que puede solicitar Computer Use
Responses API define diferentes tipos de acciones para interactuar con una interfaz.
| Acción | Uso |
|---|---|
| Click | Hacer clic en una coordenada |
| Double click | Ejecutar un doble clic |
| Type | Escribir texto |
| Scroll | Desplazar la interfaz |
| Drag | Arrastrar entre puntos |
| Keypress | Enviar teclas o combinaciones |
| Move | Mover el cursor |
El ciclo de Computer Use paso a paso
La automatización normalmente necesita varias iteraciones hasta alcanzar el objetivo.
Envías el objetivo al modelo.
El modelo recibe el estado visual.
Devuelve una
computer_call.
Tu entorno ejecuta la acción.
Capturas el nuevo estado visual.
Devuelves el resultado a Responses API.
El modelo decide el siguiente paso o finaliza.
Devolver el estado visual al modelo
Después de ejecutar una acción, el modelo necesita conocer el resultado.
Captura después de la acción
Responses API dispone de elementos de salida de Computer Use que pueden contener una captura mediante archivo o URL de imagen.
La siguiente decisión debe basarse en lo que realmente ocurrió después de ejecutar la acción, no en una suposición.
Incluir la imagen de Computer Use en la respuesta
Responses API permite solicitar datos adicionales asociados al output de Computer Use.
computer_call_output.output.image_url
{
"include": [
"computer_call_output.output.image_url"
]
}pending_safety_checks en Computer Use
Computer Use puede generar controles de seguridad pendientes antes de que una acción continúe.
No ignores las comprobaciones
La respuesta de Computer Use
puede incluir
pending_safety_checks.
La aplicación debe procesar
esos controles
antes de ejecutar
operaciones relacionadas.
Acciones sensibles, irreversibles o que involucren consecuencias reales deberían incorporar confirmación explícita.
Ejecuta Computer Use en un entorno controlado
Un agente no debería operar directamente sobre sistemas sensibles sin aislamiento.
Utiliza un navegador o entorno aislado.
Limita credenciales y permisos.
Restringe dominios cuando sea posible.
Separa sesiones entre usuarios.
Registra las acciones ejecutadas.
Protege contraseñas y sesiones
Computer Use puede interactuar con interfaces donde existan datos autenticados.
Usa el mínimo acceso necesario
Evita entregar credenciales administrativas cuando una tarea puede completarse utilizando una cuenta con permisos limitados.
Las páginas pueden contener instrucciones maliciosas
El contenido visible en una interfaz debe considerarse información externa, no una instrucción confiable para el agente.
No permitas que una página redefina el objetivo
Un sitio puede mostrar texto diseñado para intentar modificar el comportamiento del modelo. Mantén las instrucciones de la aplicación separadas del contenido observado.
Modelos compatibles con Computer Use
Los modelos actuales de OpenAI pueden ofrecer soporte para Computer Use mediante Responses API.
| Modelo | Computer Use | Orientación |
|---|---|---|
| GPT-6 Astra | Compatible | Workflows especialmente difíciles |
| GPT-5.6 Sol | Compatible | Trabajo profesional complejo |
| GPT-5.6 Terra | Compatible | Equilibrio capacidad/costo |
| GPT-5.6 Luna | Compatible | Alto volumen y bajo costo |
Selecciona el modelo según complejidad, presupuesto, latencia y confiabilidad necesaria.
Comparar modelos →computer-use-preview y la herramienta actual
OpenAI lanzó inicialmente
un modelo especializado
denominado
computer-use-preview.
El modelo preview ya no debe ser la referencia principal
La documentación actual marca el snapshot histórico de Computer Use Preview como deprecado, mientras los modelos actuales incorporan Computer Use como herramienta de Responses API.
Algunos ejemplos disponibles en Internet todavía utilizan configuraciones específicas del modelo preview.
Computer Use vs Function Calling
Ambos permiten realizar acciones, pero operan de forma diferente.
| Aspecto | Computer Use | Function Calling |
|---|---|---|
| Interfaz | Visual | API / función estructurada |
| Acción | Clic, escritura, scroll | Lógica definida por backend |
| Confiabilidad | Depende de la interfaz | Más determinista |
| Uso ideal | Apps sin API adecuada | Sistemas con integración directa |
Si una operación puede ejecutarse mediante una API estable y bien definida, Function Calling suele ser más robusto que automatizar una interfaz visual.
Ver Function Calling →Computer Use vs MCP
MCP conecta herramientas estructuradas, mientras Computer Use opera directamente sobre interfaces.
| Aspecto | Computer Use | MCP |
|---|---|---|
| Tipo de interacción | Visual | Herramientas estructuradas |
| Interfaz necesaria | Sí | No necesariamente |
| Servidor externo | No obligatorio | Servidor MCP o conector |
| Uso típico | Operar sitios y aplicaciones | Integrar sistemas |
Una herramienta estructurada reduce la dependencia de cambios visuales en una interfaz.
Ver MCP OpenAI API →Casos de uso de Computer Use OpenAI API
Computer Use puede ser útil cuando una tarea necesita interacción visual real.
Navegadores: recorrer páginas y completar workflows.
Sistemas internos: operar software que no dispone de una API adecuada.
Pruebas: recorrer interfaces para validar determinados flujos.
Investigación: navegar por diferentes páginas o aplicaciones.
Backoffice: ejecutar tareas repetitivas con supervisión.
Agentes: utilizar la interfaz como una herramienta dentro de un workflow.
Cuándo no conviene utilizar Computer Use
Automatizar una interfaz no debería ser la primera opción para cada integración.
Cuando existe una API fiable para la misma acción.
Cuando una operación necesita precisión totalmente determinista.
Cuando el entorno contiene información especialmente sensible sin aislamiento adecuado.
Cuando un error visual puede provocar consecuencias irreversibles.
Computer Use dentro de un agente de IA
Computer Use puede combinarse con otras herramientas dentro del mismo sistema.
Web Search
Busca información directamente.
File Search
Consulta documentos internos.
Herramientas externas
Conecta sistemas mediante MCP.
Interfaz visual
Opera aplicaciones cuando necesita interacción gráfica.
Qué acciones deberían requerir confirmación
Cuanto mayor sea el impacto de una acción, mayor debería ser el nivel de supervisión.
| Tipo de acción | Control recomendado |
|---|---|
| Navegar o leer | Supervisión básica |
| Completar un formulario | Validar datos antes del envío |
| Publicar contenido | Confirmación antes de publicar |
| Eliminar información | Confirmación explícita |
| Compras o pagos | Confirmación y controles adicionales |
| Cambios de seguridad | Supervisión estricta |
Registra las acciones de Computer Use
En producción, deberías poder reconstruir qué ocurrió durante un workflow.
Guarda el objetivo inicial.
Registra cada acción solicitada.
Guarda errores y safety checks.
Registra confirmaciones humanas.
Conserva resultados necesarios para auditoría.
Costos de Computer Use OpenAI API
El costo total depende del modelo, tokens y herramientas utilizadas durante el workflow.
Una tarea puede requerir varias iteraciones
Cada ciclo de observación, acción y nueva respuesta puede aumentar el consumo total del workflow.
En agentes, el precio por millón de tokens no siempre representa por sí solo el costo real del producto.
Ver precios OpenAI API →Computer Use y los límites de OpenAI API
Un workflow de varias iteraciones puede consumir considerable capacidad del modelo.
Planifica concurrencia y reintentos
Cuando varios agentes operan simultáneamente, debes controlar rate limits, concurrencia y recuperación ante errores.
Ver límites OpenAI API →Documentación oficial de Computer Use OpenAI API
Computer Use continúa evolucionando, por lo que debes comprobar siempre la referencia actual antes de implementar un agente en producción.
Computer tool en Responses API
Revisa la estructura de computer calls, outputs, capturas, safety checks y modelos compatibles.
Consultar documentación oficial →Guías relacionadas con Computer Use OpenAI API
Continúa explorando herramientas y agentes dentro de OpenAI API.
FAQ sobre Computer Use OpenAI API
Respuestas sobre acciones, modelos, seguridad, agentes y Responses API.
Computer Use OpenAI API permite que modelos compatibles interpreten una interfaz visual y soliciten acciones como clics, escritura y desplazamiento.
Sí. Computer Use está disponible como herramienta para modelos compatibles mediante Responses API.
Puede solicitar acciones como hacer clic, escribir, desplazarse, arrastrar, mover el cursor y utilizar teclas, según la herramienta y configuración disponibles.
Sí. OpenAI publica Computer Use entre las herramientas compatibles con GPT-5.6 Sol mediante Responses API.
Sí. OpenAI publica Computer Use entre las herramientas compatibles de GPT-5.6 Terra y GPT-5.6 Luna.
Es un tipo de llamada de herramienta utilizada para representar una acción solicitada mediante Computer Use.
Son comprobaciones de seguridad asociadas a determinadas llamadas de Computer Use que deben procesarse antes de continuar con acciones sensibles.
No. Computer Use interactúa con interfaces visuales, mientras Function Calling solicita funciones estructuradas ejecutadas por tu backend.
Debe utilizarse dentro de entornos controlados, con permisos mínimos, validaciones y confirmaciones para operaciones sensibles.
Normalmente una API o herramienta estructurada puede ser más robusta y determinista. Computer Use resulta útil cuando la interacción visual es realmente necesaria.
Continúa con Code Interpreter de OpenAI
Ya sabes cómo un agente puede interactuar con interfaces visuales. El siguiente paso es conocer cómo ejecutar código y trabajar con archivos dentro de un entorno controlado.
Ver Code Interpreter →