El problema de medir solo consumo
El consumo de tokens por sí solo engaña. Una factura menor no demuestra que se haya resuelto la tarea, y una mayor no demuestra que se haya desperdiciado el gasto. Necesito ver qué se entregó y cuánto trabajo quedó alrededor.
La comparación que estoy intentando hacer es entre dos formas de resolver la misma tarea, con una calidad equivalente: el trabajo humano y el trabajo asistido por IA. Si uno termina en un resultado utilizable y el otro necesita rehacerse, comparar solo sus costos iniciales no dice mucho.
Cuatro formas de gastar de más
Copiar historiales completos, documentos sin limpiar o contexto irrelevante hace que cada consulta sea más cara sin necesariamente mejorar el resultado.
Si el agente conversa mucho pero no cierra tareas, la empresa paga procesamiento sin saber si hubo valor real.
Flujos que fallan, vuelven a intentar y no registran motivo pueden quemar presupuesto sin aprendizaje.
No todo necesita el modelo más caro. Clasificar, resumir, validar formato o enrutar tickets puede resolverse con estrategias más simples.
Costo humano frente a trabajo asistido por IA
Para el trabajo humano, quiero registrar el tiempo de ejecución, revisión y corrección. Para el flujo con IA, necesito sumar el consumo y las herramientas al tiempo que una persona dedica a preparar el contexto, dirigir, validar y corregir.
Es una forma de organizar la comparación, no un ahorro que ya haya demostrado. Todavía queda pendiente hacer un seguimiento consistente de si la IA se está usando adecuadamente y de qué pasa después de entregar el resultado.
Métricas que quiero seguir
Costo del flujo completo dividido por las tareas aceptadas como resueltas. Además de los tokens, quiero incluir la intervención humana y los reintentos necesarios para llegar a ese punto.
Tiempo total antes y después de incorporar IA, incluyendo revisión y correcciones. Terminar de generar una respuesta no es lo mismo que terminar el trabajo.
Qué casos necesitan intervención humana y por qué. Pedir ayuda en una decisión que la requiere puede ser correcto; lo que quiero identificar es cuándo se repite trabajo por falta de contexto o de reglas.
Si el resultado cumple lo pedido y sirve al usarlo. Quiero distinguir las pruebas que comprueban ese comportamiento de las que pasan sin detectar el problema que importaba.
El seguimiento que falta completar
Estos son los datos que quiero reunir de forma consistente. Es una propuesta de seguimiento; todavía no doy por cerrada su implementación.
- Tarea y condiciones: qué había que resolver y con qué criterio se considera terminado.
- Referencia humana: cuánto esfuerzo habría requerido resolverla sin el flujo de IA. Si es una estimación y no una medición, dejarlo indicado.
- Costo asistido: consumo, herramientas, preparación, supervisión, revisión y correcciones.
- Resultado: qué quedó aceptado, pendiente o hubo que rehacer.
- Calidad en uso: si el resultado sirvió después de entregarlo y qué errores aparecieron.
- Decisión: mantener ese uso, ajustarlo o resolver ese tipo de tarea de otra manera.
Qué aporta un orquestador aquí
El registro de un flujo puede ayudar a relacionar qué agente trabajó, qué ejecutó el runner, dónde hubo reintentos y qué resultado llegó al final. Eso aporta contexto al gasto, pero no sustituye la revisión de si se resolvió la necesidad original.
En un reporte semanal, compararía el tiempo de prepararlo y revisarlo manualmente con el consumo de IA más la preparación del contexto y la revisión del reporte generado. Después comprobaría si llegó a tiempo, si la información era correcta y si hubo que corregirlo. Es un ejemplo de cómo haría la comparación, no un resultado medido.
Regla práctica
Primero define qué resultado necesitas y cómo lo aceptarías. Después compara el esfuerzo completo de obtenerlo por cada vía. Con esa referencia puedes decidir dónde reducir contexto, cambiar de modelo o ajustar las instrucciones sin perder la calidad que importa.
Lo que tengo claro y lo que falta
El costo por tarea resuelta, el tiempo ahorrado y la calidad cuentan mucho más que mirar tokens aislados. Lo pendiente es seguir el uso real con suficiente consistencia para saber cuándo la IA ayuda, cuánto trabajo humano sigue requiriendo y cuándo conviene cambiar el enfoque.