Elige un modelo por el trabajo que debe realizar, no por una lista de popularidad. Esta hoja convierte una necesidad concreta en una comparación reproducible de calidad, latencia, contexto, manejo de datos, modalidad, integración y presupuesto, con un resultado que puedes volver a probar.
Cuándo usarlo y cuándo no
Úsalo antes de integrar un modelo en un flujo de soporte, análisis, redacción, clasificación o automatización. No lo uses para declarar un ganador universal ni para copiar rankings, precios o especificaciones que puedan cambiar. Considera una auditoría de negocio solo si la comparación se repite, participa un equipo, existe volumen o gasto significativo, se procesan datos sensibles o hay un cuello de botella material. Si no, reutiliza esta hoja o usa el asistente general de Quest para preparar el protocolo de prueba.
Hoja de decisión
Define la tarea y asigna pesos que sumen 100:
| Criterio | Pregunta | Peso |
|---|---|---|
| Tarea | ¿Qué debe producir o decidir? | |
| Calidad requerida | ¿Qué errores son aceptables? | |
| Latencia | ¿Qué tiempo de respuesta necesita el usuario? | |
| Contexto | ¿Qué longitud y memoria de entrada requiere? | |
| Manejo de datos | ¿Qué retención, controles y residencia exige? | |
| Modalidad | ¿Texto, imagen, audio, archivos o combinaciones? | |
| Integración | ¿Qué API, formatos, herramientas y observabilidad? | |
| Presupuesto | ¿Qué banda mensual o por tarea es sostenible? |
Registra restricciones obligatorias, volumen estimado, idiomas, evaluación humana disponible y fecha de revisión. Usa bandas de coste, por ejemplo baja, media o alta, y confirma el coste real en la configuración elegida. No publiques precios exactos como si fueran estables.
Flujo de trabajo
- Describe un caso de uso y un conjunto pequeño de entradas representativas, sin datos sensibles.
- Define una salida aceptable y ejemplos de errores críticos, menores y tolerables.
- Trata la tarea como requisito común, asigna pesos a los siete criterios puntuables y marca cualquier otro requisito que sea “debe cumplir”.
- Selecciona dos o tres candidatos plausibles sin asumir que uno gana por reputación.
- Verifica, en la documentación disponible para tu cuenta, las capacidades necesarias. Si falta información, anótala como desconocida.
- Ejecuta la misma prueba en el entorno o API de cada candidato, manteniendo entrada, configuración y contexto comparables cuando sea posible.
- Mide calidad con una rúbrica, latencia observada, tasa de rechazo, coste por tarea y esfuerzo de integración.
- Puntúa cada criterio de 1 a 5 y calcula puntuación ponderada.
- Forma una lista corta de uno o dos candidatos y registra los riesgos de la elección.
- Define una prueba de aceptación, fecha de revisión y condición de reversión.
Ejemplo: respuestas para una tienda online
Una tienda recibe 600 consultas mensuales en español e inglés. Necesita respuestas correctas sobre políticas suministradas, latencia inferior a unos segundos y exclusión de datos de pago. Calidad pesa 35, manejo de datos 20, integración 15, latencia 10, contexto 8, presupuesto 9 y modalidad 3, mientras que la tarea se trata como requisito común. Los pesos suman 100. Dos candidatos obtienen puntuaciones similares. El primero responde mejor a casos ambiguos, el segundo integra con menos trabajo. La lista corta propone probar ambos durante una semana con 50 consultas anonimizadas. No se afirma un ganador hasta revisar exactitud, coste por tarea y escalados.
Artefacto final copiable: ficha comparativa
# Ficha de comparación de modelos
Tarea:
Equipo y fecha:
Volumen estimado:
Datos permitidos:
Criterios obligatorios:
## Pesos
- Calidad: __%
- Latencia: __%
- Contexto: __%
- Manejo de datos: __%
- Modalidad: __%
- Integración: __%
- Presupuesto: __%
## Candidatos
| Candidato | Calidad 1-5 | Latencia 1-5 | Contexto 1-5 | Datos 1-5 | Modalidad 1-5 | Integración 1-5 | Presupuesto 1-5 | Puntuación ponderada |
|---|---:|---:|---:|---:|---:|---:|---:|---:|
| A | | | | | | | | |
| B | | | | | | | | |
| C | | | | | | | | |
## Banda de coste
Baja / media / alta:
Supuestos de volumen y configuración:
Qué falta confirmar:
## Lista corta y prueba
Candidatos:
Casos de aceptación:
Métricas:
Fecha de revisión:
Condición de reversión:
Comprobaciones de fallo y seguridad
No uses datos reales de clientes para comparar sin autorización; anonimiza y minimiza las entradas. Controla aleatoriedad y conserva prompts, versiones de evaluación y fecha. Comprueba que una mejora de calidad no oculta un aumento de latencia, coste o exposición de datos. Trata como desconocida cualquier capacidad no documentada o no probada. No confundas contexto máximo declarado con calidad útil en tu tarea. Repite pruebas con casos límite, idiomas y formatos reales. Si la información es insuficiente, prueba cada candidato en su propio entorno o API y registra observaciones en vez de afirmar un ganador. Puedes usar el asistente general de Quest para revisar el protocolo, no para simular varios modelos. Revisa periódicamente la decisión porque capacidades, condiciones y costes cambian.
Como siguiente paso, ejecuta la prueba de aceptación con la lista corta y archiva la ficha. Solicita una auditoría de negocio solo si la comparación es recurrente, colaborativa, de volumen o gasto relevante, sensible o que crea un bloqueo relevante.