Conecta un modelo. Dale contexto. Añade herramientas. Comprueba que funciona. Así se forma el criterio de un ingeniero de IA.
$ run asistente --con-evidencia
› ¿Cómo recupero mi cuenta?
01 recuperar guía_cuentas.md
02 generar respuesta + fuente
03 verificar esquema · evidencia
{
"respuesta": "Solicita un enlace…",
"fuente": "guía_cuentas.md#recuperar",
"estado": "verificado"
}Construye un asistente de documentación. En cada etapa añade una capacidad y conserva una evidencia reproducible.
Aprende HTTP, mensajes, streaming y salidas estructuradas. Usa un adaptador para poder cambiar de proveedor.
Implementa una llamada desde backend. Valida status HTTP y JSON; registra latencia sin guardar secretos. Añade timeout y prueba una respuesta inválida.
Tu evidencia: Un script reproducible con un caso correcto y otro con timeout.
Distingue ventana de contexto, memoria persistente y RAM/VRAM. Cada una resuelve un problema diferente.
Reserva tokens para instrucciones, documentos y salida. Recorta o resume historial. Guarda sólo hechos útiles con usuario, origen, fecha y caducidad. En local, mide RAM/VRAM: pesos, caché KV y concurrencia también consumen memoria.
Tu evidencia: Un presupuesto de tokens y una política de guardar, recuperar y borrar.
Recupera información relevante antes de generar. El modelo necesita evidencia, no todo tu archivo.
Divide documentos, conserva metadatos e indexa embeddings. Recupera fragmentos, filtra permisos y exige citas. Prueba una pregunta cuya respuesta no esté en los documentos.
Tu evidencia: Respuestas con referencias verificables y abstención cuando falte evidencia.
Expón operaciones claras y limitadas mediante un contrato de herramientas.
Define nombre, descripción y esquema de entrada. Un host conecta clientes a servidores MCP. Prueba con Inspector y comienza con una consulta de sólo lectura. Valida argumentos y permisos en el servidor; MCP no sustituye autorización.
Tu evidencia: Una herramienta consultable con entrada válida, inválida y acceso denegado.
Convierte “parece funcionar” en casos, métricas y errores que puedes reproducir.
Separa fallos de conexión, recuperación, generación y herramientas. Crea casos normales, ambiguos y adversarios. Mide exactitud de tarea, respaldo de citas, latencia y coste. Combina asserts con revisión humana.
Tu evidencia: Un conjunto versionado de casos y una comparación antes/después.
Construye el entorno que coordina modelo, herramientas, estado, límites y trazas.
Limita pasos, tiempo y gasto. Reintenta sólo errores transitorios con backoff; usa idempotencia para evitar efectos duplicados. Registra tool calls, permite cancelar y pide aprobación antes de escrituras sensibles.
Tu evidencia: Una ejecución trazable que se detiene de forma segura al agotar su presupuesto.
Tu progreso se guarda sólo en este navegador. Marcar una etapa es una autoevaluación; conserva tus entregables.
Empieza con una llamada sencilla. Añade recuperación, estado y herramientas cuando el problema lo justifique.
El harness prepara el contexto, llama al modelo y controla las acciones. RAG aporta evidencia; la memoria conserva estado seleccionado; MCP conecta capacidades externas.
Las evals comprueban el comportamiento del conjunto. Una buena respuesta aislada no demuestra que el sistema sea fiable.
Explorar las conexiones ↗↳ El harness selecciona contexto y ejecuta herramientas con permisos.
Comprende qué aporta cada capa y cómo saber cuándo falla.
En nube consumes una API y gestionas autenticación, límites y coste. En local operas el runtime y dimensionas hardware, modelo y concurrencia.
Comprueba: timeout, disponibilidad y formato de salida en ambos entornos.
Protocolo para conectar aplicaciones de IA con herramientas, recursos y prompts. El host mantiene clientes que se comunican con servidores.
Comprueba: esquemas, permisos y fallos de cada herramienta.
Recuperación aumentada para la generación: busca fragmentos relevantes y pásalos como contexto con su procedencia. No reentrena el modelo.
Comprueba: relevancia de recuperación y respaldo real de las citas.
El historial ocupa contexto; una base persistente conserva hechos entre sesiones. La RAM y VRAM son recursos de ejecución, no recuerdos del agente.
Comprueba: aislamiento por usuario, caducidad y borrado.
Casos y criterios repetibles para medir una tarea. Versiona datos, prompts y modelo para comparar cambios sin engañarte con ejemplos favorables.
Comprueba: regresiones, abstención, coste y latencia.
La infraestructura que envuelve al modelo: bucle de ejecución, herramientas, estado, presupuestos, permisos y observabilidad.
Comprueba: parada, cancelación y recuperación ante fallos.
Ejemplos para adaptar a tu proyecto. Esta página no conecta modelos ni necesita tus credenciales.
Activa JavaScript para cambiar entre ejemplos. Usa un backend para proteger las claves de nube.El ejemplo es una referencia; adapta el modelo y endpoint a tu entorno.
Un asistente de documentación debe reconocer cuándo no tiene evidencia. La calidad también se mide por lo que decide no afirmar.
caso A → respuesta con fuente
caso B → pregunta fuera del corpus
criterio → evidencia o abstenciónEsperando ejecución. Resultados ilustrativos, sin inferencia real.
Entrega un asistente que responda sobre tres documentos, cite sus fuentes y se abstenga cuando no sabe.
Profundiza en la documentación original y verifica las APIs antes de implementar.