Reduce regresiones en aplicaciones LLM PromptTest permite comprobar si un cambio de prompt rompe comportamientos que antes funcionaban, evitando despliegues basados en intuición.
1
Mejora la colaboración entre negocio y tecnología Producto, QA, soporte, legal o negocio pueden participar en criterios de evaluación, haciendo que la calidad no dependa solo del equipo técnico.
Personaliza el temario al 100% para tu equipo
Diseñamos una formación a medida utilizando los documentos y flujos de trabajo reales de tu empresa.
Nueva Plataforma de E-learningFormación en directo con plataforma de apoyo para reforzar el aprendizaje
Acceso a las grabaciones
Los alumnos podrán revisar las sesiones grabadas para repasar conceptos clave, recuperar explicaciones concretas o reforzar aquellos contenidos que necesiten después de la clase en directo.
Recursos formativos
Materiales, sesiones grabadas y documentación de apoyo quedan centralizados en la plataforma para que el equipo pueda consultarlos durante y después de la formación.
Confirmación de asistencia
La plataforma permite registrar y confirmar la asistencia de los participantes, facilitando el seguimiento de la formación y la gestión documental necesaria para la bonificación FUNDAE.
Programa formativo
Temario del curso
Encuentra todo el temario del curso aquí.
Temario
Comprender por qué los prompts deben probarse con la misma disciplina que otros activos de software.
Analizar el riesgo de validar prompts manualmente con pocos ejemplos y sin cobertura suficiente.
Diferenciar prompt engineering, prompt testing, LLM evaluation, red teaming, observabilidad y monitorización.
Entender por qué los LLMs son no deterministas y cómo esto afecta al diseño de pruebas.
Identificar fallos habituales: formato incorrecto, tono inadecuado, alucinaciones, respuestas incompletas y pérdida de instrucciones.
Revisar casos donde un pequeño cambio de prompt rompe comportamientos que antes funcionaban.
Diferenciar pruebas funcionales, pruebas de formato, pruebas de regresión, pruebas de seguridad y pruebas de robustez.
Situar PromptTest como herramienta CLI para escribir pruebas simples y ejecutarlas de forma repetible.
Definir qué significa “pasar” una prueba cuando la salida no siempre será idéntica.
Preparar el caso base del curso: asistente empresarial con prompts versionados, tests y reportes.
Comprender por qué los prompts deben probarse con la misma disciplina que otros activos de software.
Analizar el riesgo de validar prompts manualmente con pocos ejemplos y sin cobertura suficiente.
Diferenciar prompt engineering, prompt testing, LLM evaluation, red teaming, observabilidad y monitorización.
Entender por qué los LLMs son no deterministas y cómo esto afecta al diseño de pruebas.
Identificar fallos habituales: formato incorrecto, tono inadecuado, alucinaciones, respuestas incompletas y pérdida de instrucciones.
Revisar casos donde un pequeño cambio de prompt rompe comportamientos que antes funcionaban.
Diferenciar pruebas funcionales, pruebas de formato, pruebas de regresión, pruebas de seguridad y pruebas de robustez.
Situar PromptTest como herramienta CLI para escribir pruebas simples y ejecutarlas de forma repetible.
Definir qué significa “pasar” una prueba cuando la salida no siempre será idéntica.
Preparar el caso base del curso: asistente empresarial con prompts versionados, tests y reportes.
Usar variables para probar el mismo prompt con diferentes datos y escenarios.
Diseñar datasets pequeños para desarrollo rápido y datasets amplios para evaluación completa.
Evitar suites de prueba formadas solo por ejemplos felices.
Crear datos anonimizados para evitar exponer información real de clientes o empleados.
Preparar inputs multilingües, con faltas, abreviaturas, ruido, lenguaje informal y formatos inesperados.
Identificar qué variables afectan más al comportamiento del prompt.
Separar datos de test de prompts y criterios para facilitar mantenimiento.
Realizar ejercicio de construcción de dataset de pruebas para un asistente corporativo.
Tema 6: Ejecución de pruebas y lectura de resultados
Ejecutar todas las pruebas del proyecto desde la CLI.
Ejecutar tests concretos por archivo, carpeta o identificador cuando se investiga un fallo.
Interpretar resultados pass/fail en consola y localizar tests fallidos.
Revisar informes Markdown con detalle de entrada, respuesta, criterio y evaluación.
Analizar si un fallo corresponde al prompt, al criterio, al input, al modelo o a la variabilidad esperada.
Repetir pruebas para detectar inestabilidad y resultados inconsistentes.
Registrar fallos significativos como issues o tareas de mejora.
Comparar el resultado de ejecución local con resultados en CI.
Evitar aprobar cambios de prompt solo porque una ejecución aislada haya pasado.
Realizar laboratorio de depuración de una suite con varios fallos provocados.
Tema 7: Diseño de criterios de aceptación y rubricas
Convertir requisitos de producto en criterios de aceptación evaluables por PromptTest.
Crear rubricas con dimensiones como exactitud, completitud, formato, tono, seguridad y utilidad.
Definir niveles de calidad: excelente, aceptable, insuficiente y fallo crítico.
Incluir criterios negativos para evitar respuestas prohibidas, datos inventados o promesas no autorizadas.
Diferenciar criterios estrictos de criterios flexibles según la tarea.
Involucrar a product owners, negocio, legal, compliance o soporte en criterios de calidad.
Evitar que el equipo técnico defina calidad sin entender el contexto del usuario final.
Crear plantillas de criterio por tipo de prompt: resumen, clasificación, extracción, generación y respuesta.
Revisar rubricas periódicamente cuando cambia el producto o el riesgo.
Realizar ejercicio de creación de rubrica para evaluación LLM-as-a-judge.
Tema 8: Evaluación LLM-as-a-judge con control de calidad
Comprender cómo un modelo puede actuar como evaluador de la salida de otro modelo.
Diseñar instrucciones de evaluación claras para reducir subjetividad del juez.
Separar respuesta evaluada, criterio, input y razonamiento de evaluación.
Controlar sesgos del juez por tono, longitud, estilo, modelo o formulación del criterio.
Usar criterios concretos para reducir falsos positivos y falsos negativos.
Comparar evaluación automática con revisión humana en casos críticos.
Establecer cuándo LLM-as-a-judge es suficiente y cuándo se necesita evaluación determinista.
Revisar inconsistencias entre jueces o entre ejecuciones del mismo juez.
Crear conjunto de calibración con outputs buenos, malos y dudosos.
Realizar ejercicio de ajuste de criterios para mejorar fiabilidad del juez.
Tema 9: Tests deterministas, semideterministas y subjetivos
Diferenciar pruebas exactas, pruebas por propiedades, pruebas por criterio y pruebas semánticas.
Usar validaciones deterministas cuando la salida debe cumplir formato, JSON, campos o palabras obligatorias.
Usar evaluación semántica cuando la salida puede variar pero debe cumplir objetivo.
Diseñar pruebas mixtas combinando formato estricto y calidad flexible.
Identificar tareas donde una comparación exacta de texto no tiene sentido.
Validar estructura JSON, listas, tablas Markdown, número de elementos y presencia de campos clave.
Diseñar tolerancias para salidas razonablemente distintas pero válidas.
Evitar tests demasiado frágiles que fallan por variaciones irrelevantes.
Evitar tests demasiado blandos que aprueban respuestas mediocres.
Realizar ejercicio de batería de tests para salidas estructuradas y respuestas libres.
Tema 10: Regresión de prompts y control de cambios
Entender la regresión como pérdida de comportamiento válido tras modificar prompt, modelo o configuración.
Crear baseline de comportamiento para prompts críticos.
Ejecutar pruebas antes y después de cambios en instrucciones, variables, contexto o ejemplos.
Documentar qué cambio se hizo, por qué, qué pruebas pasaron y qué riesgos quedan.
Comparar versiones de prompts mediante Git y revisar diferencias relevantes.
Evitar cambios grandes de prompt sin pruebas incrementales.
Crear tests para bugs encontrados en producción y evitar que reaparezcan.
Diseñar estrategia de versionado semántico de prompts: cambios menores, mayores y breaking changes.
Preparar checklist de revisión antes de mergear prompts a rama principal.
Realizar ejercicio de detección de regresión tras optimizar un prompt.
Tema 11: PromptTest en Git, pull requests y revisión colaborativa
Versionar prompts, tests, criterios, datasets y reportes relevantes en Git.
Crear ramas para experimentar con nuevos prompts sin afectar producción.
Revisar cambios de prompts en pull requests igual que se revisa código.
Añadir comentarios funcionales sobre criterios, casos no cubiertos y riesgos de comportamiento.
Evitar que los prompts se mantengan como texto oculto en una plataforma sin trazabilidad.
Crear plantillas de pull request para cambios de prompts y evaluaciones.
Vincular fallos de PromptTest con issues, tareas o bugs de producto.
Establecer responsables de aprobación: técnico, producto, negocio, legal o compliance según riesgo.
Mantener historial de decisiones sobre versiones de prompts y criterios.
Realizar ejercicio de workflow Git con cambio de prompt, tests y revisión.
Tema 12: Integración en CI/CD y quality gates
Ejecutar PromptTest automáticamente en pipelines de GitHub Actions, GitLab CI, Azure DevOps o Jenkins.
Configurar variables secretas para API keys sin exponerlas en logs.
Definir quality gates para bloquear despliegues cuando fallan tests críticos.
Separar tests rápidos de smoke testing y suites completas más costosas.
Gestionar costes y tiempos de ejecución de pruebas LLM en CI.
Crear matrices de ejecución por prompt, modelo, entorno o área funcional.
Guardar reportes como artefactos de pipeline para revisión posterior.
Diseñar estrategia de reintentos controlados ante variabilidad de modelos.
Evitar pipelines inestables por tests mal diseñados o criterios demasiado ambiguos.
Realizar ejercicio de CI/CD con PromptTest como gate antes de desplegar un prompt.
Tema 13: Comparación de modelos, proveedores y configuraciones
Probar el mismo prompt contra distintos modelos para evaluar calidad, coste, latencia y estabilidad.
Comparar versiones de modelo cuando un proveedor actualiza capacidades o comportamiento.
Evaluar impacto de temperatura, top_p, max tokens, system prompt y configuración de salida.
Crear matriz de comparación por tarea: clasificación, generación, resumen, extracción o análisis.
Identificar modelos que responden bien en pruebas simples pero fallan en casos límite.
Evaluar coste por suite, coste por test y coste por caso de uso en producción.
Documentar decisión de modelo con criterios técnicos, funcionales, económicos y de riesgo.
Evitar cambiar de modelo en producción sin ejecutar pruebas de regresión.
Crear informe de recomendación de modelo para un caso de negocio.
Realizar laboratorio de benchmark funcional con varios modelos o configuraciones.
Tema 14: Testing de prompts para salidas JSON y datos estructurados
Diseñar prompts que devuelvan JSON válido, estable y parseable.
Crear criterios para validar campos obligatorios, tipos, arrays, enums y estructuras anidadas.
Detectar salidas con texto adicional, JSON inválido, campos omitidos o tipos incorrectos.
Probar entradas con caracteres especiales, idiomas, formatos raros y datos incompletos.
Crear tests para extracción de entidades, clasificación, etiquetado, normalización y transformación.
Validar que el modelo no inventa campos ni rellena datos no presentes.
Diseñar estrategia de recuperación ante salida inválida.
Comparar validación mediante criterios en lenguaje natural y validación programática adicional.
Preparar contratos de salida para integraciones con APIs, CRMs, ERPs o sistemas internos.
Realizar ejercicio de extractor JSON probado con PromptTest.
Tema 15: Testing de asistentes conversacionales y chatbots
Crear tests para saludos, preguntas frecuentes, escalado, tono, límites y políticas de respuesta.
Probar conversaciones con usuarios satisfechos, confusos, enfadados, maliciosos o fuera de alcance.
Diseñar criterios para comprobar empatía, brevedad, precisión y no invención.
Validar que el asistente no promete acciones que no puede realizar.
Probar casos con información insuficiente donde el asistente debe pedir aclaración.
Validar respuestas en varios idiomas o registros según público objetivo.
Crear tests para evitar marketing excesivo, respuestas largas o desviaciones del objetivo.
Evaluar consistencia entre respuestas a preguntas similares.
Documentar fallos de comportamiento conversacional y convertirlos en tests de regresión.
Realizar ejercicio de suite para chatbot de soporte o atención al cliente.
Tema 16: Testing de RAG y respuestas basadas en documentos
Diseñar pruebas para asistentes que responden usando documentos, bases de conocimiento o contenido recuperado.
Diferenciar fallo de recuperación, fallo de generación y fallo de evaluación.
Crear criterios que obliguen a responder solo con información de la fuente disponible.
Validar que la respuesta cite, mencione o respete fragmentos del documento cuando el sistema lo permite.
Probar documentos contradictorios, obsoletos, incompletos o con ruido.
Diseñar tests para “no sé” cuando la respuesta no está en el contexto.
Evitar que el modelo complete huecos con conocimiento general no autorizado.
Crear datasets de preguntas esperadas por documento, área o proceso.
Comparar comportamiento antes y después de cambiar chunking, embeddings, retrieval o prompt.
Realizar ejercicio de evaluación de asistente RAG con PromptTest.
Tema 17: Testing de agentes, herramientas y workflows LLM
Diseñar pruebas para agentes que usan herramientas, APIs, búsquedas, calculadoras o sistemas internos.
Diferenciar evaluación de respuesta final y evaluación de trayectoria o acción ejecutada.
Crear criterios para validar selección correcta de herramienta, argumentos y límites de actuación.
Probar casos donde el agente debe pedir aprobación humana antes de actuar.
Validar que el agente no ejecuta acciones prohibidas ni usa herramientas fuera de contexto.
Crear tests para errores de herramienta, timeouts, datos ausentes y respuestas parciales.
Registrar outputs intermedios cuando sea necesario para depuración.
Diseñar pruebas para agentes de soporte, datos, compras, legal, DevOps o automatización interna.
Evitar confiar en agentes que pasan tests de texto pero fallan en acciones reales.
Realizar ejercicio de evaluación de workflow agentic con criterios funcionales y de seguridad.
Tema 18: Robustez, casos límite y entradas adversarias
Crear pruebas con entradas ambiguas, incompletas, contradictorias o mal redactadas.
Probar prompts frente a intentos de ignorar instrucciones, cambiar rol o saltarse restricciones.
Diseñar casos con datos sensibles simulados, información no autorizada y solicitudes fuera de política.
Validar que el modelo mantiene límites aunque el usuario insista o use lenguaje persuasivo.
Probar entradas largas, ruido, mezclas de idiomas, tablas, errores tipográficos y formatos inesperados.
Crear tests de abuso para asistentes que generan recomendaciones, respuestas legales, médicas, financieras o técnicas.
Diferenciar robustez funcional de red teaming profundo.
Documentar qué fallos deben bloquear despliegue y cuáles pueden quedar como riesgo aceptado.
Crear conjunto mínimo de pruebas adversarias por prompt crítico.
Realizar ejercicio de hardening de un prompt mediante tests de robustez.
Tema 19: Seguridad, privacidad y datos sensibles en prompt testing
Identificar datos que no deben usarse en pruebas: datos personales reales, secretos, contratos, credenciales o información sensible.
Crear datasets anonimizados, sintéticos o minimizados para pruebas.
Evitar almacenar outputs con información sensible en reportes Markdown o artefactos de CI.
Gestionar API keys en variables de entorno, secrets y herramientas corporativas.
Revisar logs, informes y repositorios para evitar fugas de prompts internos o datos del cliente.
Crear política de retención para reportes de evaluación y datasets.
Evaluar proveedores LLM desde privacidad, seguridad, residencia de datos y uso para entrenamiento.
Aplicar criterios de confidencialidad a prompts que contienen reglas internas, pricing o procesos estratégicos.
Incluir pruebas de no revelación de información no autorizada.
Realizar ejercicio de revisión de seguridad de una suite PromptTest.
Tema 20: Métricas, reporting y comunicación de calidad
Definir métricas útiles: porcentaje de tests superados, fallos críticos, estabilidad, coste, latencia y cobertura.
Diferenciar métricas técnicas de métricas de producto y negocio.
Crear informes comprensibles para desarrollo, QA, producto, dirección y compliance.
Usar reportes Markdown como evidencia de evaluación y soporte de decisiones.
Resumir resultados por prompt, versión, modelo, área funcional y criticidad.
Identificar tendencias: mejora, degradación, inestabilidad o aumento de coste.
Evitar usar una única métrica como garantía de calidad total.
Preparar dashboard o cuadro de seguimiento de calidad de prompts.
Comunicar fallos de forma accionable: input, criterio, output, impacto y recomendación.
Realizar ejercicio de informe ejecutivo de evaluación de prompts.
Tema 21: Mantenimiento de suites de PromptTest
Revisar tests obsoletos cuando cambia producto, política, tono, modelo o caso de uso.
Eliminar duplicados, criterios contradictorios y ejemplos que ya no representan usuarios reales.
Añadir tests cada vez que se detecta un fallo en producción.
Separar suites por criticidad: smoke, regresión completa, seguridad, RAG, agentes y negocio.
Crear owners de prompts, owners de tests y responsables de aprobación.
Mantener changelog de prompts, criterios, datasets y configuración.
Controlar coste de mantenimiento para que la suite no bloquee la evolución del producto.
Crear calendario de revisión mensual o trimestral según criticidad.
Evitar suites enormes que nadie ejecuta por coste o lentitud.
Realizar ejercicio de refactorización de una suite PromptTest desordenada.
Tema 22: Gobierno corporativo de prompts y evaluaciones
Crear inventario de prompts críticos usados en productos, procesos y automatizaciones.
Clasificar prompts por riesgo: bajo, medio, alto, sensible, regulado o crítico.
Definir política de cambios: quién puede modificar, quién revisa, qué tests pasan y cómo se despliega.
Crear repositorio central de prompts, tests, criterios, datasets y documentación.
Establecer estándares de naming, versionado, estructura, comentarios y reporting.
Integrar testing de prompts con gobierno de IA, seguridad, legal, compliance y producto.
Diseñar aprobaciones específicas para prompts que afectan a clientes, empleados o decisiones sensibles.
Documentar límites conocidos, riesgos aceptados y medidas de mitigación.
Crear modelo operativo de calidad de prompts para equipos empresariales.
Realizar ejercicio de diseño de gobierno de prompts para una organización.
Tema 23: Comparativa con otras herramientas de evaluación LLM
Situar PromptTest dentro del ecosistema de herramientas de evaluación y testing de prompts.
Comparar enfoques CLI simples frente a plataformas completas de evals, observabilidad y experimentación.
Diferenciar PromptTest de promptfoo, DeepEval, LangSmith, Braintrust, OpenAI Evals, PromptBench u otras alternativas.
Evaluar cuándo conviene una herramienta ligera y cuándo una plataforma más integrada.
Diseñar interoperabilidad entre PromptTest, pytest, CI/CD, observabilidad y sistemas internos.
Evitar dependencia de una sola herramienta cuando el equipo necesita varias capas de evaluación.
Crear criterios de selección: coste, ergonomía, equipo, reporting, red teaming, integración y gobierno.
Preparar una estrategia gradual: empezar simple, medir valor y escalar si el proyecto lo exige.
Documentar ventajas y límites de PromptTest para el cliente o equipo interno.
Realizar ejercicio de recomendación de herramienta para distintos escenarios.
Tema 24: PromptTest en equipos ágiles y producto IA
Integrar PromptTest en sprints, refinamiento, definición de preparado y definición de terminado.
Convertir historias de usuario en criterios de evaluación de prompts.
Involucrar a producto, UX, soporte y negocio en la creación de casos de prueba.
Revisar resultados de PromptTest durante demos, QA y aprobaciones de release.
Crear flujo de bug report cuando una respuesta LLM falla en producción.
Priorizar mejoras de prompts según impacto de usuario y criticidad de fallo.
Usar tests como documentación viva del comportamiento esperado.
Evitar que el testing de prompts quede aislado como tarea puramente técnica.
Medir calidad por valor de producto, no solo por número de tests pasados.
Realizar ejercicio de incorporación de PromptTest en un equipo Scrum/Kanban.
Tema 25: Proyecto Final
Seleccionar una aplicación LLM empresarial: chatbot, asistente interno, RAG, extractor, clasificador o agente.
Inventariar prompts existentes, variables, formatos de entrada, salidas esperadas y riesgos funcionales.
Crear estructura de proyecto PromptTest con prompts, tests, datasets, reportes y documentación.
Diseñar prompts testables con secciones, variables, reglas, límites y formatos de salida.
Crear suite YAML con casos normales, casos límite, casos ambiguos y casos adversarios.
Definir criterios de evaluación claros para contenido, tono, formato, seguridad y utilidad.
Ejecutar pruebas desde CLI y analizar resultados en consola e informes Markdown.
Ajustar prompts a partir de fallos reales sin romper comportamientos que ya funcionaban.
Crear tests de regresión para los fallos más importantes detectados durante el proyecto.
Validar outputs estructurados como JSON, tablas Markdown, listas o informes cortos.
Incluir pruebas de privacidad, no invención, no revelación y límites de actuación.
Comparar al menos dos versiones de prompt o dos configuraciones de modelo.
Integrar ejecución de PromptTest en un pipeline CI/CD con reporte como artefacto.
Crear política de versionado de prompts y pull request para cambios futuros.
Diseñar dashboard o resumen ejecutivo con tasa de paso, fallos críticos, coste y recomendaciones.
Preparar documentación de uso para desarrolladores, QA, producto y negocio.
Crear modelo de mantenimiento de la suite: owners, frecuencia, criterios, datasets y escalado.
Presentar la solución final defendiendo cobertura, calidad, riesgos, métricas, CI/CD y gobierno de prompts.
Perfiles profesionales
Pensado para quienes deben dominar PromptTest en su día a día
Desarrolladores de aplicaciones con IA
Este curso encaja con desarrolladores que integran LLMs en APIs, chatbots, herramientas internas, asistentes, workflows o productos SaaS. La formación les permite probar prompts como parte del ciclo de desarrollo, reduciendo regresiones y cambios no controlados.
QA Engineers y perfiles de testing
Los equipos de calidad podrán trasladar prácticas de testing tradicional al mundo LLM: casos de prueba, criterios de aceptación, regresión, informes, errores reproducibles, control de versiones y automatización en pipelines.
Prompt engineers y especialistas GenAI
Preguntas frecuentes
Resolvemos todas tus dudas sobre nuestra formación en PromptTest
Explora las respuestas a las preguntas que guian a nuestra comunidad. Aqui encontraras claridad sobre como funciona todo, desde el acceso hasta los detalles de los cursos. Si buscas respuestas, este es el lugar para comenzar.
PromptTest es una herramienta para probar prompts de LLMs de forma automatizada mediante archivos de prompt, casos de prueba, criterios e informes de resultado.
No exactamente. Incluye buenas prácticas de prompts, pero el foco está en probar, validar, versionar y gobernar prompts dentro de aplicaciones reales.
Es recomendable tener base técnica. El curso usa Python, terminal, YAML, Git y CI/CD, aunque los criterios de prueba se redactan en lenguaje natural.
No es obligatorio, pero ayuda. El curso explica conceptos de testing, regresión, criterios de aceptación, suites, fallos, reportes y mantenimiento.
Sí. Los tests se estructuran en archivos YAML con configuración, inputs y criterios de evaluación.
Sí. El curso trabaja prompts con variables para reutilizar una plantilla con diferentes entradas, usuarios, productos, documentos o escenarios.
Se prueban prompts de chatbots, asistentes internos, generación de emails, clasificación, extracción JSON, resumen documental, RAG y agentes.
Sí. Se trabaja cómo usar un modelo como evaluador, cómo redactar criterios, cómo calibrar resultados y cuándo añadir revisión humana.
Sí. Se trabaja integración con pipelines, quality gates, variables secretas, reportes como artefactos y ejecución automática antes del despliegue.
Sí. El curso incluye comparación de modelos, versiones de prompt, configuraciones, coste, latencia, estabilidad y calidad funcional.
Sí. Se trabaja anonimización, datos sensibles, secrets, reportes, prompts internos, outputs confidenciales y pruebas de comportamiento seguro.
Sí. Hay un bloque específico para probar respuestas basadas en documentos, detección de alucinaciones, uso de fuentes y comportamiento cuando falta información.
Sí. Se enseña a diseñar pruebas para agentes que usan herramientas, APIs, workflows o acciones con límites y revisión humana.
Una suite completa de PromptTest para una aplicación LLM, con prompts, tests, criterios, informes, CI/CD, métricas y modelo de mantenimiento.
Sí. El curso puede trabajar con prompts anonimizados de atención al cliente, legal, soporte, ventas, RRHH, datos, documentación o aplicaciones internas.
Sí, esta formación puede ser bonificable hasta el 100% a través de FUNDAE, siempre que la empresa disponga de crédito formativo suficiente y se cumplan los requisitos de comunicación, asistencia y documentación exigidos.
PromptTest es una herramienta para probar prompts de LLMs de forma automatizada mediante archivos de prompt, casos de prueba, criterios e informes de resultado.
No exactamente. Incluye buenas prácticas de prompts, pero el foco está en probar, validar, versionar y gobernar prompts dentro de aplicaciones reales.
Es recomendable tener base técnica. El curso usa Python, terminal, YAML, Git y CI/CD, aunque los criterios de prueba se redactan en lenguaje natural.
No es obligatorio, pero ayuda. El curso explica conceptos de testing, regresión, criterios de aceptación, suites, fallos, reportes y mantenimiento.
Sí. Los tests se estructuran en archivos YAML con configuración, inputs y criterios de evaluación.
Sí. El curso trabaja prompts con variables para reutilizar una plantilla con diferentes entradas, usuarios, productos, documentos o escenarios.
Se prueban prompts de chatbots, asistentes internos, generación de emails, clasificación, extracción JSON, resumen documental, RAG y agentes.
Sí. Se trabaja cómo usar un modelo como evaluador, cómo redactar criterios, cómo calibrar resultados y cuándo añadir revisión humana.
Sí. Se trabaja integración con pipelines, quality gates, variables secretas, reportes como artefactos y ejecución automática antes del despliegue.
Sí. El curso incluye comparación de modelos, versiones de prompt, configuraciones, coste, latencia, estabilidad y calidad funcional.
Sí. Se trabaja anonimización, datos sensibles, secrets, reportes, prompts internos, outputs confidenciales y pruebas de comportamiento seguro.
Sí. Hay un bloque específico para probar respuestas basadas en documentos, detección de alucinaciones, uso de fuentes y comportamiento cuando falta información.
Sí. Se enseña a diseñar pruebas para agentes que usan herramientas, APIs, workflows o acciones con límites y revisión humana.
Una suite completa de PromptTest para una aplicación LLM, con prompts, tests, criterios, informes, CI/CD, métricas y modelo de mantenimiento.
Sí. El curso puede trabajar con prompts anonimizados de atención al cliente, legal, soporte, ventas, RRHH, datos, documentación o aplicaciones internas.
Sí, esta formación puede ser bonificable hasta el 100% a través de FUNDAE, siempre que la empresa disponga de crédito formativo suficiente y se cumplan los requisitos de comunicación, asistencia y documentación exigidos.
Diseñemos hoy el curso que tu empresa necesita
Cuéntanos tus objetivos de negocio y prepararemos una propuesta formativa bonificable totalmente ad hoc
Aporta trazabilidad y evidencia Los informes Markdown, tests versionados y resultados de ejecución facilitan auditoría, revisión, documentación y justificación de cambios.
3
Encaja en flujos DevOps La formación muestra cómo integrar PromptTest en Git, pull requests, CI/CD, quality gates y procesos de entrega continua.
4
Refuerza seguridad y privacidad Incluye manejo de datos anonimizados, secrets, outputs sensibles, reportes, prompts internos y pruebas de no revelación o comportamiento inseguro.
5
Prepara una metodología completa de calidad IA No se limita a comandos. El curso cubre diseño de criterios, datasets, regresión, LLM-as-a-judge, mantenimiento, métricas y gobierno corporativo.
Después de la formación en directo, los alumnos podrán acceder a ejercicios prácticos para aplicar lo trabajado en clase y consolidar el aprendizaje con actividades guiadas.
Acceso a las grabaciones
Los alumnos podrán revisar las sesiones grabadas para repasar conceptos clave, recuperar explicaciones concretas o reforzar aquellos contenidos que necesiten después de la clase en directo.
Recursos formativos
Materiales, sesiones grabadas y documentación de apoyo quedan centralizados en la plataforma para que el equipo pueda consultarlos durante y después de la formación.
Confirmación de asistencia
La plataforma permite registrar y confirmar la asistencia de los participantes, facilitando el seguimiento de la formación y la gestión documental necesaria para la bonificación FUNDAE.
Ejercicios prácticos
Después de la formación en directo, los alumnos podrán acceder a ejercicios prácticos para aplicar lo trabajado en clase y consolidar el aprendizaje con actividades guiadas.
Practica y mejora con nuestra plataforma
Una plataforma practica, con IA integrada y pensada para que mejores desarrollando. Se adapta a tu ritmo, te corrige al instante y te muestra tu progreso real.
Correccion magica
Feedback inteligente
Aprende de cada acierto y fallo con explicaciones claras
Los perfiles que diseñan prompts podrán evaluar versiones, comparar resultados, validar tono, formato, seguridad, consistencia y comportamiento ante entradas variadas, dejando de depender únicamente de pruebas manuales.
Product owners y responsables funcionales
Los perfiles de producto podrán definir criterios de calidad, rubricas, casos de aceptación y escenarios reales de usuario. El curso les ayuda a participar en la evaluación de prompts desde el valor de negocio.
Equipos de IA, datos y automatización
Los equipos que construyen soluciones GenAI podrán usar PromptTest para validar asistentes internos, clasificadores, extractores, agentes, flujos RAG y automatizaciones antes de llevarlas a producción.
Consultores de IA y transformación digital
Los consultores podrán crear entregables profesionales: suites de pruebas, matrices de criterios, informes de evaluación, pilotos controlados, comparativas de prompts y metodología de calidad para clientes.