Curso de LLMs Locales - Ollama, VLLM y sus Alternativas

Arquitectura interna de Ollama

Arquitectura interna de vLLM

Comparativa de rendimiento y latencia

Alternativas enterprise-grade actuales

Soporte de GPU y multi-GPU

Compatibilidad con modelos modernos

Gestión de memoria y batching

Casos de uso recomendados por motor

Límites de cada enfoque

Estrategia de elección tecnológica

Modelos generalistas vs especializados

Modelos instruct, chat y reasoning

Modelos multimodales (MLLMs)

Tamaños de modelo y trade-offs

Cuantización y precisión

Fine-tuning vs prompt-engineering

Evaluación objetiva de modelos

Benchmarks relevantes en empresa

Modelos para texto, código y datos

Roadmap tecnológico del ecosistema

Single-node vs cluster

Inferencia síncrona y asíncrona

Load balancing de peticiones

Gestión de concurrencia

Colas y control de throughput

Observabilidad de inferencia

Gestión de fallos

Escalado horizontal y vertical

Coste computacional por consulta

Buenas prácticas de despliegue

Qué es un RAG y por qué es crítico

Componentes clave de un RAG

Separación modelo-conocimiento

Flujo completo de una consulta

Tipos de recuperación de contexto

Errores comunes en RAG

RAG vs fine-tuning

Métricas de calidad de recuperación

RAG para datos estructurados

Casos empresariales típicos

Principios de búsqueda vectorial

Embeddings y estrategias

Bases vectoriales open-source líderes

Indexación para millones de documentos

Estrategias de sharding

Actualización incremental de datos

Gestión de versiones del conocimiento

Latencia vs precisión

Coste de almacenamiento

Arquitecturas híbridas SQL + vectorial

Pipelines de ingestión de datos

Limpieza y normalización documental

Chunking avanzado

Enriquecimiento semántico

Metadatos y filtros avanzados

Context windows dinámicos

RAG jerárquicos

RAG multimodales

Evaluación continua del RAG

Evolución del conocimiento

Librerías clave del ecosistema

Orquestación de inferencia

Integración con APIs internas

Gestión de prompts complejos

Manejo de estados y memoria

Streaming de respuestas

Control de errores del modelo

Testing automatizado de prompts

Versionado de pipelines

Buenas prácticas de código

Aislamiento de modelos

Control de acceso por roles

Protección de datos sensibles

Auditoría de consultas

Prevención de fugas de información

Mitigación de prompt injection

Cumplimiento normativo

Gestión de secretos

Seguridad en embeddings

Gobierno corporativo de IA

Diseño para grandes volúmenes

Caching inteligente de respuestas

Reutilización de embeddings

Optimización de almacenamiento

Balanceo de carga avanzado

Gestión de picos de uso

Estrategias multi-tenant

Monitorización de costes

Autoescalado

Optimización continua

Métricas de calidad de respuesta

Métricas de latencia y throughput

Evaluación automática de resultados

Trazabilidad de consultas

Logging estructurado

Alertas por degradación

Análisis de comportamiento del modelo

Detección de alucinaciones

Dashboards ejecutivos

Mejora basada en métricas

Integración con ERPs y CRMs

Acceso a repositorios documentales

Conectores con data lakes

Integración con herramientas BI

RAG sobre bases de datos internas

Automatización de flujos empresariales

Uso en back-office

Integración con sistemas legacy

Arquitecturas event-driven

Casos reales de integración

Coste por token local

Elección eficiente de modelos

Estrategias de cuantización

Optimización de inferencia

Reducción de consumo GPU

Balance coste-calidad

Dimensionamiento correcto

Simulación de escenarios

Control presupuestario

Mejora continua del rendimiento

Plataformas de inferencia avanzadas

Frameworks de orquestación

Soluciones híbridas

Model serving enterprise

Comparativa técnica y económica

Casos donde Ollama no es suficiente

Casos donde vLLM no es suficiente

Estrategias multi-motor

Evolución del mercado

Decisiones estratégicas a largo plazo

Diseño end-to-end

Selección tecnológica razonada

Arquitectura de referencia

Seguridad integrada

Escalabilidad garantizada

Gobierno del conocimiento

Observabilidad completa

Optimización de costes

Mantenibilidad del sistema

Preparación para evolución futura