Mira a una IA aprender a controlar un proceso en vivo.
Prueba y error. Sin datos previos. En tu navegador. El mismo principio escala a control de temperatura, calidad, energía y AGVs — por qué importa en planta ↓
Cómo va el agente APRENDIENDO
Recién arrancó. El agente todavía no sabe nada — está probando movimientos al azar. Espera unos segundos.
Modo AUTO
Simulación
Cartpole en vivo |ángulo| < 12° · |x| < 2.4 m
Cuánto duró cada intento (aprendizaje) CEM
Cada barra es un intento del agente. Sube = duró más antes de caerse. Al principio se cae en menos de 1 segundo — al converger sostiene los 10 segundos completos.
Política aprendida Política lineal · 4 parámetros
La política es una función lineal de las 4 variables del estado. Cada barra muestra qué peso asigna el agente a esa variable para decidir. Barra hacia la derecha: tiende a empujar el carro a la derecha cuando esa variable sube. Barra hacia la izquierda: tiende a empujar a la izquierda.
Poner a prueba
Empujar aplica un impulso lateral aleatorio al extremo del palo. Desafío reinicia con el palo ya inclinado a ±9° (cerca del límite de caída): sólo un agente bien entrenado se recupera.
Hiperparámetros CEM
K es cuántas "recetas de control" prueba en cada ronda. La fracción élite es qué porcentaje de las mejores usa para hacer la siguiente generación. Es literalmente evolución darwiniana en miniatura.
Última ronda de entrenamiento
Cuando la dispersión σ baja a números chicos, significa que las mejores recetas empiezan a parecerse entre sí — el agente convergió. Ya no hace falta seguir entrenando.
01Qué es reinforcement learning
Un agente aprende por prueba y error: observa el estado, elige una acción, recibe una recompensa, y refuerza lo que funciona. Sin fórmula explícita del proceso.
- Estado
Lo que el agente observa (posición, velocidad, ángulo…).
- Acción
Lo que puede hacer (empujar izquierda, derecha, 0%, 100%…).
- Recompensa
Señal numérica de si va bien o mal (+1 por paso vivo, −|error|…).
- Política
La regla que decide la acción a partir del estado.
02Cómo aprende este demo (CEM)
Cross-Entropy Method: genera políticas, evalúa, se queda con las mejores, repite.
- Genera K candidatos (vectores de 4 parámetros) de una gaussiana.
- Cada uno balancea el palo un episodio. Mide pasos sobrevividos.
- Conserva el top 20% élite.
- Refita la gaussiana sobre los élite (con piso de ruido).
- Repite. Converge en 5–15 iteraciones a 500 pasos ≈ 10 s.
CartPole-v1 estándar: estado = (x, ẋ, θ, θ̇); acciones = ±10 N; cae si |θ| > 12° o |x| > 2.4 m; reward = +1 por paso vivo. En industria se usa aproximación de función (DQN, actor-crítico) para espacios continuos.
03Dónde se aplica en planta
Problemas donde cada decisión afecta la siguiente: retardos, variables acopladas, objetivos combinados.
Agente ajusta válvula de vapor para mantener setpoint. Comparado contra PID clásico.
Optimización energética →Reducir consumo de vapor, aire comprimido o refrigeración respetando calidad y producción.
Calidad y setpoints acoplados →Procesos multi-zona (extrusión, batch) donde la calidad depende del balance entre consignas.
AGVs y logística →Rutas y asignación de tareas en flotas de robots móviles con prioridades operativas.
Pipeline responsable: datos de planta → gemelo digital → entrenamiento y validación → integración supervisada → monitoreo continuo. Entrenar sobre equipo productivo nunca es la primera opción.
04FAQ
No. PID, interlocks e instrumentación crítica siguen siendo la base. RL complementa como recomendador, optimizador de setpoints o supervisor dentro de límites.
No. El entrenamiento inicial ocurre en un gemelo digital o simulador. Despliegue supervisado y gradual a planta sólo después de validar.
Procesos con retardos, perturbaciones, decisiones secuenciales o variables acopladas: control térmico, hornos, reactores, energía, calidad, AGVs.