Juega el Dilema del Prisionero Iterado

Enfréntate ronda a ronda a estrategas clásicos y agentes de IA antes de analizar sus matemáticas

Iniciando entorno...

Reglas del juego

En cada ronda eliges simultáneamente Cooperar ($C$) o Traicionar ($D$). Si ambos cooperan ganan $3$ pts cada uno; si traicionas a quien coopera ganas $5$ pts (y el otro $0$); si ambos traicionan reciben solo $1$ pt. Elige un rival abajo y prueba cuánta confianza puedes sostener.

Elige tu Rival

Desde estrategas icónicos de 1980 hasta nuestros agentes de búsqueda Expectimax y aprendizaje por refuerzo online

Red de Enfrentamientos Todos contra Todos

Borde verde = estrategia Nice (nunca traiciona primero) · Borde rojo = Nasty · Morado = agente IA inyectado

Clasificación (Promedio en 200 Rondas)

En el torneo original, los 8 primeros puestos fueron ocupados exclusivamente por estrategias Nice

Ranking Completo (16 Jugadores · 10 Semillas)

Media $\pm$ desviación estándar sobre semillas $0..9$

Distribución y Estabilidad entre las 10 Semillas

Caja Q1–Q3, mediana, media ($\diamond$) y las 10 realizaciones individuales frente a Tit For Tat
Entorno Empírico
173,130
Transiciones → política base CDDC
RL con Olvido · Axelrod
#1 / 16
$2.632 \pm 0.014$ pts/ronda (10 semillas)
Expectimax + Markov
#2 / 41
Harper ($2.808$) · #10/175 Mega-Torneo
Ganancia Online (175 est.)
+77 puestos
De #100 (Base fija) a #23 con olvido

Progreso por Generación en el Torneo de Axelrod (1980)

16 competidores · $T = 200$ turnos · línea punteada: Tit For Tat ($2.560$)

Teorema 1 — Colapso Miope al Equilibrio de Nash ($\gamma = 0$)

Al maximizar solo la recompensa inmediata sobre $\hat{p}_s = \hat{P}(O_t = C \mid s_{t-1})$, traicionar ($D$) domina estrictamente a cooperar ($C$) para toda estimación empírica:

$$\hat{Q}(s, D) - \hat{Q}(s, C) = (4\hat{p}_s + 1) - 3\hat{p}_s = \hat{p}_s + 1 \ge 1 > 0$$

Teorema 2 — Contador Efectivo y Piso de Plasticidad ($\lambda \in [0, 1)$)

Actualizando cada contexto $(s_{t-1}, A_t)$ con $n_k = \lambda n_{k-1} + 1$ y paso $\eta_k = 1/n_k$, el aprendizaje conserva plasticidad permanente:

$$n_\infty = \frac{1}{1-\lambda}, \qquad \eta_\infty = 1 - \lambda, \qquad \mathrm{Var}(p_\infty) = p^*(1-p^*)\frac{1-\lambda}{1+\lambda}$$

Duelo contra Grudger: Exploración Forzada vs. Apertura Nice

Traicionar durante la exploración inicial ($t < 10$) activa castigo eterno ($202$ vs. $600$ pts)

Adaptación contra Defector: Base Fija vs. RL con Olvido

La política fija CDDC queda atrapada en $0.500$; el RL corrige a $0.925$ pts/ronda

Desempeño por Arquetipo de Rival ($T = 200$ turnos)

Reciprocidad, explotación pura, ciclo determinista y entornos no estacionarios

Comparativa Completa entre Generaciones

Haz clic en cualquier condición 1v1 para inspeccionar su duelo ronda a ronda

Escenario Protocolo 1. Rulito 2. Cloud 3. Expectimax 4. Base CDDC 5. RL Olvido Inspeccionar

Probabilidades Empíricas del Entorno

$\hat{p}_0(s, a) = P(O_t = C \mid s_{t-1} = s, A_t = a)$ sobre $173{,}130$ ventanas

Solución Óptima de Bellman ($Q^*$ y $\pi_0$)

Política emergente: CDDC (Win-Stay, Lose-Shift)

Tabla Completa de Transición $T_0$ ($8 \times 4$) y Valores de Bellman

Cada fila $(s_{t-1}, A_t)$ posee dos ceros estructurales porque la acción propia fija la primera coordenada de $s_t = (A_t, O_t)$

π₀ = CDDC
Contexto $(s_{t-1}, A_t)$Coop $K$Total $N$$\hat{p}_0(s, a)$ $\to CC$$\to CD$$\to DC$$\to DD$ Estado$V^*(s)$$Q^*(s, C)$$Q^*(s, D)$$\pi_0[s]$ ($\Delta Q^*$)

Editor Interactivo de las 8 Probabilidades del Entorno

Modifica cualquier $\hat{p}_0(s,a)$ para observar cómo cambia instantáneamente $\pi_0$ y la adaptación frente a Defector

π₀ = CDDC

Cruce de Decisión Online frente a Defector ($t = 1..30$)

Caída de $P_t(C \mid DD, C)$ y $P_t(C \mid CD, D)$ (izq.) junto a $\Delta Q_t(DD) < 0$ (der.)

Simulador Interactivo de la Regla de Actualización con Olvido

Observa el contexto $(CC, C)$ ($p_0 = 0.9530$) comparando olvido activo ($\lambda$) frente a conteo acumulativo ($\lambda = 1.00$)

$$n_k = \lambda n_{k-1} + 1, \quad \eta_k = \frac{1}{n_k}, \quad p_k = \begin{cases} p_{k-1} + \eta_k(1 - p_{k-1}) & \text{si } y_k = 1 \text{ (suma)} \\ p_{k-1} - \eta_k p_{k-1} & \text{si } y_k = 0 \text{ (resta)} \end{cases}$$
$k$Evento$n_k$$\eta_k$$p_k$ ($\lambda$)$p_k$ ($\lambda=1$)

Barrido del Factor de Olvido $\lambda$ en el Torneo de Axelrod (1980)

Comparación entre agente sin prior ($0.50$), distintos valores de $\lambda$, política fija ($\eta = 0$) y Tit For Tat

Rapidez de Ajuste frente a Defector

Estrella (★) marca el primer turno en que $\pi_t[DD] = D$

Adaptación ante Cambio de Régimen ($C \to D$)

El factor de olvido ($\lambda < 1$) supera a la memoria infinita ($\lambda = 1$) y a la política fija

Convergencia de Probabilidades por Arquetipo

Respuesta del mismo modelo frente a Cooperator, Alternator, Random y Defector

Mutación de la Política $\pi_t[s]$ en Vivo (Turnos 1–40)

Verde = Cooperar ($C$), Rojo = Traicionar ($D$) por estado

Tasa Variable de Aprendizaje $\eta_k = 1 / n_k$

Agilidad inicial alta y convergencia al piso de plasticidad $\eta_\infty = 1 - \lambda$

Evolución de la Ventaja de Bellman $\Delta Q_t(s)$

Cruces por cero determinan las mutaciones de política

Adaptación en 3 Fases ($C \to D \to C$, Ventana Móvil)

En Fase 3 el agente con olvido re-explota alcanzando $5.00$ pts/ronda

Transformación de la Matriz Ambiental $T_0 \to T_{60}$

Contraste entre el prior inicial y la matriz especializada tras 60 turnos
Matriz Inicial $T_0$
Matriz $T_{60}$

Ventana de Observación y Control Ronda a Ronda

Avanza turno a turno para ver cada cálculo exacto del árbol Expectimax antes de decidir

Turno 1 / 200
Media: 3.000
1Ventana y Conteo Frecuentista $E_t$
2Heurística Markov en Hojas ($h = \gamma^H V$)
3Evaluación Raíz y Decisión Final
Cinta de la partida (clic para saltar): CC (+3) DC (+5) DD (+1) CD (0)

Horizonte Efectivo $L_\gamma = (1-\gamma)^{-1}$

Balance entre peso relativo del futuro e inercia histórica

Evaluación en Raíz $\bar{f}_t(C)$ vs. $\bar{f}_t(D)$ frente a Tit For Tat

Visión descontada de Expectimax frente al colapso miope de Rulito

Convergencia del Vector Frecuentista $E_t$

Evolución de las 4 probabilidades condicionales

Estudio de Ablación: Árbol $H=4$ vs. Heurística de Markov

Aporte de la cadena de Markov terminal en Axelrod, Harper y Mega-Torneo

¿Posible Mejora a Futuro? — Jacinto (Taller 6)

Guacamayo Jacinto · Fusión de aprendizaje online con olvido (Mitcha) + Exploración Segura UCB para romper óptimos locales como Alternator

¿Por qué Mitcha (RL Olvido) se estancaba frente a Alternator en $2.500$ pts/ronda?

Al ser puramente greedy ($\arg\max_a Q_t^*(s, a)$), Mitcha converge en $t=23$ a la política CDCC (ciclo CD ↔ DC de $2.500$ pts/ronda) y nunca prueba jugar $D$ en $DC$ ni en $DD$. Por ello el contexto $(DD, D)$ queda congelado en el prior supervisado $p_0(DD, D) = 0.1574$, cuando contra Alternator la probabilidad real es $p_{\text{real}}(DD, D) = 1.000$.

Solución propuesta en Jacinto: Exploración UCB con Compuerta de Seguridad ($s \neq CC$)

Jacinto añade un bono UCB $Q_{\mathrm{UCB}}(s, a) = Q_t^*(s, a) + c\sqrt{\frac{\ln(t+1)}{1 + k_{s,a}}}$ ($c = 1.5$), pero bloquea toda exploración cuando $s = CC$ y $P_t(C \mid CC, C) \ge 0.85$. Así jamás traiciona gratuitamente a estrategas recíprocos como TitForTat o Grudger ($3.000$ pts/ronda), pero sí explora $(DC, D)$ y $(DD, D)$ hasta descubrir el ciclo óptimo DC ↔ DD de $2.935$ pts/ronda ($2.980$ en los últimos 100 turnos).

Condición Experimental ($T=200$, seed=42) 5. Mitcha (RL Olvido) 6. Jacinto (RL + Safe UCB) Impacto
Torneo Axelrod 1980 (5 reps) 2.662 ± 0.024 (#1/16) 2.649 ± 0.025 (#1/16) Mantiene el Puesto #1/16 sobre Stein & Rapoport y TFT
vs Alternator (1v1, $T=200$) 2.450 (2.500 L100) 2.935 (2.980 L100) +0.485 pts/ronda · Explota ciclo DC ↔ DD casi al óptimo 3.000
vs TitForTat / Grudger 3.000 / 3.000 3.000 / 3.000 Compuerta segura evita traiciones espurias en CC
vs Defector (1v1, $T=200$) 0.925 (1.000 L100) 0.880 (0.970 L100) Mínimo costo por verificar $(DD, C)$ antes de fijar $D$
t = 1 / 200
Turno 1

Puntaje Acumulado y Ventana Móvil

Clic en cualquier punto para saltar a ese turno

Estado Interno del Jugador A

Evolución de probabilidades

Matriz de Enfrentamientos Todos contra Todos ($N \times N$)

Haz clic en cualquier celda del mapa de calor para abrir ese duelo 1v1

Ecosistema Harper et al. (41 Estrategias · 10 Semillas)

Agentes evolutivos (ANN, FSM, LookerUp, PSO), Zero-Determinant y nuestras 5 generaciones

Mega-Torneo General (175 Estrategias)

Top 18 + referencias clásicas + evolución de las 5 generaciones

Tabla Completa Harper (41)

#EstrategiaMedia $\pm$ DERank

Tabla Completa Mega-Torneo (175)

#EstrategiaPts / Ronda

Ejecutor de Torneos Round-Robin en Vivo

Compite con tus estrategias incorporadas, las 5 generaciones o ecosistemas clásicos completos

Crear Nueva Estrategia

Disponible al instante en Juega el Dilema, Duelos 1v1 y Torneos

$P(C \mid CC)$1.00
$P(C \mid CD)$0.00
$P(C \mid DC)$1.00
$P(C \mid DD)$0.00

Estrategias Incorporadas

Envíalas directo a jugar, a un duelo 1v1 o a un torneo

Las estrategias guardadas pertenecen a esta sesión de pestaña y caducan a las 24 horas.

Aún no has guardado estrategias propias.

Códigos Ejecutables del Proyecto

Selecciona cualquier archivo Python o el notebook para inspeccionar, ejecutar en vivo o descargar


            

Verificación Automática de Invariantes Matemáticos

Comprueba normalización de la matriz $8 \times 4$, optimalidad de Bellman, equivalencia $\lambda=1$ y adaptación no estacionaria

Pulsa el botón para ejecutar la suite de pruebas sobre el motor real.