Reglas del juego
En cada ronda eliges simultáneamente Cooperar ($C$) o Traicionar ($D$). Si ambos cooperan ganan $3$ pts cada uno; si traicionas a quien coopera ganas $5$ pts (y el otro $0$); si ambos traicionan reciben solo $1$ pt. Elige un rival abajo y prueba cuánta confianza puedes sostener.
Elige tu Rival
Desde estrategas icónicos de 1980 hasta nuestros agentes de búsqueda Expectimax y aprendizaje por refuerzo online
Red de Enfrentamientos Todos contra Todos
Borde verde = estrategia Nice (nunca traiciona primero) · Borde rojo = Nasty · Morado = agente IA inyectado
Clasificación (Promedio en 200 Rondas)
En el torneo original, los 8 primeros puestos fueron ocupados exclusivamente por estrategias Nice
Distribución y Estabilidad entre las 10 Semillas
Progreso por Generación en el Torneo de Axelrod (1980)
Teorema 1 — Colapso Miope al Equilibrio de Nash ($\gamma = 0$)
Al maximizar solo la recompensa inmediata sobre $\hat{p}_s = \hat{P}(O_t = C \mid s_{t-1})$, traicionar ($D$) domina estrictamente a cooperar ($C$) para toda estimación empírica:
Teorema 2 — Contador Efectivo y Piso de Plasticidad ($\lambda \in [0, 1)$)
Actualizando cada contexto $(s_{t-1}, A_t)$ con $n_k = \lambda n_{k-1} + 1$ y paso $\eta_k = 1/n_k$, el aprendizaje conserva plasticidad permanente:
Duelo contra Grudger: Exploración Forzada vs. Apertura Nice
Adaptación contra Defector: Base Fija vs. RL con Olvido
Desempeño por Arquetipo de Rival ($T = 200$ turnos)
Comparativa Completa entre Generaciones
Haz clic en cualquier condición 1v1 para inspeccionar su duelo ronda a ronda
| Escenario | Protocolo | 1. Rulito | 2. Cloud | 3. Expectimax | 4. Base CDDC | 5. RL Olvido | Inspeccionar |
|---|
Probabilidades Empíricas del Entorno
Solución Óptima de Bellman ($Q^*$ y $\pi_0$)
Tabla Completa de Transición $T_0$ ($8 \times 4$) y Valores de Bellman
Cada fila $(s_{t-1}, A_t)$ posee dos ceros estructurales porque la acción propia fija la primera coordenada de $s_t = (A_t, O_t)$
| Contexto $(s_{t-1}, A_t)$ | Coop $K$ | Total $N$ | $\hat{p}_0(s, a)$ | $\to CC$ | $\to CD$ | $\to DC$ | $\to DD$ | Estado | $V^*(s)$ | $Q^*(s, C)$ | $Q^*(s, D)$ | $\pi_0[s]$ ($\Delta Q^*$) |
|---|
Editor Interactivo de las 8 Probabilidades del Entorno
Modifica cualquier $\hat{p}_0(s,a)$ para observar cómo cambia instantáneamente $\pi_0$ y la adaptación frente a Defector
Cruce de Decisión Online frente a Defector ($t = 1..30$)
Simulador Interactivo de la Regla de Actualización con Olvido
Observa el contexto $(CC, C)$ ($p_0 = 0.9530$) comparando olvido activo ($\lambda$) frente a conteo acumulativo ($\lambda = 1.00$)
| $k$ | Evento | $n_k$ | $\eta_k$ | $p_k$ ($\lambda$) | $p_k$ ($\lambda=1$) |
|---|
Barrido del Factor de Olvido $\lambda$ en el Torneo de Axelrod (1980)
Rapidez de Ajuste frente a Defector
Adaptación ante Cambio de Régimen ($C \to D$)
Convergencia de Probabilidades por Arquetipo
Mutación de la Política $\pi_t[s]$ en Vivo (Turnos 1–40)
Tasa Variable de Aprendizaje $\eta_k = 1 / n_k$
Evolución de la Ventaja de Bellman $\Delta Q_t(s)$
Adaptación en 3 Fases ($C \to D \to C$, Ventana Móvil)
Transformación de la Matriz Ambiental $T_0 \to T_{60}$
Ventana de Observación y Control Ronda a Ronda
Avanza turno a turno para ver cada cálculo exacto del árbol Expectimax antes de decidir
Horizonte Efectivo $L_\gamma = (1-\gamma)^{-1}$
Evaluación en Raíz $\bar{f}_t(C)$ vs. $\bar{f}_t(D)$ frente a Tit For Tat
Convergencia del Vector Frecuentista $E_t$
Estudio de Ablación: Árbol $H=4$ vs. Heurística de Markov
¿Posible Mejora a Futuro? — Jacinto (Taller 6)
Guacamayo Jacinto · Fusión de aprendizaje online con olvido (Mitcha) + Exploración Segura UCB para romper óptimos locales como Alternator
¿Por qué Mitcha (RL Olvido) se estancaba frente a Alternator en $2.500$ pts/ronda?
Al ser puramente greedy ($\arg\max_a Q_t^*(s, a)$), Mitcha converge en $t=23$ a la política CDCC (ciclo CD ↔ DC de $2.500$ pts/ronda) y nunca prueba jugar $D$ en $DC$ ni en $DD$. Por ello el contexto $(DD, D)$ queda congelado en el prior supervisado $p_0(DD, D) = 0.1574$, cuando contra Alternator la probabilidad real es $p_{\text{real}}(DD, D) = 1.000$.
Solución propuesta en Jacinto: Exploración UCB con Compuerta de Seguridad ($s \neq CC$)
Jacinto añade un bono UCB $Q_{\mathrm{UCB}}(s, a) = Q_t^*(s, a) + c\sqrt{\frac{\ln(t+1)}{1 + k_{s,a}}}$ ($c = 1.5$), pero bloquea toda exploración cuando $s = CC$ y $P_t(C \mid CC, C) \ge 0.85$. Así jamás traiciona gratuitamente a estrategas recíprocos como TitForTat o Grudger ($3.000$ pts/ronda), pero sí explora $(DC, D)$ y $(DD, D)$ hasta descubrir el ciclo óptimo DC ↔ DD de $2.935$ pts/ronda ($2.980$ en los últimos 100 turnos).
Condición Experimental ($T=200$, seed=42) |
5. Mitcha (RL Olvido) | 6. Jacinto (RL + Safe UCB) | Impacto |
|---|---|---|---|
| Torneo Axelrod 1980 (5 reps) | 2.662 ± 0.024 (#1/16) | 2.649 ± 0.025 (#1/16) | Mantiene el Puesto #1/16 sobre Stein & Rapoport y TFT |
vs Alternator (1v1, $T=200$) |
2.450 (2.500 L100) | 2.935 (2.980 L100) | +0.485 pts/ronda · Explota ciclo DC ↔ DD casi al óptimo 3.000 |
vs TitForTat / Grudger |
3.000 / 3.000 | 3.000 / 3.000 | Compuerta segura evita traiciones espurias en CC |
vs Defector (1v1, $T=200$) |
0.925 (1.000 L100) | 0.880 (0.970 L100) | Mínimo costo por verificar $(DD, C)$ antes de fijar $D$ |
Puntaje Acumulado y Ventana Móvil
Estado Interno del Jugador A
Matriz de Enfrentamientos Todos contra Todos ($N \times N$)
Haz clic en cualquier celda del mapa de calor para abrir ese duelo 1v1
Ecosistema Harper et al. (41 Estrategias · 10 Semillas)
Mega-Torneo General (175 Estrategias)
Tabla Completa Harper (41)
| # | Estrategia | Media $\pm$ DE | Rank |
|---|
Tabla Completa Mega-Torneo (175)
| # | Estrategia | Pts / Ronda |
|---|
Ejecutor de Torneos Round-Robin en Vivo
Compite con tus estrategias incorporadas, las 5 generaciones o ecosistemas clásicos completos
Ranking Final (Pts/Ronda $\pm$ DE)
Dispersión por Semillas
Mapa de Pagos del Torneo (clic en celda $\to$ Duelo 1v1)
Crear Nueva Estrategia
Disponible al instante en Juega el Dilema, Duelos 1v1 y Torneos
Estrategias Incorporadas
Envíalas directo a jugar, a un duelo 1v1 o a un torneo
Las estrategias guardadas pertenecen a esta sesión de pestaña y caducan a las 24 horas.
Aún no has guardado estrategias propias.
Códigos Ejecutables del Proyecto
Selecciona cualquier archivo Python o el notebook para inspeccionar, ejecutar en vivo o descargar
Verificación Automática de Invariantes Matemáticos
Comprueba normalización de la matriz $8 \times 4$, optimalidad de Bellman, equivalencia $\lambda=1$ y adaptación no estacionaria
Pulsa el botón para ejecutar la suite de pruebas sobre el motor real.