Reglas que aprenden: el modo sombra que mata el punto ciego del antifraude

La regla que pusiste hace ocho meses

Está ahí, corriendo. Bloquea transacciones todos los días. Y nadie en el equipo te puede responder la única pregunta que importa: ¿sigue atrapando fraude, o solo está molestando a buenos clientes?

No lo sabes. No porque seas descuidado, sino porque el sistema no te deja saberlo. Una regla que bloquea mata su propia evidencia: el caso nunca se ejecuta, nunca llega a contracargo, y nunca te enteras de si ese bloqueo fue un acierto o un cliente legítimo al que espantaste. Cortaste el final de la historia antes de poder leerlo.

Así operan casi todas las reglas de antifraude del mundo: a ciegas, por diseño.

Una regla no termina cuando la creas: ahí empieza

Piensa en cómo nace una regla. Alguien analizó un caso, detectó un patrón de posible fraude o de fraude directo, y escribió la regla para prevenir que se repita. Buen trabajo. La regla entra a producción. Y ahí, para la mayoría de los equipos, se acaba la historia.

Pero ese es justo el momento en que empiezan las preguntas que nadie responde:

• ¿Cómo mides hoy el impacto real de esa regla? ¿Tienes la matriz de confusión completa, o solo una estimación?
• ¿Tienes forma de monitorear su impacto en el tiempo, sin abrir una consulta a mano cada vez?
• ¿Cómo sabes si una regla sigue rindiendo bien, o si ya se volvió obsoleta porque el atacante cambió de método hace tres meses?

La respuesta honesta, en casi todos los equipos, es: no lo sabes, y nadie tiene tiempo de averiguarlo. Después de crear la regla, el analista pasa a otras diez actividades, pierde el contexto, y esa regla queda corriendo sola, sin dueño, sin métrica, sin fecha de revisión. El tiempo que el equipo gastaría evaluándola y monitoreándola simplemente no existe, porque siempre hay un incendio más urgente. Así se acumulan reglas zombi: vivas, bloqueando, y nadie sabe si protegen o estorban.

El punto ciego tiene nombre

En la literatura técnica se le llama el problema de las etiquetas selectivas: solo conoces el resultado de los casos que dejaste pasar. De los que bloqueaste, nada. Y eso envenena dos cosas a la vez.

Primero, tus métricas. Puedes calcular falsos positivos por simulación contra histórico, pero eso es una estimación de laboratorio, no el comportamiento real de la regla hoy, contra el tráfico de hoy.

Segundo, y peor: tu modelo. Si entrenas el motor solo con lo que las reglas dejaron pasar, el modelo aprende un mundo censurado. Nunca vio los casos que la regla mató, así que se vuelve ciego justo en la zona donde la regla decide. Termina siendo un eco de la regla, no un juez independiente. Dos sistemas mirando el mismo punto ciego y dándose la razón mutuamente.

La idea: que la regla deje pasar, a propósito

La única forma de saber si una regla acierta es ver qué pasa cuando no bloquea. Así que eso es exactamente lo que hacemos: cada regla puede activar un modo sombra inteligente.

Una vez activo, la regla deja pasar una muestra pequeña de los casos que normalmente bloquearía (uno que otro, cada cierto tiempo) y observa el final de la historia. ¿Ese caso que dejaste pasar terminó en contracargo? Entonces era fraude: la regla habría acertado. ¿No hubo contracargo? Era un cliente legítimo: la regla habría bloqueado a alguien bueno.

No es dejar de bloquear. Es bloquear con un canal abierto de verdad de campo. La regla sigue protegiéndote en el 90-95% de los casos, y el resto te enseña si vale lo que cuesta.

Contracargos por regla: cerrar el círculo

El modo sombra deja pasar el caso. Las métricas de contracargo por regla te dicen qué pasó con él. Esa es la pieza que cierra el círculo: cruzar cada caso que una regla dejó pasar con su resultado real.

Con eso, la matriz de confusión por regla deja de ser una estimación y se llena sola, con datos reales:

• Acierto (la regla tenía razón): dejó pasar un caso que terminó en contracargo. Habría bloqueado fraude.
• Falso positivo (la regla se equivocaba): dejó pasar un caso sin contracargo. Habría bloqueado a un buen cliente.

Por primera vez, una respuesta honesta a "¿esta regla sirve?". No una opinión, no una simulación. El dato.

Y de paso, el modelo deja de estar ciego

Hay un segundo efecto, y es el que más me entusiasma. El modelo aprende de los dos lados de cada regla: de los casos donde tomó una decisión y de los que dejó pasar. El modo sombra, aplicado de forma aleatoria, es lo que llena ese segundo lado, y al ser aleatorio, la muestra no está sesgada por la propia regla.

Cada caso que el modo sombra deja pasar viene con su resultado conocido. Eso es una etiqueta limpia: un dato no censurado, justo de la zona donde antes el modelo no veía nada. Así, las reglas dejan de competir con los modelos y empiezan a alimentarlos. El humano escribe la regla; la regla actúa como sensor; el sensor genera datos etiquetados de la frontera de decisión; el modelo aprende de esa frontera.

Y como el muestreo es aleatorio y acotado, puedes medir su impacto en negocio antes de que duela: cuánto fraude implica dejar pasar esa muestra, contra cuánto aprendizaje compras con ella. El viejo debate "¿reglas o modelos de aprendizaje?" siempre fue una trampa. La respuesta es: las reglas enseñan al modelo, si tu arquitectura cierra el ciclo.

El costo, sin maquillaje

Dejar pasar fraude a propósito cuesta dinero. No lo vamos a esconder.

Pero el costo es pequeño y controlado: no dejas pasar todo, dejas pasar una muestra: un 5%, un 10%, lo que configures por regla. Es el precio de no operar a ciegas, y es ridículamente más barato que la alternativa: una regla que lleva ocho meses bloqueando a tus mejores clientes sin que nadie lo sepa, o un modelo que nunca mejora porque nunca vio la verdad. Pagas una pérdida conocida y minúscula hoy para no pagar una invisible y enorme todos los días.

Hacia dónde va

Esto es lo que estamos construyendo en Frauddi: que cada regla deje de ser un botón que prendes y olvidas, y se vuelva un organismo con ciclo de vida: nace observando en modo sombra, se evalúa con contracargos reales, y se gradúa a bloqueo duro o se descarta según lo que la evidencia diga. Y que esa evidencia, de paso, alimente al motor.

Es la misma tesis que repetimos en todo lo que hacemos: un antifraude que aprende al ritmo del atacante, no uno que ejecuta a ciegas y reza. La regla que escribes hoy debería ser más inteligente mañana. No por arte de magia, sino porque por fin la dejaste ver el resultado de sus propias decisiones.

Si quieres ver cómo se ve operar reglas que aprenden de sí mismas, agenda una demo.