Probabilidad, lo justo y necesario

Empieza la segunda mitad del libro 🎬

Hasta ahora describíamos lo que teníamos delante. A partir de aquí vamos a afirmar cosas sobre lo que no medimos, y para eso hace falta un poco de probabilidad.

Poca, te lo prometo. Nada de urnas con bolas ni de barajas. Tres ideas, y las tres se calculan con la misma tabla de ventas de siempre.

import pandas as pd
import numpy as np

URL = 'https://missyera.com/static/datasets/ventas-miss-yera.csv'


def carga_limpia(url):
    """La misma del capítulo 2."""
    v = pd.read_csv(url).drop_duplicates()
    v['ciudad'] = (v['ciudad'].str.strip().str.lower()
                   .str.normalize('NFKD')
                   .str.encode('ascii', 'ignore').str.decode('utf-8'))
    v['monto'] = pd.to_numeric(v['monto'].str.replace(',', '.'))
    for col in ['fecha', 'fecha_ultima_compra']:
        f = pd.to_datetime(v[col], format='%Y-%m-%d', errors='coerce')
        falta = f.isna() & v[col].notna()
        f[falta] = pd.to_datetime(v.loc[falta, col], format='%d/%m/%Y',
                                  errors='coerce')
        v[col] = f
    return v


v = carga_limpia(URL)

print('P(compra)    = %.4f' % v['compro'].mean())
print('P(mayorista) = %.4f' % (v['segmento'] == 'Mayorista').mean())

P(compra)    = 0.5777
P(mayorista) = 0.2500

Ahí tienes la única definición de probabilidad que vas a necesitar: la proporción de veces que pasa algo. Y ya sabes calcularla desde el capítulo 2, porque es la media de una columna de ceros y unos 😌

Y dime: ¿te has creído alguna vez un resultado de laboratorio sin preguntar cuánta gente tiene esa enfermedad? Es el mismo error que vamos a ver acá, y cuesta mucho más caro en datos 🎲

Regla 1: la suma, con su descuento

¿Cuál es la probabilidad de que una venta sea de un mayorista o venga por WhatsApp?

La tentación es sumar. Vamos a ver:

mayorista = v['segmento'] == 'Mayorista'
whatsapp = v['canal'] == 'WhatsApp'

print('P(mayorista)        = %.4f' % mayorista.mean())
print('P(whatsapp)         = %.4f' % whatsapp.mean())
print('sumando los dos     = %.4f' % (mayorista.mean() + whatsapp.mean()))
print('P(mayorista O whatsapp) = %.4f' % (mayorista | whatsapp).mean())
print('lo que sobra        = %.4f' % (mayorista & whatsapp).mean())

P(mayorista)        = 0.2500
P(whatsapp)         = 0.2397
sumando los dos     = 0.4897
P(mayorista O whatsapp) = 0.4327
lo que sobra        = 0.0570

Sumando sale 0,4897 y la verdad es 0,4327. Sobran exactamente 0,0570, que es la proporción de ventas que son las dos cosas a la vez: un mayorista que compró por WhatsApp.

Al sumar las contaste dos veces. Por eso la regla es restar la intersección 🧮

Regla 2: la condicional, que es la que se usa de verdad

"Dado que ya sé algo, ¿qué probabilidad hay de lo otro". En pandas esto es simplemente filtrar antes de promediar:

print('P(compra)                = %.4f' % v['compro'].mean())
print('P(compra | mayorista)    = %.4f' % v.loc[mayorista, 'compro'].mean())
print('P(compra | whatsapp)     = %.4f' % v.loc[whatsapp, 'compro'].mean())
print('P(compra | marketplace)  = %.4f'
      % v.loc[v['canal'] == 'Marketplace', 'compro'].mean())

P(compra)                = 0.5777
P(compra | mayorista)    = 0.7240
P(compra | whatsapp)     = 0.6551
P(compra | marketplace)  = 0.4613

Saber quién es el cliente cambia la probabilidad: de 0,5777 sube a 0,7240 si es mayorista y baja a 0,4613 si viene por Marketplace 📈

Y eso es, literalmente, de qué va el análisis de datos: buscar el dato que, al conocerlo, cambia lo que esperas 🔮

Regla 3: independencia

Dos cosas son independientes si saber una no te dice nada de la otra. La prueba es esta: si son independientes, la probabilidad de que pasen las dos es el producto de las dos por separado.

Probemos con ciudad, que llevamos seis capítulos sospechando que no sirve para nada:

for c in ['lima', 'arequipa', 'trujillo']:
    es_ciudad = v['ciudad'] == c
    juntas = (es_ciudad & (v['compro'] == 1)).mean()
    producto = es_ciudad.mean() * v['compro'].mean()
    print('%-9s juntas %.4f | producto %.4f | diferencia %+.4f'
          % (c, juntas, producto, juntas - producto))

lima      juntas 0.0917 | producto 0.0907 | diferencia +0.0010
arequipa  juntas 0.1047 | producto 0.1051 | diferencia -0.0005
trujillo  juntas 0.0930 | producto 0.0907 | diferencia +0.0023

Prácticamente idénticas. Ciudad y compra son independientes: saber de qué ciudad es una venta no te dice nada sobre si se va a cerrar ✅

Y ahora el contraste, con segmento:

juntas = (mayorista & (v['compro'] == 1)).mean()
producto = mayorista.mean() * v['compro'].mean()

print('juntas   %.4f' % juntas)
print('producto %.4f' % producto)
print('la realidad es %.1f%% mayor de lo que serIa si fueran independientes'
      % (100 * (juntas / producto - 1)))

juntas   0.1810
producto 0.1444
la realidad es 25.3% mayor de lo que serIa si fueran independientes

Un 25,3% por encima. Aquí no hay independencia ninguna: ser mayorista y comprar van juntos 🤝

Guarda este cálculo porque es exactamente el que hace la prueba ji cuadrado del capítulo 13. Lo único que añade la prueba es decirte cuánta diferencia hace falta para que no sea casualidad.

El error que cuesta campañas

Este es el importante del capítulo, y lo he visto en presentaciones de verdad 😖

print('P(compra | mayorista) = %.4f' % v.loc[mayorista, 'compro'].mean())
print('P(mayorista | compra) = %.4f'
      % (v.loc[v['compro'] == 1, 'segmento'] == 'Mayorista').mean())

P(compra | mayorista) = 0.7240
P(mayorista | compra) = 0.3133

0,7240 y 0,3133. Son dos números completamente distintos, y en castellano se parecen tanto que se confunden todo el rato:

• ✅ "El 72,40% de los mayoristas compra". Verdad.
• ✅ "El 31,33% de los que compran son mayoristas". Verdad.
• ❌ "El 72,40% de los que compran son mayoristas". Falso, y es lo que la gente entiende.

Y la consecuencia es de plata. Si crees que el 72% de tus compradores son mayoristas, concentras el equipo comercial ahí y abandonas a los demás. Pero resulta que casi siete de cada diez ventas cerradas vienen de otros segmentos 💸

La regla mnemotécnica: P(A dado B) no es P(B dado A). Cuando leas un porcentaje, pregúntate siempre sobre qué total está calculado.

Bayes, que es la fórmula para darle la vuelta

El teorema de Bayes es justo eso: cómo pasar de una a la otra sin equivocarse.

Vamos a comprobar que funciona:

p_may = mayorista.mean()
p_compra = v['compro'].mean()
p_compra_dado_may = v.loc[mayorista, 'compro'].mean()

bayes = p_compra_dado_may * p_may / p_compra

print('con Bayes:  %.4f' % bayes)
print('contando:   %.4f'
      % (v.loc[v['compro'] == 1, 'segmento'] == 'Mayorista').mean())

con Bayes:  0.3133
contando:   0.3133

Clavado 🎯

Fíjate en la pieza que hace todo el trabajo: P(A), la proporción de mayoristas, que es 0,25. Como solo una de cada cuatro ventas es de un mayorista, por muy alta que sea su tasa de compra no pueden ser la mayoría de los cierres.

A esa P(A) se le llama tasa base, y olvidarla es el error más famoso de toda la probabilidad.

La tasa base, con las 21 negativas

Imagina que alguien de sistemas te ofrece un detector de ventas rotas. Dice que acierta el 99%: si la venta está rota la detecta el 99% de las veces, y si está bien solo se equivoca el 1%.

Suena excelente. Vamos a ver qué pasa cuando lo sueltas sobre estas ventas, donde ya sabemos que hay 21 rotas de 3.000:

tasa_base = (v['monto'] < 0).mean()
sensibilidad = 0.99
falsa_alarma = 0.01

alarmas_buenas = sensibilidad * tasa_base
alarmas_falsas = falsa_alarma * (1 - tasa_base)

print('proporcion de ventas rotas: %.5f' % tasa_base)
print('alarmas correctas por venta: %.5f' % alarmas_buenas)
print('alarmas falsas por venta:    %.5f' % alarmas_falsas)
print()
print('P(rota | suena la alarma) = %.4f'
      % (alarmas_buenas / (alarmas_buenas + alarmas_falsas)))

proporcion de ventas rotas: 0.00700
alarmas correctas por venta: 0.00693
alarmas falsas por venta:    0.00993

P(rota | suena la alarma) = 0.4110

El 41,10%. O sea que cuando el detector del 99% suena, se equivoca más veces de las que acierta 😵

Y no es que el detector sea malo: es buenísimo. El problema es que hay 2.979 ventas sanas y solo 21 rotas. El 1% de errores sobre 2.979 son 29,79 alarmas falsas, más que las 20,79 correctas que salen del 99% sobre 21.

Esto es lo que pasa con todos los detectores de cosas raras: fraude, enfermedades poco frecuentes, fallos de máquina. Cuando lo que buscas es raro, la mayoría de las alarmas son falsas aunque el detector sea buenísimo 🚨

Es también la razón por la que el libro de machine learning tiene un capítulo entero sobre clases raras: el mismo problema, con modelos.

El error del capítulo

v.groupby('segmento')['compro'].mean()['Mayoristas']

KeyError: 'Mayoristas'

Una ese de más 🤦 En el archivo el segmento se llama Mayorista, en singular.

Parece tonto, y lo pongo aquí porque este error tiene una versión hermana que no da error y que es de las que más daño hacen:

print('mal escrito:  %.4f' % v.loc[v['segmento'] == 'Mayoristas', 'compro'].mean())
print('bien escrito: %.4f' % v.loc[v['segmento'] == 'Mayorista', 'compro'].mean())
print('cuantas filas trae el mal escrito:',
      (v['segmento'] == 'Mayoristas').sum())

mal escrito:  nan
bien escrito: 0.7240
cuantas filas trae el mal escrito: 0

Con groupby te avisa. Con un filtro, no: te devuelve cero filas y un nan, tan tranquilo 😶

Y si en vez de una media hubieras pedido un sum(), te habría devuelto 0,0, que parece un número de verdad y se cuela en cualquier informe.

La defensa es la de siempre y cuesta un segundo: después de filtrar, mira cuántas filas quedaron.

Y dos más, y los dos son la regla número uno

np.random.default_rng(7).choice(['si', 'no'], p=[0.7, 0.5])

ValueError: Probabilities do not sum to 1. See Notes section of docstring for more information.

Ahí está el axioma en un mensaje de error: las probabilidades de todo lo que puede pasar suman 1. Un 70% y un 50% suman 120%, y no hay mundo donde eso signifique algo.

np.random.default_rng(7).binomial(10, 1.3)

ValueError: p < 0, p > 1 or p is NaN

Y el otro lado de lo mismo: una probabilidad sola tampoco puede pasar de 1. Suele salir de haber guardado un porcentaje sin dividir entre cien, que es de los descuidos más caros que hay porque a veces no revienta y te deja el número mal 🎲

Practica 💪

por_canal = v.groupby('canal')['compro'].agg(['mean', 'count']).sort_values('mean')
por_canal.columns = ['P(compra)', 'ventas']

print(por_canal.round(4))
print()
print('el mejor supera al peor en %.1f puntos'
      % (100 * (por_canal['P(compra)'].max() - por_canal['P(compra)'].min())))

           P(compra)  ventas
canal
Marketplace     0.4613     763
Web             0.5808     792
Tienda          0.6198     726
WhatsApp        0.6551     719

el mejor supera al peor en 19.4 puntos

def cuanto_depende(df, columna):
    p_compra = df['compro'].mean()
    peor = 0.0
    for valor in df[columna].unique():
        es = df[columna] == valor
        juntas = (es & (df['compro'] == 1)).mean()
        producto = es.mean() * p_compra
        peor = max(peor, abs(juntas / producto - 1))
    return peor


for col in ['ciudad', 'categoria', 'canal', 'segmento']:
    print('%-11s se desvia hasta %5.1f%% de la independencia'
          % (col, 100 * cuanto_depende(v, col)))

ciudad      se desvia hasta   2.5% de la independencia
categoria   se desvia hasta   3.2% de la independencia
canal       se desvia hasta  20.1% de la independencia
segmento    se desvia hasta  35.1% de la independencia

p_wa = whatsapp.mean()
p_compra = v['compro'].mean()
p_compra_dado_wa = v.loc[whatsapp, 'compro'].mean()

print('P(whatsapp | compra) con Bayes: %.4f'
      % (p_compra_dado_wa * p_wa / p_compra))
print('contando:                       %.4f'
      % (v.loc[v['compro'] == 1, 'canal'] == 'WhatsApp').mean())

P(whatsapp | compra) con Bayes: 0.2718
contando:                       0.2718

con_dato = v.dropna(subset=['satisfaccion'])
alarma = con_dato['satisfaccion'] <= 2
no_cerro = con_dato['compro'] == 0

print('filas con satisfaccion: %d' % len(con_dato))
print('P(alarma)               = %.4f' % alarma.mean())
print('P(no cerro)             = %.4f' % no_cerro.mean())
print()
print('P(alarma | no cerro)    = %.4f' % alarma[no_cerro].mean())
print('P(alarma | si cerro)    = %.4f' % alarma[~no_cerro].mean())
print('P(no cerro | alarma)    = %.4f' % no_cerro[alarma].mean())

filas con satisfaccion: 2769
P(alarma)               = 0.3962
P(no cerro)             = 0.4258

P(alarma | no cerro)    = 0.4724
P(alarma | si cerro)    = 0.3396
P(no cerro | alarma)    = 0.5077

generador = np.random.default_rng(7)
v['moneda'] = generador.integers(0, 2, size=len(v))

cara = v['moneda'] == 1
juntas = (cara & (v['compro'] == 1)).mean()
producto = cara.mean() * v['compro'].mean()

print('P(cara)          = %.4f' % cara.mean())
print('P(compra | cara) = %.4f' % v.loc[cara, 'compro'].mean())
print('P(compra)        = %.4f' % v['compro'].mean())
print()
print('juntas %.4f | producto %.4f | se desvia %.2f%%'
      % (juntas, producto, 100 * (juntas / producto - 1)))

P(cara)          = 0.5033
P(compra | cara) = 0.5755
P(compra)        = 0.5777

juntas 0.2897 | producto 0.2908 | se desvia -0.38%

directo = (mayorista & whatsapp & (v['compro'] == 1)).mean()

cadena = (mayorista.mean()
          * whatsapp[mayorista].mean()
          * v.loc[mayorista & whatsapp, 'compro'].mean())

print('directo: %.6f' % directo)
print('cadena:  %.6f' % cadena)
print()
print('son %d ventas de %d' % ((mayorista & whatsapp & (v['compro'] == 1)).sum(),
                               len(v)))

directo: 0.046667
cadena:  0.046667

son 140 ventas de 3000

tabla = pd.crosstab(v['segmento'], v['compro'], normalize='index')
print((tabla * 100).round(1).to_string())
print()
print('cierra mas seguido: %s' % tabla[1].idxmax())
print('cierra menos:       %s' % tabla[1].idxmin())

compro         0     1
segmento
Bodega      62.5  37.5
Horeca      36.8  63.2
Mayorista   27.6  72.4
Minimarket  43.1  56.9

cierra mas seguido: Mayorista
cierra menos:       Bodega

p_web = (v['canal'] == 'Web').mean()
p_cierra = v['compro'].mean()
juntas_real = ((v['canal'] == 'Web') & (v['compro'] == 1)).mean()
print('P(Web)           = %.4f' % p_web)
print('P(cierra)        = %.4f' % p_cierra)
print('si fueran independientes, P(las dos) = %.4f' % (p_web * p_cierra))
print('P(las dos) de verdad                 = %.4f' % juntas_real)

P(Web)           = 0.2640
P(cierra)        = 0.5777
si fueran independientes, P(las dos) = 0.1525
P(las dos) de verdad                 = 0.1533

Dos porcentajes del mismo canal que no dicen lo mismo

Antes de cerrar, la trampa. Los dos números están bien calculados y la conclusión que sale de mezclarlos está muy mal 🔀

p_compra   = (v['compro'] == 1).mean()          # 0.5777
p_mayor    = (v['segmento'] == 'Mayorista').mean()  # 0.2500

print(round(p_compra * p_mayor * 3000))
# 433

real = ((v['compro'] == 1) &
        (v['segmento'] == 'Mayorista')).mean()
print(round(real * 3000))
# 543

Lo que te llevas

• 🎲 Una probabilidad es la proporción de veces que pasa algo, o sea la media de una columna de ceros y unos.
• ➕ P(A o B) no es P(A) + P(B). Hay que restar lo que se cuenta dos veces: aquí 0,4897 contra 0,4327 de verdad.
• 🔍 La condicional es filtrar antes de promediar. P(compra) es 0,5777 y P(compra|mayorista) es 0,7240.
• 🔀 P(A|B) no es P(B|A). El 72,40% de los mayoristas compra, pero solo el 31,33% de las compras son de mayoristas.
• ⚖️ Bayes es la fórmula para darle la vuelta, y la pieza que manda es la tasa base.
• 🚨 Un detector con 99% de acierto sobre algo que pasa el 0,70% de las veces acierta el 41,11% de sus alarmas.
• 👻 Un filtro mal escrito no da error: devuelve cero filas y un nan. Cuenta las filas después de filtrar.

Y si de todo el capítulo te llevas una sola frase, que sea esta:

Y esto de darle la vuelta a una condicional es exactamente lo que hace que un modelo con 99% de acierto sea inútil en un problema raro. Está contado en el libro de machine learning 🤖

Qué viene ahora

En el capítulo 8 vemos las tres distribuciones que de verdad se usan (binomial, Poisson y normal) y el teorema que explica por qué la campana aparece por todas partes aunque tus datos no sean campana 🔔

Preguntas frecuentes