¿Qué prueba uso?

Ya sabemos que canal sale con p = 4,3e-14. Saca los residuos y di qué canal es el responsable.

tabla_canal = pd.crosstab(v['canal'], v['compro'])
chi2, p, gl, esp = stats.chi2_contingency(tabla_canal)

print(((tabla_canal - esp) / np.sqrt(esp)).round(3))

compro           0      1
canal                    
Marketplace  4.945 -4.228
Tienda      -1.748  1.495
Web         -0.136  0.116
WhatsApp    -3.194  2.731

Marketplace, con +4,945 en "no compró" 🔴

Y mira Web: -0,136 y +0,116. Casi cero. Web se comporta prácticamente como el promedio, o sea que no aporta nada al resultado de la prueba.

Eso cambia la conclusión práctica. No es que "el canal importe": es que Marketplace convierte mal y WhatsApp convierte bien, y los otros dos están en la media. Con esa frase se puede hacer algo; con "el canal es significativo", no 💼

Coge las ventas de un solo día y compara segmento contra compra con las dos pruebas.

un_dia = v[v['fecha'] == '2025-03-14']
tabla_dia = pd.crosstab(un_dia['segmento'] == 'Mayorista', un_dia['compro'])

print(tabla_dia)
print()
chi2, p, gl, esp = stats.chi2_contingency(tabla_dia)
print('esperado mas chico: %.2f' % esp.min())
print('ji cuadrado: p = %.4f' % p)
print('Fisher:      p = %.4f' % stats.fisher_exact(tabla_dia).pvalue)

compro    0  1
segmento      
False     3  1
True      0  1

esperado mas chico: 0.40
ji cuadrado: p = 0.8195
Fisher:      p = 0.4000

Cinco ventas ese día, y el esperado más chico es 0,40 😬

Y mira los dos valores p: ji cuadrado dice 0,8195 y Fisher dice 0,4000. Sobre la misma tabla de cinco filas, uno da el doble que el otro.

Ninguno encuentra nada, que con cinco filas es la única respuesta honesta posible, pero fíjate en que ji cuadrado no protestó: corrió con esperados de 0,40 y devolvió un número con cuatro decimales. Fisher es el que hay que usar aquí, porque cuenta todas las tablas posibles en vez de aproximar.

La lección no es sobre pruebas, es sobre datos: con cinco filas no se hace inferencia de nada. Y sin embargo se hace todo el tiempo, cada vez que alguien filtra por región, mes y categoría a la vez 🧊

Haz las seis comparaciones de segmentos dos a dos y cuenta cuántas salen significativas. Luego aplica la corrección de Bonferroni.

from itertools import combinations

segmentos = sorted(v['segmento'].unique())
pares = list(combinations(segmentos, 2))
alfa_corregido = 0.05 / len(pares)

print('%d comparaciones, alfa corregido = %.4f' % (len(pares), alfa_corregido))
print()
for a, b in pares:
    ga = v.loc[v['segmento'] == a, 'compro']
    gb = v.loc[v['segmento'] == b, 'compro']
    pv = stats.ttest_ind(ga, gb, equal_var=False).pvalue
    print('%-11s vs %-11s p = %.6f  %s %s'
          % (a, b, pv,
             'sig' if pv < 0.05 else '   ',
             'sig corregido' if pv < alfa_corregido else ''))

6 comparaciones, alfa corregido = 0.0083

Bodega      vs Horeca      p = 0.000000  sig sig corregido
Bodega      vs Mayorista   p = 0.000000  sig sig corregido
Bodega      vs Minimarket  p = 0.000000  sig sig corregido
Horeca      vs Mayorista   p = 0.000142  sig sig corregido
Horeca      vs Minimarket  p = 0.011806  sig 
Mayorista   vs Minimarket  p = 0.000000  sig sig corregido

Cinco de las seis aguantan la corrección. La que se cae es justo la que usamos de ejemplo en el capítulo 12: Horeca contra Minimarket, con p = 0,011806, que queda por encima del 0,0083 corregido 🫠

Con alfa de 0,05 era significativa. Con el alfa corregido de 0,0083, no.

Y no hay nada nuevo en los datos: lo único que cambió es que ahora estoy haciendo seis preguntas en vez de una, así que exijo más evidencia para cada una. Bonferroni divide alfa entre el número de comparaciones, y es la corrección más simple que existe.

Es también la más severa, y ahí está su crítica: protege tanto de falsas alarmas que te hace perder efectos reales. Volvemos a esto en el capítulo 17 ⚖️

Las pruebas de arriba comparan grupos distintos. Prueba la versión emparejada: parte el año y compara los mismos clientes en los dos tramos.

mitad = v['fecha'].median()
antes = v[v['fecha'] <= mitad].groupby('cliente_id')['monto'].mean()
despues = v[v['fecha'] > mitad].groupby('cliente_id')['monto'].mean()

comunes = antes.index.intersection(despues.index)
a = antes[comunes]
d = despues[comunes]

print('clientes en los dos tramos: %d' % len(comunes))
print('promedio antes:   %.2f' % a.mean())
print('promedio despues: %.2f' % d.mean())
print()
print('emparejada:      p = %.4f' % stats.ttest_rel(a, d).pvalue)
print('sin emparejar:   p = %.4f' % stats.ttest_ind(a, d).pvalue)

clientes en los dos tramos: 507
promedio antes:   822.34
promedio despues: 798.75

emparejada:      p = 0.4772
sin emparejar:   p = 0.4722

507 clientes aparecen en los dos tramos. Promediaban 822,34 antes y 798,75 después, y las dos pruebas dicen que no pasó nada (p = 0,4772 y p = 0,4722) 🙂

Lo que quiero que veas es la diferencia entre las dos pruebas. La emparejada mira el cambio de cada cliente consigo mismo; la otra trata los dos tramos como si fueran gente distinta.

Cuando de verdad hay un efecto, la emparejada lo detecta muchísimo mejor, porque se quita de encima toda la variación entre clientes (que aquí es enorme: un mayorista contra una bodega). Aquí dan casi lo mismo porque no hay nada que detectar.

Regla: si puedes emparejar, empareja. Antes y después del mismo cliente, de la misma tienda, del mismo mes del año anterior 🔗

Fabrica el caso: coge los montos de Bodega, mételes un atípico enorme y mira qué prueba se deja engañar.

bod = v.loc[v['segmento'] == 'Bodega', 'monto'].values
mini = v.loc[v['segmento'] == 'Minimarket', 'monto'].values

print('sin tocar nada:')
print('  t:            p = %.3e' % stats.ttest_ind(bod, mini, equal_var=False).pvalue)
print('  Mann-Whitney: p = %.3e' % stats.mannwhitneyu(bod, mini).pvalue)

trucado = np.concatenate([bod, [500000.0]])
print()
print('metiendo una venta de 500000 en Bodega:')
print('  media de Bodega pasa de %.2f a %.2f' % (bod.mean(), trucado.mean()))
print('  t:            p = %.4f' % stats.ttest_ind(trucado, mini, equal_var=False).pvalue)
print('  Mann-Whitney: p = %.3e' % stats.mannwhitneyu(trucado, mini).pvalue)

sin tocar nada:
  t:            p = 1.042e-222
  Mann-Whitney: p = 6.808e-189

metiendo una venta de 500000 en Bodega:
  media de Bodega pasa de 178.70 a 884.66
  t:            p = 0.5060
  Mann-Whitney: p = 6.662e-188

Una sola fila 🤯

La prueba t pasa de p = 10 elevado a -222 (o sea "segurísimo que son distintos") a p = 0,5060, que significa "no distingo nada". Una venta entre 708.

Y mira lo que le hizo a la media: Bodega pasa de 178,70 a 884,66, o sea que por culpa de una fila el segmento que menos vende parece el que más.

Mann-Whitney ni se inmuta: pasa de 10 elevado a -189 a 10 elevado a -188. Como solo mira posiciones, esa venta enorme es simplemente "la última de la fila", y da igual que valga 500.000 o 1.000.

Este es el argumento entero a favor de las no paramétricas, en un ejemplo. Cuando sospeches de tus datos, o cuando los extremos sean de verdad, usa la que no se deja arrastrar 🛡️

Escribe una función que, dadas dos columnas, elija la prueba y la corra.

def compara(df, grupo, medida):
    niveles = df[grupo].nunique()
    datos = [g[medida].dropna().values for _, g in df.groupby(grupo)]
    categorica = df[medida].nunique() <= 2

    if categorica:
        chi2, pv, gl, esp = stats.chi2_contingency(pd.crosstab(df[grupo], df[medida]))
        return 'ji cuadrado', pv, esp.min() < 5
    if niveles == 2:
        return 'prueba t', stats.ttest_ind(*datos, equal_var=False).pvalue, False
    return 'ANOVA', stats.f_oneway(*datos).pvalue, False


for grupo, medida in [('segmento', 'compro'), ('ciudad', 'compro'),
                      ('canal', 'monto'), ('segmento', 'monto')]:
    prueba, pv, aviso = compara(v, grupo, medida)
    print('%-10s vs %-7s -> %-12s p = %-10.4g %s'
          % (grupo, medida, prueba, pv, 'AVISO: celdas chicas' if aviso else ''))

segmento   vs compro  -> ji cuadrado  p = 7.193e-42  
ciudad     vs compro  -> ji cuadrado  p = 0.9813     
canal      vs monto   -> ANOVA        p = 0.9056     
segmento   vs monto   -> ANOVA        p = 0          

Cuatro cruces, cuatro pruebas bien elegidas, una línea cada uno 🙌

Esta función la puedes pegar en cualquier cuaderno. Y fíjate en lo que hace por dentro: la elección se decide mirando nunique(), que es exactamente el detector de tipos del capítulo 2.

Un aviso para que no la uses a ciegas: esto elige la prueba, no sustituye a pensar. Te devuelve un p y nada más. Le falta lo que viene en el capítulo 14, que es lo que de verdad hay que reportar 😌

Corre ANOVA y Kruskal sobre segmento y sobre ciudad, y compara.

grupos = [g['monto'].values for _, g in v.groupby('segmento')]
print('ANOVA        : p = %.6e' % stats.f_oneway(*grupos).pvalue)
print('Kruskal      : p = %.6e' % stats.kruskal(*grupos).pvalue)
print()
grupos_c = [g['monto'].values for _, g in v.groupby('ciudad')]
print('por ciudad, ANOVA  : p = %.4f' % stats.f_oneway(*grupos_c).pvalue)
print('por ciudad, Kruskal: p = %.4f' % stats.kruskal(*grupos_c).pvalue)

ANOVA        : p = 0.000000e+00
Kruskal      : p = 0.000000e+00

por ciudad, ANOVA  : p = 0.8429
por ciudad, Kruskal: p = 0.9901

Las dos dicen lo mismo las dos veces, y eso es tranquilizador 💚

Cuando la paramétrica y la no paramétrica coinciden, la elección daba igual y puedes reportar cualquiera. Cuando no coinciden es cuando hay que pararse a pensar, y suele significar que los supuestos de la paramétrica no se cumplen.

Y fíjate en ese 0.000000e+00 de arriba: no es que el valor p sea cero, es que es tan pequeño que no cabe en un número de computadora. Se reporta como p < 0,001 y nunca como cero 🔬

Cruza cada columna categórica contra si el pedido cerró, y ordénalas por lo que separan.

for col in ['ciudad', 'canal', 'categoria', 'segmento']:
    t = pd.crosstab(v[col], v['compro'])
    chi, p2, _, _ = stats.chi2_contingency(t)
    print('%-11s chi2 = %8.2f   p = %.6f' % (col, chi, p2))

ciudad      chi2 =     0.73   p = 0.981325
canal       chi2 =    65.31   p = 0.000000
categoria   chi2 =     1.61   p = 0.806734
segmento    chi2 =   194.30   p = 0.000000

Dos separan y dos no, y no son las que uno diría 🤔

El segmento arrasa, como en todo el libro. Pero mira el canal, con un chi cuadrado de 65,31: para el monto no separaba nada (era 1,03 veces en el capítulo 1) y para cerrar o no cerrar separa muchísimo.

Esa es la lección escondida: una columna puede no explicar una cosa y explicar otra. "¿Esta variable sirve?" es una pregunta mal hecha si no dices para qué 🎯