Associatie en interventie

Lecture 1 — Big Data for Black Belt Lean

Vandaag

Deel 1 — Associatie Data, kansverdelingen, en het beschrijven van verbanden tussen variabelen.

Deel 2 — Interventie Van zien naar doen: oorzaak en gevolg, causale diagrammen, randomisatie.

1 · Data en kansen

Data als grondstof voor inzicht

Drie typische databronnen in de industrie

Procesbeheersing

Betrouwbaarheid (MTBF)

Financiële resultaten

Statistisch denken

Kanstheorie is het leidend paradigma om met onzekerheid om te gaan.

Kansverdelingen visualiseren

pdf \[f(x) = P(X = x)\]

De vorm van de verdeling.

cdf \[F(x) = P(X \leq x)\]

De gecumuleerde kans.

\[F(x) = \int_{-\infty}^{x} f(t)\,dt\]

De normale verdeling

Twee parameters: \(\mu\) (gemiddelde) en \(\sigma\) (spreiding).

Niet alles is normaal

Wachttijden exponentieel

Afkeurcijfers beta (op \([0,1]\))

Aantal klachten Poisson

Twee zijden van een medaille

%%{init: {"theme":"base","themeVariables":{"fontFamily":"Georgia, serif","fontSize":"32px","edgeLabelBackground":"#f8fafc","lineColor":"#64748b"}}}%%
flowchart LR
    D(("  Data  ")) -- Inference --> P(("  P(x)  "))
    P -- Sampling --> D
    style D fill:#dbeafe,stroke:#2563eb,stroke-width:4px,color:#1e3a5f,font-weight:bold
    style P fill:#fee2e2,stroke:#dc2626,stroke-width:4px,color:#1e3a5f,font-weight:bold

  • Sampling: van verdeling → data (doet de natuur).
  • Inference: van data → verdeling (doet de statistiek).

Te onthouden

De oneindige zee aan data en de kansverdeling zijn wiskundig één en hetzelfde.

Praktijkvoorbeeld: aankomsttijden

  • Data: we observeren voor elke minuut hoeveel klanten aan de kassa komen.
  • Inference: De data volgt een Poisson-verdeling \(\mathcal P(2.959)\) met \(\lambda = 2.959\) klanten / minuut.
  • … En wat zijn we daar dan mee?

Inference als voorspelling

%%{init: {"theme":"base","themeVariables":{"fontFamily":"Georgia, serif","fontSize":"30px","edgeLabelBackground":"#f8fafc","lineColor":"#64748b"}}}%%
flowchart LR
    D(("  Data  ")) -- Inference --> P(("  P(x)  "))
    P -- Prediction --> F((" Future data "))
    style D fill:#dbeafe,stroke:#2563eb,stroke-width:4px,color:#1e3a5f,font-weight:bold
    style P fill:#fee2e2,stroke:#dc2626,stroke-width:4px,color:#1e3a5f,font-weight:bold
    style F fill:#dcfce7,stroke:#16a34a,stroke-width:4px,color:#1e3a5f,font-weight:bold

Søren Kierkegaard

“Life can only be understood backwards, but it must be lived forwards.”

Praktijkvoorbeeld — klantenstromen

  • Voorspelling: er is minder dan 2% kans dat er meer dan 7 klanten per minuut arriveren.

2 · Meerdimensionale data

De kracht van associatie

Twee variabelen die samen bewegen → associatie.

  • Snelheid voertuig \(\to\) aantal ongevallen
  • Samenstelling voedsel \(\to\) hart- en vaatziekten
  • Werkingspunt installatie \(\to\) slijtage, levensduur

Wat is associatie?

De gecombineerde dataset \((X, Y)\) bevat informatie die je niet kan achterhalen door \(X\) en \(Y\) apart te bestuderen.

Kanstheorie werkt gelukkig ook in meer dimensies!

De multivariate normale verdeling

after Geoffrey Hinton

“To visualize 4 dimensions, visualize 3 and say ‘four’ very loudly. To visualize 14 dimensions, visualize 3 and say ‘fourteen’ even louder.”

Gemengd: continu × discreet

De gezamenlijke kansverdeling van gender (\(G\)) en gewicht (\(M\)) vormt een tweedimensionale kansverdeling \(P(G, M)\) waarbij \(G\) discreet is en \(M\) continu.

\(P(G=\text{man}, M=100\,\text{kg})\) = kans dat een persoon een man is die ~100 kg weegt. [Strikt genomen: kansdichtheid.]

Nog veel hogere dimensies

Aankoopgedrag

Productiedata

Beeldherkenning

Te onthouden

Big data is in de eerste plaats… veel kolommen (veel dimensies), niet enkel veel rijen.

3 · Marginale en voorwaardelijke kansen

Marginale kansverdeling

\[P(X) = \int_{y} P(X,\, Y = y)\,dy\]

“Kolom(men) \(Y\) wegfilteren uit de data.”

Onafhankelijkheid

\[P(X,\, Y) = P(X) \cdot P(Y)\]

Kennis van \(X\) geeft geen extra informatie over \(Y\).

Voorwaardelijke kansverdeling

\[P(Y \mid X) = \frac{P(X,\, Y)}{P(X)}\]

“Rijen filteren waar \(X \approx x\).”

Voorwaardelijk — visueel

Onafhankelijkheid herbekeken

Drie equivalente uitdrukkingen:

\[P(X, Y) = P(X) \cdot P(Y)\]

\[P(Y \mid X) = P(Y)\]

\[P(X \mid Y) = P(X)\]

Oefening

In de kansverdeling \(P(G, M)\) met gewichten van mannen en vrouwen, zijn \(G\) en \(M\) onafhankelijke variabelen?

Intuïtie — m/v

Tip

Als geslacht en gewicht onafhankelijk zouden zijn, dan was

\[P(M \mid G = \text{man}) = P(M) = P(M \mid G = \text{vrouw}).\]

Daaruit zou volgen dat mannen en vrouwen zouden gemiddeld even zwaar zijn, wat zeker niet zo is.

Oefening — productiekwaliteit

Producten van twee productielijnen, ingedeeld naar kwaliteit \(K\):

Accepted Downgraded Rejected Totaal
Lijn 1 200 50 20 270
Lijn 2 150 40 40 230
Totaal 350 90 60 500

Vragen

  1. Bereken \(P(L = \text{lijn 2},\, K = \text{Accepted})\).
  2. Bereken de marginale verdeling \(P(K)\).
  3. Bereken de voorwaardelijke verdeling \(P(K \mid L = \text{lijn 1})\).
  4. Zijn \(L\) en \(K\) onafhankelijk? Leg uit.

Oefening — uitwerking

1. Gezamenlijke kans — celwaarde delen door totaal: \[P(L = \text{lijn 2},\, K = \text{Accepted}) = \tfrac{150}{500} = 0{,}30\]

2. Marginale \(P(K)\) — kolomtotalen delen door 500: \[P(\text{Acc.}) = \tfrac{350}{500} = 0{,}70 \quad P(\text{Down.}) = \tfrac{90}{500} = 0{,}18 \quad P(\text{Rej.}) = \tfrac{60}{500} = 0{,}12\]

3. Voorwaardelijke \(P(K \mid L = \text{lijn 1})\) — rij van lijn 1 delen door 270: \[P(\text{Acc.} \mid \text{lijn 1}) = \tfrac{200}{270} \approx 0{,}74 \quad P(\text{Down.} \mid \text{lijn 1}) \approx 0{,}19 \quad P(\text{Rej.} \mid \text{lijn 1}) \approx 0{,}07\]

4. Niet onafhankelijk: \(P(K \mid L = \text{lijn 1}) \neq P(K)\). Lijn 1 levert verhoudings­gewijs méér Accepted (74% vs 70%) en minder Rejected (7% vs 12%) — er is duidelijk een verband tussen productielijn en kwaliteit.

Voorwaardelijke verwachtingswaarde

\[\mathbf{E}[Y \mid X = x] = \int_{y} y \cdot P(Y = y \mid X = x)\,dy\]

Een functie die enkel van \(x\) afhangt — de regressielijn.

E[Y|X] = de voorwaardelijke verwachtingswaarde (regressielijn)

Te onthouden

Vrijwel alle supervised machine learning is een schatting van \(\mathbf{E}[Y \mid X]\).

Van lineaire regressie tot diepe neurale netwerken.

4 · Van zien naar doen

De ladder van causaliteit

Judea Pearl

Voorbeeld — een fabriek en een carcinogeen

Een fabriek verbruikt Verbinding X en stoot Carcinogene stof Y uit.

Nood aan acties, niet enkel aan voorspellingen!

De observatie

Historische data toont een duidelijke associatie: meer X gaat samen met meer Y.

De voor de hand liggende interventie?

Verwacht effect

Maar de werkelijkheid…

Wat is hier gebeurd?

Beide compatibel met de data

De data alleen vertelt ons niet waarom.

Zowel het “verwacht effect” als het “werkelijk verkregen effect” zijn perfect verenigbaar met de geobserveerde regressielijn.

IJsverkoop en reddingsacties

Een derde factor — warm weer — drijft beide.

Het PINO-principe

PINO

Prediction Is Not Optimization.

“Cum hoc ergo propter hoc”-fallacy.

Simpson’s paradox — wat de data lijkt te zeggen

Meer medicijn → slechtere uitkomst?

Simpson’s paradox — opgesplitst per ernst

In elke subgroep helpt het medicijn wél.

De confounder

graph LR
    C["Ernst van<br/>de aandoening"] --> A["Hoeveelheid medicijn"]
    C --> B["Gezondheidsuitkomst"]
    A --> B

Pas op

Wie de confounder negeert, ziet het omgekeerde teken.

Te onthouden

  • Een interventie op een variabele \(X\) heeft alleen invloed op een andere variabele \(Y\) als er een causaal pad van X naar Y is.

  • Uit observationele data alleen kunnen we het effect van een interventie in het algemeen niet bepalen. We hebben altijd bijkomende causale aannames nodig.

Twee fundamenteel verschillende vragen

Associatie \[P(Y \mid X = x)\]

Gegeven dat we observeren \(X = x\)…

Interventie \[P(Y \mid do(X = x))\]

Gegeven dat we forceren \(X = x\)…

In het algemeen: \(P(Y \mid X = x) \neq P(Y \mid do(X = x))\).

5 · Causale diagrammen

Wat is een causaal diagram?

Een DAG (Directed Acyclic Graph) waarin:

  • knopen = variabelen
  • pijlen = veronderstelde causale relaties
  • geen cykels — niets is zijn eigen oorzaak

Voorbeeld

Een epidemiologisch model.

Een causaal diagram is een aanname

… over het fysisch proces dat onze data genereert.

Niet iets dat we uit de data zelf kunnen afleiden.

Wat doet een interventie?

Een interventie forceert een variabele op een waarde — en verwijdert alle inkomende pijlen naar die variabele in het diagram.

Terug naar X en Y — welke structuur ligt eronder?

Verwacht effect — X veroorzaakt Y

%%{init: {"theme":"base","themeVariables":{"fontFamily":"Georgia, serif","fontSize":"28px","lineColor":"#64748b"}}}%%
graph LR
    X((X)) --> Y((Y))
    style X fill:#dbeafe,stroke:#2563eb,stroke-width:3px,color:#1e3a5f
    style Y fill:#fee2e2,stroke:#dc2626,stroke-width:3px,color:#1e3a5f

Direct

%%{init: {"theme":"base","themeVariables":{"fontFamily":"Georgia, serif","fontSize":"28px","lineColor":"#64748b"}}}%%
graph LR
    X((X)) --> M((M)) --> Y((Y))
    style X fill:#dbeafe,stroke:#2563eb,stroke-width:3px,color:#1e3a5f
    style M fill:#f3f4f6,stroke:#64748b,stroke-width:3px,color:#1e3a5f
    style Y fill:#fee2e2,stroke:#dc2626,stroke-width:3px,color:#1e3a5f

Mediator

Werkelijkheid — X veroorzaakt Y niet

%%{init: {"theme":"base","themeVariables":{"fontFamily":"Georgia, serif","fontSize":"28px","lineColor":"#64748b"}}}%%
graph LR
    Y((Y)) --> X((X))
    style X fill:#dbeafe,stroke:#2563eb,stroke-width:3px,color:#1e3a5f
    style Y fill:#fee2e2,stroke:#dc2626,stroke-width:3px,color:#1e3a5f

Omgekeerd

%%{init: {"theme":"base","themeVariables":{"fontFamily":"Georgia, serif","fontSize":"28px","lineColor":"#64748b"}}}%%
graph TD
    Z((Z)) --> X((X))
    Z --> Y((Y))
    style X fill:#dbeafe,stroke:#2563eb,stroke-width:3px,color:#1e3a5f
    style Y fill:#fee2e2,stroke:#dc2626,stroke-width:3px,color:#1e3a5f
    style Z fill:#fef3c7,stroke:#d97706,stroke-width:3px,color:#1e3a5f

Confounder

Hetzelfde patroon in de data — fundamenteel verschillende causale structuren.

Voorbeeld — koper legeren in staal

Observatie

graph TD
    S["schroot"] --> Ni
    S --> Cu
    S --> Cr
    Ni --> ST["Sterkte"]
    Cu --> ST
    Cr --> ST

do(Cu = x)

graph TD
    S["schroot"] --> Ni
    S --> Cr
    Cu:::intervened --> ST["Sterkte"]
    Ni --> ST
    Cr --> ST
    classDef intervened fill:#555,stroke:#fff,color:#fff

De “achterdeur” via schroot wordt gesloten.

6 · Randomisatie

RCT — gouden standaard

Bij een Randomized Controlled Trial worden eenheden willekeurig toegewezen aan een interventie- of controlegroep.

Willekeurige toewijzing breekt alle achterdeurpaden — ook die we niet eens hebben gemeten.

RCT

Zonder randomisatie

graph LR
    C["Confounders<br/>(leeftijd, ernst, …)"] --> T["Behandeling"]
    C --> Y["Uitkomst"]
    T --> Y

Achterdeurpad \(T \leftarrow C \rightarrow Y\) vervuilt de geobserveerde associatie.

Met randomisatie

graph LR
    R(["Randomisatie"]) --> T["Behandeling"]
    C["Confounders<br/>(leeftijd, ernst, …)"] --> Y["Uitkomst"]
    T --> Y

In een RCT: \(P(Y \mid do(T = t)) = P(Y \mid T = t)\).

A/B testen in e-commerce

Tip

Een webshop toont een nieuwe productpagina aan 50 % van de bezoekers en de oude aan de overige 50 %.

Het gemeten verschil is een causale schatting.

Voorbij randomisatie

Te onthouden

Randomisatie is de gouden standaard om causale effecten aan te tonen.

… maar het is niet altijd praktisch

Ethisch Geen willekeurige toewijzing van roken.

Praktisch Geen willekeurig klimaat.

Financieel Geen willekeurige productie­regimes voor weken.

Methoden voor Causale statistiek

Do-calculus

Een techniek van Judea Pearl die toelaat om \(P(Y \mid do(X))\) uit te drukken in termen van geobserveerde associaties. (Indien identificeerbaar.)

Andere causale methodes

Methode Kernidee
Matching / propensity scores Behandelden vs onbehandelden zo gelijk mogelijk maken
Instrumentele variabelen Variabele die behandeling beïnvloedt, uitkomst niet rechtstreeks
Difference-in-differences Vergelijk evolutie over tijd
Regression discontinuity Exploiteer een drempelwaarde
Structural Equation Modeling Schat het volledige causale stelsel

7 · Praktijkvoorbeeld

Koelt warm staal sneller af dan koud staal?

Een staalpan koelt af. We meten temperaturen \(M_1\) en \(M_2\) — maar met meetfout.

Het causale model

Wat zegt het model?

\[M_1 = T_1 + \varepsilon_1\] \[M_2 = T_2 + \varepsilon_2\] \[T_2 = \alpha\, T_1 + \beta\, W + \varepsilon_0\]

\(\alpha\) is de afkoelcoëfficiënt die we willen schatten.

Twee schatters

Met correct model

\[\alpha = \frac{\mathrm{Cov}(M_1, M_2)}{\mathrm{Var}(T_1)}\]

Naïef (klassieke OLS)

\[\alpha' = \frac{\mathrm{Cov}(M_1, M_2)}{\mathrm{Var}(M_1)}\]

\(\mathrm{Var}(M_1) = \mathrm{Var}(T_1) + \mathrm{Var}(\varepsilon_1) > \mathrm{Var}(T_1)\), dus \(\alpha' < \alpha\).

Regression dilution

Attenuation bias

Zelfs als in werkelijkheid \(\alpha = 1\) (warm en koud staal koelen even snel af), schat het naïeve model \(\alpha' \approx 0{,}94\) — alsof warm staal significant sneller afkoelt.

Een artefact van meetfout, geen fysisch effect.

Studiewijzer

Kanstheorie en statistiek:

  • Sampling en inference als complementaire processen (het verband begrijpen tussen kanstheorie en data)
  • Weten wat een marginale kans is en deze kunnen berekenen in eenvoudige gevallen
  • Weten wat een voorwaardelijke kans is en deze kunnen berekenen in eenvoudige gevallen
  • Het begrip “onafhankelijkheid” van variabelen kennen
  • Kunnen nagaan of twee variabelen onafhankelijk zijn
  • Het begrip voorwaardelijke verwachtingswaarde intuïtief begrijpen

Causaliteit en interventie:

  • Vertrouwd zijn met de cum hoc ergo propter hoc fallacy (het PINO-principe)
  • Intuïtieve notie hebben van het begrip causaal diagram als representatie van causale structuren
  • Eenvoudige causale redeneringen kunnen maken
  • Weten dat randomized Controlled Trials en A/B-testen gouden standaard zijn om causale verbanden bloot te leggen

Verder lezen

The Book of Why Judea Pearl & Dana MacKenzie (2018)

Een toegankelijke inleiding tot de theorie van causaliteit.