Inleiding tot Machine Learning

Lecture 2 — Big Data for Black Belt Lean

Vandaag

Theorie

Loss-functies
Cross-validatie
Bias-variance trade-off
Confusion matrix

Methoden

Lineaire regressie
Beslissingsbomen & boosting
Neurale netwerken
Bayesiaanse methoden

1 · Terminologie

AI, ML, DL, Data Science, Big Data

Geen magie, gewoon statistiek

De term AI wordt soms gebruikt als een vorm van magisch denken. Het strekt tot aanbeveling dit gebruik te beperken.

Drie leerparadigma’s

Supervised Leert uit gelabelde data \((x_i, y_i)\).

Modelleer \(P(Y \mid \vec X)\)

Bv: voorspel treksterkte uit procesparameters.

Unsupervised Enkel inputs \(x_i\) — ontdek structuur.

Modelleer \(P(\vec X)\)

Bv: anomaliedetectie of clusters in proceswaarden.

Reinforcement Een agent leert via beloningen.

Modelleer \(P(Y \mid \mathsf{do}(\vec X))\)

Bv: optimale instellingen leren door te experimenteren.

Supervised versus unsupervised learning

Supervised: regressie vs classificatie

Voorbeelden

Supervised / Regressie

Voorspellen hoeveel electriciteit een bedrijf nodig heeft, gegeven de productieplanning en weersvoorspelling.
Voorspellen hoeveel klanten een online aankoop zullen doen 1 week voor kerstmis.

Supervised / Classificatie

Voorspellen of een geïnteresseerde in een woning al dan niet een lening zal kunnen krijgen.
Voorspellen of een geproduceerd onderdeel zal worden goedgekeurd, afgekeurd, of afgewaardeerd.

Unsupervised

Detecteren van anomalieën in elektrische stromen die een defect voorspellen
Detecteren van fraude bij online aankopen

2 · Loss-functies

Hoe weten we of een model goed is?

Een loss-functie \(\mathcal{L}\) kwantificeert hoe slecht het model presteert.

Een loss-functie is dus een functie op de ruimte van kandidaatmodellen. Andere naam: de kostfunctie.

De basisvorm

\[\mathcal{L}_D(\hat{f}) = \frac{1}{N} \sum_{i=1}^{N} \ell\bigl(y_i,\, \hat{f}(x_i)\bigr)\]

Drie verliesfuncties \(\ell(x)\) voor regressie

Drie lossfuncties voor regressie

Mean Squared Error: \(\mathcal{L}_{\text{MSE}} = \frac{1}{N} \sum_{i=1}^{N} \bigl(y_i - \hat{f}(x_i)\bigr)^2\)

Grote afwijkingen worden kwadratisch bestraft.
Gevoelig voor uitschieters.
Impliceert Gaussische fouten. (Normale verdeling.)

Mean Absolute Error: \(\mathcal{L}_{\text{MAE}} = \frac{1}{N} \sum_{i=1}^{N} \bigl|y_i - \hat{f}(x_i)\bigr|\)

Lineair bestraft.
Robuuster bij uitschieters.
Impliceert Laplaciaanse fouten.

Huber loss: Combinatie van MSE (kleine fouten) en MAE (grote fouten). Best van beide werelden — robuust en differentieerbaar.

Loss-functie voor classificatie

De Cross-entropie is een lossfunctie voor classificatie:

\[\mathcal{L}_{\text{CE}} = -\frac{1}{N} \sum_{i=1}^{N} \sum_{k} y_{i,k} \log \hat{p}_{i,k}\]

Standaardkeuze voor classificatie. Bestraft zelfverzekerd verkeerde voorspellingen extra hard.

De keuze van een loss is een modelleringskeuze

Te onthouden

Bepaalt wat het model optimaliseert — en wat het negeert.
Bepaalt hoe gevoelig het is voor uitschieters.
Impliceert (impliciet) een veronderstelling over de foutenverdeling.

3 · Modellen en gewichten

Wat is een “model”?

Een klasse van functies \(\hat{f}_\theta\), geparametriseerd door een vector gewichten \(\vec \theta = (w_1, \dots, w_d)\).

Voorbeelden

Lineaire regressie \(\theta = (\beta_0, \beta_1, \ldots, \beta_p)\)

Een handvol coëfficiënten.

Neuraal netwerk \(\theta\) = alle verbindingssterktes.

Miljoenen tot miljarden.

Beslissingsboom \(\theta\) = drempelwaarden en knopen.

Discreet en hiërarchisch.

Tip

De “originele” ChatGPT (GPT-3.5 uit 2022) was een 175B model, wat wil zeggen dat de gewichtsvector 175 miljard-dimensionaal is (billion) .
Latere modellen zoals GPT-4 en Claude 3 zijn naar schatting 1T-2T modellen, dus met 1 biljoen (trillion) parameters.
Het open weights model DeepSeek-V3/R1 is een 671B-model.

Trainen = gewichten optimaliseren

Trainen is het vinden van een vector \(\hat\theta\) die de loss zo klein mogelijk maakt. De gevonden \(\hat\theta\) hangt af van de gebruikte data \(D\). In formules:

\[\hat{\theta}_D = \underset{\theta}{\arg\min}\; \mathcal{L}_D(\hat{f}_\theta)\]

Parameters vs hyperparameters

Hyperparameters

Bepalen de keuze van de modelklasse
Worden door de analist gekozen.
Bv. graad van de polynoom, diepte van de boom, \(\lambda\) van ridge.

Parameters \(\theta\)

Bepalen de keuze van het model binnen de klasse
Worden door het algoritme gevonden.
Bv. de coëfficiënten van de regressie.

Het probleem met “meer complexiteit”

Op de trainingsdata doet een complexer model het altijd minstens zo goed.

Maar wat we willen verbeteren, is de prestatie op ongeziene data.

4 · Cross-validatie

Train-test splitsing

Train het model op de trainset.
Evalueer op de testset — die heeft het model nooit gezien.

Validatieset

Important

Wie hyperparameters herhaaldelijk tunet op dezelfde testset overtraint ook op die testset.

Gebruik een derde dataset (validatie) voor uiteindelijke evaluatie.

k-voudige cross-validatie

5 · Underfitting en overfitting

Drie scenario’s

De U-vormige curve

6 · Bias-variance

Theoretische decompositie

\[\mathbf{E}\bigl[(y - \hat{f}(x))^2\bigr] = \underbrace{\mathrm{Bias}^2}_{\text{systematisch}} + \underbrace{\mathrm{Var}}_{\text{gevoeligheid}} + \underbrace{\sigma^2}_{\text{ruis}}\]

Drie bronnen van fout

Bias Modelklasse kan \(f(x)\) niet vatten.

→ underfitting

Variance Model is gevoelig voor de toevallige \(D\).

→ overfitting

\(\sigma^2\) Inherente ruis in de data.

→ niet te reduceren

Visueel

Analogie met SPC

Tip

Hoge bias / lage variance: consistent, maar systematisch verkeerd.
Lage bias / hoge variance: gemiddeld correct, maar onbetrouwbaar.

7 · Confusion matrix

Bij classificatie liggen de zaken complexer

Geen enkele getal als fout — verschillende soorten fouten.

Een confusion matrix telt de combinaties van werkelijke en voorspelde klasse.

De 2 × 2 matrix

	Voorspeld +	Voorspeld −
Werkelijk +	True Positive	False Negative
Werkelijk −	False Positive	True Negative

Vier metrics

Accuracy \[\frac{TP + TN}{TP + TN + FP + FN}\]

Misleidend bij onevenwicht.

Precision \[\frac{TP}{TP + FP}\]

Hoe vaak klopt een “positief”?

Recall \[\frac{TP}{TP + FN}\]

Hoe veel echte positieven vinden we?

F1 \[\frac{2 \cdot P \cdot R}{P + R}\]

Harmonisch gemiddelde.

Welke metric kiezen?

Dit is een domeinbeslissing, geen technische.

Veiligheidskritisch Een gemist defect kost meer dan een onterechte afkeur.

→ optimaliseer recall.

Alarmsysteem Vals alarm kost geld en aandacht.

→ optimaliseer precision.

8 · Methoden — supervised

Lineaire regressie

\[\hat{y} = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_p x_p\]

Historische basis van moderne ML.
Lineair in de coëfficiënten, niet in de invoer.
MSE als loss → analytische oplossing (OLS).
Coëfficiënten zijn interpreteerbaar.

Lineair

Lineair betekent dat het model lineair is in de parameters \(\beta_i\), niet noodzakelijk in de data! Bijvoorbeeld:

\[\hat{y} = \beta_0 + \beta_1 \sin(x_1) + \beta_2 x_2^2 + \cdots + \beta_p f(x_p) \]

is een lineair model!

Uitbreidingen van lineaire regressie

Methode	Kernidee
Ridge	\(L_2\)-bestraffing → stabiliteit
Lasso	\(L_1\)-bestraffing → variabelenselectie
Elastic Net	combinatie van Ridge + Lasso
Quantielregressie	mediaan i.p.v. gemiddelde
Deming	meetfout in zowel \(x\) als \(y\)
Logistisch	Voorspellen van binaire response (1/0)
GLM	niet-Gaussische uitkomsten (Poisson, binomiaal, …)

Hot Take

Lineaire regressie biedt meestal een zeer goede trade-off tussen complexiteit en resultaat.

Sommige uitbreidingen zijn te weinig gekend.

9 · Neurale netwerken

Het enkelvoudig neuron

\[y = f\bigl(w_1 x_1 + w_2 x_2 + \cdots + w_n x_n + b\bigr)\]

\(w_i\) = gewichten [parameters die getraind moeten worden]
\(b\) = bias [ook een parameter die getraind moet worden]
\(f\) = niet-lineaire activatie (ReLU, sigmoid, tanh)

Lagen stapelen

Deep learning = meerdere verborgen lagen.

Hoe leert een neuraal netwerk?

Initialiseer gewichten willekeurig.
Bereken loss op een batch.
Bereken gradiënt via backpropagation.
Pas gewichten aan in de richting die de loss verlaagt.
Herhaal tot convergentie.

Universele approximatie

Universele approximatiestelling

Een neuraal netwerk met voldoende neuronen kan elke continue functie willekeurig goed benaderen.

De vraag is niet of het kan, maar met hoeveel parameters — en of het uit de data te leren is.

Maar… overfitting ligt op de loer

Warning

Met miljoenen parameters leert een neuraal netwerk gemakkelijk de ruis mee.

Regularisatie (dropout, early stopping, weight decay) is onmisbaar.

Architectuur-varianten

Architectuur	Toepassing
MLP	algemene regressie / classificatie op tabeldata
CNN	beelden, signalen
RNN / LSTM	tijdreeksen, sequenties
Transformer	taal (LLMs), tijdreeksen, beelden
Autoencoder	anomaliedetectie, compressie

AlexNet: de architectuur die het tijdperk van deep learning inluidde: er zijn ong. 62 miljoen parameters.

Wanneer wel / niet?

Schitteren bij

Grote datasets ( \(> 10^³\) ).
Sterk niet-lineair verband.
Ongestructureerde input (beeld, tekst, audio).

Minder geschikt voor

Kleine datasets (< paar honderd).
Vereiste interpreteerbaarheid.
Strenge inference-budgetten.

Hot Take

Het grote succes van neurale netwerken voor bv. LLMs en beeldherkenning maakt dat ze soms iets te veel in de spotlight komen waar andere methoden meer geschikt zouden zijn. Het trainen van een groot neuraal netwerk vergt bovendien expertise die gemakkelijk onderschat wordt.

Desondanks bieden neurale netwerken, ook eerder kleine, een valabele route wanneer een sterk niet-lineair verband moet worden gemodelleerd.

10 · Boom-gebaseerde methoden

Beslissingsbomen

Successievelijk de invoerruimte splitsen op drempelwaarden.

Bomen zijn aantrekkelijk maar fragiel

Voordelen

Eenvoudig te visualiseren.
Minimale data-voorbereiding.
Werken met ontbrekende waarden.

Nadelen

Gevoelig voor overfitting.
Meestal geen fysische of causale interpretatie.

Trainingskeuzes bij beslissingsbomen

Wanneer splitsen?

Kies de beste opsplitsing volgens een criterium:

Gini impurity
Entropie / information gain
MSE (voor regressie)

Zoek drempelwaarden die de doelvariabele zo homogeen mogelijk maken.

Wanneer stoppen?

Maximale diepte (max_depth)
Minimum aantal observaties per blad
Minimum winst door een split
Geen verdere verbetering mogelijk

Ensemble-methoden

Methode	Kernidee	Sterkte
Random Forest	\(k\) bomen op willekeurige subsets, dan middelen	Robuust, weinig tuning
Gradient Boosting (XGBoost, LightGBM)	Elke nieuwe boom corrigeert de vorige	State-of-the-art voor tabeldata
AdaBoost	Herwaardeert moeilijke observaties	Historisch

11 · Methoden — unsupervised

Clustering

K-means \(k\) centroides, vooraf kiezen.

Hiërarchisch Dendrogram, \(k\) achteraf.

DBSCAN Dichte gebieden, vrije vorm.

Dimensiereductie

PCA: lineair, snel. t-SNE / UMAP: niet-lineair, visualisatie.

Anomaliedetectie

Methode	Idee
Isolation Forest	Anomalieën zijn makkelijker te isoleren
Autoencoder	Anomalieën worden slecht gereconstrueerd
One-class SVM	Leer de grens van “normaal”

In de industrie zijn defecten zeldzaam — vaak géén labels.

12 · Bayesiaanse methoden

Een andere filosofie

In de frequentistische “klassieke” statistiek zijn hypothesen en parameters geen stochastische grootheden:

“de kans dat de nulhypothese waar is” is geen zinnige uitspraak
“de kans dat de parameter \(\beta\) tussen \(1\) en \(2\) ligt” is geen zinnige uitspraak

Bayesiaanse statistiek

Parameters zijn zelf stochastische grootheden.

Bayesiaans redeneren

Kernidee:

\[ P(\text{data} \mid \text{parameters}) \longleftrightarrow P(\text{parameters} \mid \text{data}) \]

De regel van Bayes

\[P(\theta \mid \text{data}) = \frac{P(\text{data} \mid \theta) \cdot P(\theta)}{P(\text{data})}\]

Prior \(P(\theta)\)

Wat we weten vóór de data.

Likelihood \(P(\text{data} \mid \theta)\)

Het data-genererend model.

Posterior \(P(\theta \mid \text{data})\)

Bijgewerkte kennis.

Bayesiaanse inferentie

Bayesiaans netwerk

Een probabilistisch grafisch model van de gezamenlijke kansverdeling.

Libraries

Bayesiaanse inferentie vereist het schatten van moeilijke integralen.

In de praktijk: MCMC (Markov Chain Monte Carlo) — bibliotheken zoals PyMC en Stan.

Wanneer Bayesiaans?

Beperkt aantal observaties (honderden, niet miljoenen).
Rijke domeinkennis beschikbaar.
Structuur van het probleem is bekend.
We willen onzekerheid mee terugkrijgen, niet enkel een puntschatting.

Hot Take

Bayesiaanse methoden zijn onderschat voor de industrie.

Bv. in een staalfabriek is het bijna altijd aanvaardbaar om a priori te stellen dat vloeibaar staal tussen 1400–1800 °C ligt — die voorkennis weggooien is suboptimaal.

Studiewijzer

Kernbegrippen

Terminologie zoals AI, ML, Supervised en Unsupervised Learning kunnen plaatsen
Loss-functies: de rol van lossfuncties in ML begrijpen, bekend zijn met MSE en MAE.
Cross-validatie en het belang van train-test-split kunnen uitleggen
Bias-variance: de trade-off tussen bias en variance ifv model complexiteit kunnen uitleggen
Confusion matrices en de evaluatie van classificatiemodellen

Methoden

Neurale netwerken: notie hebben van hidden layers en deep learning
Beslissingsbomen: algemeen werkingsprincipe kunnen uitleggen
Bayesiaanse methoden: bekend zijn met voordelen voor gestructureerde data

Verder lezen

Ook t e overwegen: Probabilistic Machine Learning, Kevin P. Murphy