Outline • Nonlinear transformation (ontinued) • Error measures • Noisy targets • Preamble to the theory AM L Creator: Yaser Abu-Mostafa - LFD Leture 4 2/22 1 1 Φ −→ 0 PSfrag replaements 0.5 PSfrag replaements −1 −1 0 0 1 0 0.5 1 1. Original data 2. Transform the data xn ∈ X zn = Φ(xn ) ∈ Z ↓ 1 1 Φ−1 ' 0 ` ←− PSfrag replaements PSfrag replaements −1 −1 0 0 1 X -spae g(x) = g̃(Φ(x)) = sign(w̃T Φ(x)) 4. Classify in AM L Creator: Yaser Abu-Mostafa - LFD Leture 4 0.5 0 0.5 1 Z -spae g̃(z) = sign(w̃Tz) 3. Separate data in 3/22 What transforms to what x = (x0, x1, · · · , xd) x1, x2, · · · , xN y1 , y2 , · · · , yN No weights in Creator: Yaser Abu-Mostafa - LFD Leture 4 −→ Φ −→ Φ −→ X g(x) AM L Φ z = (z0, z1, · · · · · · · · · , zd˜) z1 , z2 , · · · , zN y1 , y2 , · · · , yN w̃ = (w0, w1, · · · · · · · · · , wd˜) = sign(w̃TΦ(x)) 4/22