Mi az a neurális háló: neuronok, rétegek, súlyok
3Blue1Brown · 19 perc · 6 rész
A legegyszerűbb neurális háló felépítése a nulláról, kézzel írt számjegyek felismeréséhez: mit tárol egy neuron, hogyan adják tovább a rétegek az aktivációkat súlyokon, eltolásokon és a szigmoidon át, és hogyan írható fel az egész egyetlen függvényként mátrixokkal. A tanulás a következő előadás témája.
Gondolattérkép
- Neuronok
- Egy 0 és 1 közötti számot tárol
- Ez a szám az aktiváció
- Rétegek
- 784 bemeneti pixel
- 2 rejtett réteg, 16-16 neuron
- 10 kimenet, számjegyenként egy
- Súlyok és eltolás
- Az előző réteg súlyozott összege
- Az eltolás adja a küszöböt
- Összenyomás
- A szigmoid (0, 1)-be képez
- Modern hálókban ReLU
- Mátrixos alak
- Gyors a könyvtárakban
- Miért rétegek
- Élek, aztán minták, aztán számjegyek
- Ugyanez a beszédnél
Miért nehéz felismerni egy számjegyet
Egy 28×28 pixeles 3-ast az agy gond nélkül elolvas, pedig a pixelértékek 3-asról 3-asra teljesen mások.
Programot írni, amely a 784 pixelből kimondja a számjegyet, triviálisból ijesztően nehézzé válik. A cél: egy háló, amely megtanulja felismerni a kézzel írt számjegyeket.
Összefoglaló Az agy könnyedén felismer egy csúnya 3-ast, de egy programot írni rá ijesztően nehéz.
Neuronok és rétegek
- Neuron
- Valami, ami egy 0 és 1 közötti számot tárol.
- Aktiváció
- A neuronban lévő szám. Bemeneti neuronnál a pixel szürkeárnyalata, feketénél 0, fehérnél 1.
A háló ebben az előadásban:
- Bemeneti réteg: 784 neuron, a 28×28-as kép minden pixeléhez egy.
- Rejtett rétegek: két réteg, 16-16 neuronnal, önkényes választás.
- Kimeneti réteg: 10 neuron, számjegyenként egy; a legfényesebb a háló válasza.
Egy réteg aktivációi határozzák meg a következőét, lazán ahhoz hasonlóan, ahogy a biológiai neuronok tüzelése másokat tüzelésre késztet.
Összefoglaló A neuronok 0 és 1 közötti aktivációt tárolnak: 784 bemeneti, kétszer 16 rejtett és 10 kimeneti neuron.
Miért működhet a rétegzett felépítés
A számjegyek részekre bonthatók:
- A 9-es egy felső hurok és egy jobb oldali vonal.
- A 8-as egy felső és egy alsó hurok.
- Maga a hurok is kis élekre bomlik.
A remény: a második réteg neuronjai kis éleket, a harmadikéi hurkokat és vonalakat ismernek fel, a kimenet ezekből rakja össze a számjegyet.
Ugyanez a rétegzés más feladatokra is illik: a beszéd hangokból, szótagokból, szavakból és mondatokból épül fel.
Összefoglaló A remény, hogy a rétegek egyre elvontabbak: pixelekből élek, élekből hurkok és vonalak, azokból számjegyek.
A legfontosabbak
- Egy neuron csak egy 0 és 1 közötti szám, az aktivációja.
- Minden réteg az előzőből számolja: .
- A súlyok mondják meg, milyen mintát ismer fel a neuron; az eltolás, hogy milyen erősnek kell lennie.
- A számjegy-felismerő hálónak kb. 13 000 paramétere van, a tanulás ezek megtalálása.
- A modern hálók többnyire ReLU-t használnak szigmoid helyett.
Fogalomtár
- Aktiváció
- A neuron által tárolt 0 és 1 közötti szám.
- Eltolás (bias)
- A súlyozott összeghez adott szám, amely eltolja, mikor lesz aktív a neuron.
- ReLU
- Rectified linear unit, ; könnyebb tanítani, mint a szigmoidot.
- Rejtett réteg
- Réteg a bemeneti és a kimeneti réteg között.
- Súly
- A kapcsolaton lévő szám, amely skálázza az általa vitt aktivációt.
- Szigmoid
- A logisztikus görbe, amely bármely számot a 0 és 1 közé nyom.
Említett források
- Essence of linear algebra, 3. fejezet · A mátrix–vektor szorzás szemléletes megértéséhez
- Lisha Li · PhD a mélytanulás elméletéből, Amplify Partners
Kérdések ismétléshez
- Miért pontosan 784 neuron van a bemeneti rétegben?
- Hogyan néznének ki egy vízszintes élt észlelő neuron súlyai?
- Mit változtat az eltolás azon, mikor lesz aktív egy neuron?