Sieci neuronowe
Charakterystyka przedmiotu
| Wykład | ||
|---|---|---|
| Dr Andrzej Kordecki | ||
| Numer i typ przedmiotu | Poziom i semestr studiów | Rodzaj zajęć i punkty ECTS |
| 1130-AR000-ISP-3011 Przedmiot kierunkowy (RiA) Przedmiot specjalnościowy (MiPM-MS, E-SIwE) |
Studia inżynierskie, sem. VII (RiA, MiPM-MS) Studia magisterskie, sem. II (E-SIwE) |
W - 1, L-1 ECTS - 2 |
Materiały do pobrania
Wymagania wstępne
- Znajomość analizy matematycznej, algebry i statystyki w zakresie wykładanym na wcześniejszych latach studiów.
- Znajomość metod optymalizacji funkcji nieliniowych wielu zmiennych.
- Posiadanie podstawowej wiedzy i umiejętności w zakresie metod numerycznych i języków programowania w Matlabie lub Pythonie.
Cele przedmiotu
- Przekazanie podstawowych zasad i metod działania sieci neuronowych oraz procedur uczenia sieci neuronów. Przygotowanie do samodzielnego formułowania i rozwiązywania zagadnień z wykorzystaniem sieci neuronowych.
- Przekazanie podstawowych typów i zastosowań sieci neuronowych wraz z przykładami zastosowań praktycznych ze wskazaniem zalet i ograniczeń.
Program przedmiotu
- Wprowadzenie: podstawowe idee, historia, zastosowania. Opis neuronu, funkcji aktywacji, podstawowe charakterystyki sieci neuronowych. Struktury sieci neuronowych: jednokierunkowe i rekurencyjne.
- Charakterystyka uczenia maszynowego: nadzorowanego, nienadzorowanego i ze wzmocnieniem. Charakterystyka danych oraz ich generowania w uczeniu sieci neuronowych. Zastosowanie sieci neuronowych w modelowaniu statycznym oraz dynamicznym.
- Funkcja strat i współczynniki oceny wyników sieci używanych w regresji i klasyfikacji. Reguła uczenia perceptronu. Trening on-line i off-line. Metody gradientowe optymizacji w uczeniu sieci neuronowych. Reguła Widrow-Hoff. Algorytm wstecznej propagacji błędów i jego charakterystyka.
- Charakterystyka przeuczenie i niedouczenie sieci neuronowych. Metody walidacji. Metody generalizacji sieci neonowych: regularyzacji, dropout, batch normlization.
- Sieci neuronowe o radialnych funkcjach bazowych. Maszyna wektorów nośnych. Samoorganizujące się mapy, Sieci Kohonena, Sieć rekurencyjna LSTM
- Konwolucyjne sieci neuronowe: opis idei, budowa, uczenie i ich charakterystyka. Opis podstawowych struktur sieci neuronowych w zastosowaniach wizji komputerowej
Zalecane lektury
- S. Haykin, Neural Networks and Learning Machines, Third Edition, Prentice Hall, 2009
- I. Goodfellow, Y. Bengio, A. Courville, Deep Learning, MIT Press, 2016
- G. Dreyfus, Neural Networks: Methodology and Applications, Springer, New York 2005
- S. S. Haykin, Neural Networks and Learning Machines. Prentice Hall, 2009.
- R. Tadeusiewicz, T. Gąciarz, B. Borowik i B. Leper, Odkrywanie właściwości sieci neuronowych przy użyciu programów w języku C#, Polska Akademia Umiejętności, 2007.
- R. A. Kosinski, Sztuczne sieci neuronowe: dynamika nieliniowa i chaos, WNT, 2009.