Sieci neuronowe
Charakterystyka przedmiotu
| Wykład | ||
|---|---|---|
| Dr Andrzej Kordecki | ||
| Numer i typ przedmiotu | Poziom i semestr studiów | Rodzaj zajęć i punkty ECTS |
| 1130-AR000-ISP-3011 Przedmiot kierunkowy (RiA) Przedmiot specjalnościowy (MiPM-MS, E-SIwE) |
Studia inżynierskie, sem. VII (RiA, MiPM-MS) Studia magisterskie, sem. II (E-SIwE) |
W - 1, L-1 ECTS - 2 |
Materiały do pobrania
Wymagania wstępne
- Znajomość analizy matematycznej, algebry i statystyki w zakresie wykładanym na wcześniejszych latach studiów.
- Znajomość metod optymalizacji funkcji nieliniowych wielu zmiennych.
- Posiadanie podstawowej wiedzy i umiejętności w zakresie metod numerycznych i języków programowania w Matlabie lub Pythonie.
Cele przedmiotu
- Przekazanie podstawowych zasad i metod działania sieci neuronowych oraz procedur uczenia sieci neuronów. Przygotowanie do samodzielnego formułowania i rozwiązywania zagadnień z wykorzystaniem sieci neuronowych.
- Przekazanie podstawowych typów i zastosowań sieci neuronowych wraz z przykładami zastosowań praktycznych ze wskazaniem zalet i ograniczeń.
Program przedmiotu
- Wprowadzenie: Opis neuronu, funkcji aktywacji, podstawowe charakterystyki sieci neuronowych. Struktury sieci neuronowych: jednokierunkowe i rekurencyjne.
- Charakterystyka uczenia maszynowego: nadzorowanego, nienadzorowanego i ze wzmocnieniem. Charakterystyka danych oraz ich generowania w uczeniu sieci neuronowych. Zastosowanie sieci neuronowych w modelowaniu statycznym oraz dynamicznym.
- Funkcja strat i współczynniki oceny wyników sieci używanych w regresji i klasyfikacji. Reguła uczenia perceptronu. Metody gradientowe optymizacji w uczeniu sieci neuronowych. Reguła Widrow-Hoff. Algorytm wstecznej propagacji błędów i jego charakterystyka.
- Charakterystyka przeuczenie i niedouczenie sieci neuronowych. Metody walidacji. Metody generalizacji sieci neonowych: regularyzacji, dropout, batch normlization.
- Sieci neuronowe o radialnych funkcjach bazowych. Maszyna wektorów nośnych. Samoorganizujące się mapy, Sieci Kohonena, Sieć rekurencyjna LSTM
- Konwolucyjne sieci neuronowe: opis idei, budowa, uczenie i ich charakterystyka. Opis podstawowych struktur sieci neuronowych w zastosowaniach wizji komputerowej
Zalecane lektury
- S. Haykin, Neural Networks and Learning Machines, Third Edition, Prentice Hall, 2009
- I. Goodfellow, Y. Bengio, A. Courville, Deep Learning, MIT Press, 2016
- S. Osowski, Sieci neuronowe do przetwarzania informacji, Oficyna Wydawnicza Politechniki Warszawskiej, 2019
- R. A. Kosinski, Sztuczne sieci neuronowe: dynamika nieliniowa i chaos, WNT, 2009.