Sieci neuronowe

Charakterystyka przedmiotu

Materiały do pobrania

Wymagania wstępne

• Znajomość analizy matematycznej, algebry i statystyki w zakresie wykładanym na wcześniejszych latach studiów.
• Znajomość metod optymalizacji funkcji nieliniowych wielu zmiennych.
• Posiadanie podstawowej wiedzy i umiejętności w zakresie metod numerycznych i języków programowania w Matlabie lub Pythonie.

Cele przedmiotu

• Przekazanie podstawowych zasad i metod działania sieci neuronowych oraz procedur uczenia sieci neuronów. Przygotowanie do samodzielnego formułowania i rozwiązywania zagadnień z wykorzystaniem sieci neuronowych.
• Przekazanie podstawowych typów i zastosowań sieci neuronowych wraz z przykładami zastosowań praktycznych ze wskazaniem zalet i ograniczeń.

Program przedmiotu

• Wprowadzenie: podstawowe idee, historia, zastosowania. Opis neuronu, funkcji aktywacji, podstawowe charakterystyki sieci neuronowych. Struktury sieci neuronowych: jednokierunkowe i rekurencyjne.
• Charakterystyka uczenia maszynowego: nadzorowanego, nienadzorowanego i ze wzmocnieniem. Charakterystyka danych oraz ich generowania w uczeniu sieci neuronowych. Zastosowanie sieci neuronowych w modelowaniu statycznym oraz dynamicznym.
• Funkcja strat i współczynniki oceny wyników sieci używanych w regresji i klasyfikacji. Reguła uczenia perceptronu. Trening on-line i off-line. Metody gradientowe optymizacji w uczeniu sieci neuronowych. Reguła Widrow-Hoff. Algorytm wstecznej propagacji błędów i jego charakterystyka.
• Charakterystyka przeuczenie i niedouczenie sieci neuronowych. Metody walidacji. Metody generalizacji sieci neonowych: regularyzacji, dropout, batch normlization.
• Sieci neuronowe o radialnych funkcjach bazowych. Maszyna wektorów nośnych. Samoorganizujące się mapy, Sieci Kohonena, Sieć rekurencyjna LSTM
• Konwolucyjne sieci neuronowe: opis idei, budowa, uczenie i ich charakterystyka. Opis podstawowych struktur sieci neuronowych w zastosowaniach wizji komputerowej

Zalecane lektury

• S. Haykin, Neural Networks and Learning Machines, Third Edition, Prentice Hall, 2009
• I. Goodfellow, Y. Bengio, A. Courville, Deep Learning, MIT Press, 2016
• G. Dreyfus, Neural Networks: Methodology and Applications, Springer, New York 2005
• S. S. Haykin, Neural Networks and Learning Machines. Prentice Hall, 2009.
• R. Tadeusiewicz, T. Gąciarz, B. Borowik i B. Leper, Odkrywanie właściwości sieci neuronowych przy użyciu programów w języku C#, Polska Akademia Umiejętności, 2007.
• R. A. Kosinski, Sztuczne sieci neuronowe: dynamika nieliniowa i chaos, WNT, 2009.

Materiały do pobrania