Sieci neuronowe

Charakterystyka przedmiotu

Wykład    
Dr Andrzej Kordecki    
Numer i typ przedmiotu Poziom i semestr studiów Rodzaj zajęć i punkty ECTS

1130-AR000-ISP-3011

Przedmiot kierunkowy (RiA)

Przedmiot specjalnościowy (MiPM-MS, E-SIwE)

Studia inżynierskie, sem. VII (RiA, MiPM-MS)

Studia magisterskie, sem. II (E-SIwE)

W - 1, L-1

ECTS - 2

Materiały do pobrania

Wymagania wstępne

  • Znajomość analizy matematycznej, algebry i statystyki w zakresie wykładanym na wcześniejszych latach studiów.
  • Znajomość metod optymalizacji funkcji nieliniowych wielu zmiennych.
  • Posiadanie podstawowej wiedzy i umiejętności w zakresie metod numerycznych i języków programowania w Matlabie lub Pythonie.

Cele przedmiotu

  • Przekazanie podstawowych zasad i metod działania sieci neuronowych oraz procedur uczenia sieci neuronów. Przygotowanie do samodzielnego formułowania i rozwiązywania zagadnień z wykorzystaniem sieci neuronowych.
  • Przekazanie podstawowych typów i zastosowań sieci neuronowych wraz z przykładami zastosowań praktycznych ze wskazaniem zalet i ograniczeń.

Program przedmiotu

  • Wprowadzenie: podstawowe idee, historia, zastosowania. Opis neuronu, funkcji aktywacji, podstawowe charakterystyki sieci neuronowych. Struktury sieci neuronowych: jednokierunkowe i rekurencyjne.
  • Charakterystyka uczenia maszynowego: nadzorowanego, nienadzorowanego i ze wzmocnieniem. Charakterystyka danych oraz ich generowania w uczeniu sieci neuronowych. Zastosowanie sieci neuronowych w modelowaniu statycznym oraz dynamicznym.
  • Funkcja strat i współczynniki oceny wyników sieci używanych w regresji i klasyfikacji. Reguła uczenia perceptronu. Trening on-line i off-line. Metody gradientowe optymizacji w uczeniu sieci neuronowych. Reguła Widrow-Hoff. Algorytm wstecznej propagacji błędów i jego charakterystyka.
  • Charakterystyka przeuczenie i niedouczenie sieci neuronowych. Metody walidacji. Metody generalizacji sieci neonowych: regularyzacji, dropout, batch normlization.
  • Sieci neuronowe o radialnych funkcjach bazowych. Maszyna wektorów nośnych. Samoorganizujące się mapy, Sieci Kohonena, Sieć rekurencyjna LSTM
  • Konwolucyjne sieci neuronowe: opis idei, budowa, uczenie i ich charakterystyka. Opis podstawowych struktur sieci neuronowych w zastosowaniach wizji komputerowej

Zalecane lektury

  • S. Haykin, Neural Networks and Learning Machines, Third Edition, Prentice Hall, 2009
  • I. Goodfellow, Y. Bengio, A. Courville, Deep Learning, MIT Press, 2016
  • G. Dreyfus, Neural Networks: Methodology and Applications, Springer, New York 2005
  • S. S. Haykin, Neural Networks and Learning Machines. Prentice Hall, 2009.
  • R. Tadeusiewicz, T. Gąciarz, B. Borowik i B. Leper, Odkrywanie właściwości sieci neuronowych przy użyciu programów w języku C#, Polska Akademia Umiejętności, 2007.
  • R. A. Kosinski, Sztuczne sieci neuronowe: dynamika nieliniowa i chaos, WNT, 2009.

Materiały do pobrania