Cel kształcenia i wykaz literatury

Główny cel kształcenia: Celem modułu jest pokazanie w jaki sposób używać metod inteligencji obliczeniowej do sterowania wybranymi obiektami sterowania.

Ogólne informacje o zajęciach: Kurs pokazuje metody projektowania układów sterowania oraz demonstruje narzędzia informatyczne, które można wykorzystać do projektowania inteligentnych układów sterowania.

Wykaz literatury, wymaganej do zaliczenia zajęć

Literatura wykorzystywana podczas zajęć wykładowych

1	Cichosz P.	Systemy uczące się	WNT, Warszawa.	2000
2	Zajdel R.	Uczenie się ze wzmocnienie w trybie epokowo-inkrementacyjnym	Oficyna Wydawnicza Politechniki Rzeszowskiej, Rzeszów.	20
3	Sutton, R.S., Barto, A.G.	Reinforcement learning: An Introduction	MIT Press, Cambridge.	2017

Literatura wykorzystywana podczas zajęć ćwiczeniowych/laboratoryjnych/innych

1	Mathworks Inc.	Matlab Online Documentation	http://www.mathworks.com.	2018
2	Python.org	Python documentation	https://docs.python.org/3/.	2018

Literatura do samodzielnego studiowania

1	Sutton R. S.	Dyna, an Integrated Architecture for Learning, Planning, and Reacting	In Working Notes of the 1991 AAAI Spring Symposium, pp. 151-155.	1991
2	Barto A.G., Sutton R., Anderson C.	Neuronlike adaptive elements that can solve difficult learning problem	IEEE Trans On Systems, Man, And Cybernetics, 13, pp. 834-847.	1983
3	Bellman R.	The theory of dynamic programming	Bul. Amer. Math. Soc., 60, 503-516.	1954

Wymagania wstępne w kategorii wiedzy/umiejętności/kompetencji społecznych

Wymagania formalne: rejestracja na semestr studiów, w którym realizowany jest przedmiot

Wymagania wstępne w kategorii Wiedzy: podstawowa wiedza z zakresu matematyki i informatyki

Wymagania wstępne w kategorii Umiejętności: umiejętność obsługi komputera i korzystania ze środowisk programistycznych

Wymagania wstępne w kategorii Kompetencji społecznych: zdolność do współpracy w niewielkim zespole (laboratorium)

Efekty kształcenia dla zajęć

MEK	Student, który zaliczył zajęcia	Formy zajęć/metody dydaktyczne prowadzące do osiągnięcia danego efektu kształcenia	Metody weryfikacji każdego z wymienionych efektów kształcenia	Związki z KEK	Związki z PRK
01	może podać kilka przykładów zastosowań inteligencji obliczeniowej w sterowaniu	wykład, laboratorium	zaliczenie cz. pisemna	K_W01++ K_W02++ K_W05++	P7S_WG
02	zna podstawy algorytmów uczenia się ze wzmocnieniem	wykład, laboratorium	zaliczenie cz. pisemna, zaliczenie cz. praktyczna	K_W01+ K_W02+ K_W03+ K_W05+	P7S_WG
03	zna algorytmy uczenia się ze wzmocnieniem wykorzystujące model środowiska	wykład, laboratorium	zaliczenie cz. pisemna	K_W01+ K_W02+ K_W03+ K_W05+	P7S_WG
04	potrafi zaprojektować regulator wykorzystujący algorytm uczenia się ze wzmocnieniem	wykład, laboratorium	obserwacja wykonawstwa	K_W01+ K_W02+ K_W03+ K_W05+	P7S_WG
05	zna formy aproksymacji funkcji typu sieć neuronowa, system rozmyty czy CMAC	wykład, laboratorium	zaliczenie cz. pisemna, obserwacja wykonawstwa	K_W01+ K_W05+	P7S_WG

Uwaga: W zależności od sytuacji epidemicznej, jeżeli nie będzie możliwości weryfikacji osiągniętych efektów uczenia się określonych w programie studiów w sposób stacjonarny w szczególności zaliczenia i egzaminy kończące określone zajęcia będą mogły się odbywać przy użyciu środków komunikacji elektronicznej (w sposób zdalny).

Treści kształcenia dla zajęć

Sem.	TK	Treści kształcenia	Realizowane na	MEK
3	TK01	Przegląd paradygmatów uczenia maszynowego. Wprowadzenie do uczenia się ze wzmocnieniem.	W01	MEK01 MEK02
3	TK02	Scenariusz uczenia się ze wzmocnieniem. Uczenie epizodyczne. Przykłady zastosowań algorytmów uczenia się ze wzmocnieniem do inteligentnego sterowania.	W02	MEK02
3	TK03	Algorytmy Q(0)-learning, Sarsa oraz AHC oraz ich zastosowanie do sterowania w środowiskach komórkowych.	W03	MEK01 MEK02 MEK04
3	TK04	Przyśpieszanie procesu uczenia się ze wzmocnieniem: TD(lambda), model środowiska. Algorytmy Q(lambda)-learning, Sarsa(lambda), AHC(lambda), Dyna-learning, prioritized sweeping.	W04	MEK02 MEK03
3	TK05	Zastosowanie algorytmów uczenia się ze wzmocnieniem do inteligentnego sterowania wahadłem odwróconym, kulką balansującą na równoważni, samochodem wjeżdżającym na wzniesienie, robotem mobilnym.	W05	MEK01 MEK03 MEK04
3	TK06	Formy aproksymacji funkcji stosowane w uczeniu się ze wzmocnieniem	W06	MEK02 MEK05
3	TK07	Zastosowanie uczenia się ze wzmocnieniem i aproksymacji funkcji do inteligentnego sterowania	W07	MEK02 MEK03 MEK04 MEK05

Nakład pracy studenta

Forma zajęć	Praca przed zajęciami	Udział w zajęciach	Praca po zajęciach
Wykład (sem. 3)	Przygotowanie do kolokwium: 10.00 godz./sem.	Godziny kontaktowe: 15.00 godz./sem.	Uzupełnienie/studiowanie notatek: 2.00 godz./sem. Studiowanie zalecanej literatury: 10.00 godz./sem.
Laboratorium (sem. 3)		Godziny kontaktowe: 15.00 godz./sem.
Projekt/Seminarium (sem. 3)		Godziny kontaktowe: 15.00 godz./sem..
Konsultacje (sem. 3)		Udział w konsultacjach: 2.00 godz./sem.
Zaliczenie (sem. 3)		Zaliczenie pisemne: 2.00 godz./sem.

Sposób wystawiania ocen składowych zajęć i oceny końcowej

Forma zajęć	Sposób wystawiania oceny podsumowującej
Wykład
Laboratorium
Projekt/Seminarium
Ocena końcowa

Przykładowe zadania

Wymagane podczas egzaminu/zaliczenia
(-)

Realizowane podczas zajęć ćwiczeniowych/laboratoryjnych/projektowych
(-)

Inne
(-)

Czy podczas egzaminu/zaliczenia student ma możliwość korzystania z materiałów pomocniczych : nie

Treści zajęć powiazane są z prowadzonymi badaniami naukowymi: tak

1	L. Leniowska; R. Leniowski; D. Ożóg; K. Tomecki	A prototype adjuster for motion planning of redundant robots	2023
2	L. Leniowska; R. Leniowski	Algorithm for inverse kinematics of a multi-link manipulator	2022
3	M. Grochowina; L. Leniowska; R. Leniowski; Ł. Ryk; K. Tomecki; M. Wroński	Intelligent candidate recommendation system based on experimental calculation of the similarity model	2022
4	R. Leniowski; M. Wroński	Vibration Analysis and Modelling of Light-weight Robot Arms	2022
5	L. Leniowska; R. Leniowski	The multi-segment controller of a flexible arm	2020
6	R. Jasiński; B. Korga; R. Leniowski; D. Ożóg; D. Poliszak; P. Popielarz	Weryfikacja modeli matematycznych manipulatora składającego się z 3 szeregowo połączonych przegubów Cardana sterowanych wewnętrznymi cięgnami na stanowisku laboratoryjnym	2020
7	L. Leniowska; R. Leniowski	Przegub z napędem i sterowaniem łączący ramiona robota	2019