Cel kształcenia i wykaz literatury

Główny cel kształcenia: Poznanie podstawowych zagadnień z związanych z paradygmatem uczenia się ze wzmocnieniem oraz jego zastosowania do podejmowania decyzji i zadań sterowania.

Ogólne informacje o zajęciach:

Materiały dydaktyczne: http://materialy.prz-rzeszow.pl/

Wykaz literatury, wymaganej do zaliczenia zajęć

Literatura wykorzystywana podczas zajęć wykładowych

1	Roman Zajdel	Uczenie się ze wzmocnieniem w trybie epokowo inkrementacyjnym	Oficyna Wydawnicza Politechniki Rzeszowskiej.	2015
2	Paweł Cichosz	Systemy uczące się	Wydawnictwa Naukowo-Techniczne (ISBN 83-204-2544-1).	2000
3	Richard S. Sutton and Andrew G. Barto	Reinforcement Learning: An Introduction	The MIT Press Cambridge, Massachusetts London, England.	2018
4	Volodymyr Mnih et al.	Human-level control through deep reinforcement learning	doi:10.1038/nature14236.	2015
5	Dawid Kalandyk and Tomasz Kapuściński	Temporal Signed Gestures Segmentation in an Image Sequence Using Deep Reinforcement Learning	Engineering Applications of Artificial Intelligence (https://doi.org/10.1016/j.engappai.2024.107879).	2024
6	Dawid Kalandyk, Bogdan Kwiatkowski and Damian Mazur	CNC Machine Control Using Deep Reinforcement Learning	Bulletin Of The Polish Academy Of Sciences Technical Sciences (DOI: 10.24425/bpasts.2024.148940).	2024

Literatura wykorzystywana podczas zajęć ćwiczeniowych/laboratoryjnych/innych

1		https://unity.com/products/unity-engine	.
2		https://realpython.com/python-raspberry-pi/	.
3		https://www.raspberrypi.com/documentation/	.

Wymagania wstępne w kategorii wiedzy/umiejętności/kompetencji społecznych

Wymagania formalne: Student wpisany na 5 semestr studiów inżynierskich.

Wymagania wstępne w kategorii Wiedzy: Student zna podstawy obiektowego pisania programów.

Wymagania wstępne w kategorii Umiejętności: Student potrafi programować w języku Python lub Matlab, ma podstawową wiedzę w zakresie metod przetwarzania obrazu oraz algorytmiki.

Wymagania wstępne w kategorii Kompetencji społecznych: Student powinien posiadać umiejętność pracy w zespole oraz potrafić poddać krytycznej analizie na forum grupy rozwiązania proponowane przez zespół.

Efekty kształcenia dla zajęć

MEK	Student, który zaliczył zajęcia	Formy zajęć/metody dydaktyczne prowadzące do osiągnięcia danego efektu kształcenia	Metody weryfikacji każdego z wymienionych efektów kształcenia	Związki z KEK	Związki z PRK
01	Zna paradygmat uczenia się ze wzmocnieniem, podstawowe pojęcia z nim związane oraz rozumie proces nauki agenta w różnego rodzaju środowiskach.	wykład, laboratorium, projekt zespołowy	zaliczenie cz. pisemna, zaliczenie cz. praktyczna	K_W04++ K_U01+	P6S_UW P6S_WG
02	Dla konkretnego zadania potrafi zaprojektować proces nauki wraz ze wstępnym doborem parametrów.	wykład, laboratorium, projekt zespołowy	zaliczenie cz. pisemna, zaliczenie cz. praktyczna	K_W04++ K_W06+ K_U01+++ K_U02++ K_K07+++	P6S_KO P6S_UW P6S_WG P6S_WK
03	Potrafi projektować własne rozwiązania zadań sterowania w oparciu o paradygmat uczenia się ze wzmocnieniem. Potrafi planować oraz realizować eksperymenty symulacyjne oraz rzetelnie weryfikować i analizować ich wyniki.	wykład, laboratorium, projekt zespołowy	sprawozdanie z projektu, prezentacja projektu	K_W04++ K_U01+ K_U02+++ K_U06+++ K_K01+ K_K07+++	P6S_KK P6S_KO P6S_UU P6S_UW P6S_WG

Uwaga: W zależności od sytuacji epidemicznej, jeżeli nie będzie możliwości weryfikacji osiągniętych efektów uczenia się określonych w programie studiów w sposób stacjonarny w szczególności zaliczenia i egzaminy kończące określone zajęcia będą mogły się odbywać przy użyciu środków komunikacji elektronicznej (w sposób zdalny).

Treści kształcenia dla zajęć

Sem.	TK	Treści kształcenia	Realizowane na	MEK
5	TK01	Paradygmat uczenia się ze wzmocnieniem, wyjaśnienie podstawowych pojęć	W01	MEK01
5	TK02	Algorytmy klasy TD(0)	W02	MEK01 MEK02
5	TK03	Algorytm klasy TD(λ)	W02	MEK01 MEK02
5	TK04	Środowisko gridowe vs. środowisko o ciągłych zmiennych stanu	W03	MEK01 MEK02
5	TK05	Typy sygnału wzmocnienia, jego kształtowanie oraz wpływ na proces nauki	W03	MEK01 MEK02
5	TK06	Metody aproksymacji funkcji wartości oraz funkcji wartości akcji	W04, L06	MEK01 MEK02
5	TK07	Eksplorowanie środowiska vs. eksploatowanie zdobytej wiedzy	W04	MEK01 MEK02
5	TK08	Analiza przykładu zastosowania algorytmu uczenia się ze wzmocnieniem do nauki poruszania się agenta w środowisku gridowym	W05	MEK02 MEK03
5	TK09	Analiza przykładu zastosowania algorytmu uczenia się ze wzmocnieniem do nauki strategi wygrywającej w prostej grze 2D	W05	MEK02 MEK03
5	TK10	Analiza przykładu zastosowania algorytmu uczenia się ze wzmocnieniem do nauki optymalizacji pracy maszyny CNC	W06	MEK02 MEK03
5	TK11	Analiza przykładu niestandardowego podejścia – zastosowania algorytmu głębokiego uczenia się ze wzmocnieniem do zadania czasowej segmentacji ciągłego strumienia danych (sekwencja zdjęć RGB) przedstawiającego gesty Polskiego Języka Migowego	W06	MEK02 MEK03
5	TK12	Analiza przykładu niestandardowego podejścia – zastosowania algorytmu głębokiego uczenia się ze wzmocnieniem do zadania autonomicznego planowania trasy łazika marsjańskiego realizującego wybrane zadania	W07	MEK02 MEK03
5	TK13	Analiza działania różnych wersji algorytmu uczenia się ze wzmocnieniem (AHC, Sarsa, Q-Learning)	L01, L02	MEK01 MEK02
5	TK14	Zadania "do sukcesu" oraz "do porażki"	L03	MEK01 MEK02
5	TK15	Sposoby parametryzacji oraz optymalizacji procesu nauki	L04	MEK01 MEK02
5	TK16	Opis stanu: dyskretny vs. ciągły	L05	MEK01 MEK02
5	TK17	Realizacja wybranego przez studentów zadania sterowania robotem lub agentem w grze komputerowej zgodnie z własnym projektem w ramach dostępnych elementów i oprogramowania.	P01, P02, P03, P04, P05, P06	MEK01 MEK02 MEK03

Nakład pracy studenta

Forma zajęć	Praca przed zajęciami	Udział w zajęciach	Praca po zajęciach
Wykład (sem. 5)		Godziny kontaktowe: 15.00 godz./sem.	Uzupełnienie/studiowanie notatek: 1.00 godz./sem. Studiowanie zalecanej literatury: 3.00 godz./sem.
Laboratorium (sem. 5)	Przygotowanie do laboratorium: 3.00 godz./sem.	Godziny kontaktowe: 15.00 godz./sem.
Projekt/Seminarium (sem. 5)	Przygotowanie do zajęć projektowych/seminaryjnych: 3.00 godz./sem.	Godziny kontaktowe: 15.00 godz./sem..	Wykonanie projektu/dokumentacji/raportu: 3.00 godz./sem.
Konsultacje (sem. 5)
Zaliczenie (sem. 5)	Przygotowanie do zaliczenia: 2.00 godz./sem.

Sposób wystawiania ocen składowych zajęć i oceny końcowej

Forma zajęć	Sposób wystawiania oceny podsumowującej
Wykład	Suma zdobytych punktów. (max. 20)
Laboratorium	Suma zdobytych punktów. (max. 30)
Projekt/Seminarium	Suma zdobytych punktów. (max. 50)
Ocena końcowa	Na podstawie łącznej sumy punktów z poszczególnych modułów.

Przykładowe zadania

Wymagane podczas egzaminu/zaliczenia
(-)

Realizowane podczas zajęć ćwiczeniowych/laboratoryjnych/projektowych
(-)

Inne
(-)

Czy podczas egzaminu/zaliczenia student ma możliwość korzystania z materiałów pomocniczych : nie

Treści zajęć powiazane są z prowadzonymi badaniami naukowymi: tak

1	M. Kusy; R. Zajdel	New data reduction algorithms based on the fusion of instance and feature selection	2024
2	M. Kusy; R. Zajdel	A weighted wrapper approach to feature selection	2021
3	J. Kluska; M. Kusy; R. Zajdel; T. Żabiński	Fusion of Feature Selection Methods for Improving Model Accuracy in the Milling Process Data Classification Problem	2020
4	J. Kluska; M. Kusy; R. Zajdel; T. Żabiński	Weighted Feature Selection Method for Improving Decisions in Milling Process Diagnosis	2020