Cel kształcenia i wykaz literatury

Główny cel kształcenia: Przedstawienie podstaw sieci LSTM i transformerów oraz ich zastosowania w prognozowaniu szeregów czasowych oraz klasyfikacji, obrazów sekwencji wizyjnych i tekstu.

Ogólne informacje o zajęciach: Moduł jest prowadzony na szóstym semestrze na kierunku Informatyka, specjalność Sztuczna inteligencja

Wykaz literatury, wymaganej do zaliczenia zajęć

Literatura wykorzystywana podczas zajęć wykładowych

1	M. Muraszkiewicz, R. Nowak	Sztuczna inteligencja dla inżynierów. Metody ogólne	Oficyna Wyd. Politechniki Warszawskiej.	2022
2	V. Zocca et al.	Deep Learning. Uczenie głębokie z językiem Python	Helion, Gliwice.	2018
3	MATLAB	Deep Learning Toolbox, Documentation	Matlab R2024a.	2024

Literatura wykorzystywana podczas zajęć ćwiczeniowych/laboratoryjnych/innych

1	V. Zocca et. al.	Deep Learning. Uczenie glębokie z językiem Python	Helion, Gliwice.	2018
2	MATLAB	Deep Learning Toolbox, Documentation	Matlab R2024a.	2024

Literatura do samodzielnego studiowania

1	I. Goodfellow, Y. Bengio, A Courville	Deep Learning. Systemy uczące się	PWN, Warszawa.	2018
2	A. Dosovitskiy et al.	An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale	Proc. 9th International Conference on Learning Representations (ICLR).	2021
3	A. Vaswani et al.	Attention Is All You Need	Proc. 31st Conference on Neural Information Processing Systems (NIPS).	2017
4	S. Wajjala, B. Majumder, A. Gupta, H. Surana	Przetwarzanie języka naturalnego w praktyce	Helion, Gliwice.	2023
5	J. Delvin et al.	Pre-training of Deep Bidirectional Transformers for Language Understanding	Proc. NAACL. Vol. 1.	2019

Wymagania wstępne w kategorii wiedzy/umiejętności/kompetencji społecznych

Wymagania formalne: Rejestracja na 6 semestr. Zaliczenie modułów poprzedzających przedmiot.

Wymagania wstępne w kategorii Wiedzy: Ogólna wiedza o sieciach neuronowych

Wymagania wstępne w kategorii Umiejętności: Umiejętność korzystania ze środowisk informatycznych

Wymagania wstępne w kategorii Kompetencji społecznych: Umiejętność pracy w niewielkich zespołach

Efekty kształcenia dla zajęć

MEK	Student, który zaliczył zajęcia	Formy zajęć/metody dydaktyczne prowadzące do osiągnięcia danego efektu kształcenia	Metody weryfikacji każdego z wymienionych efektów kształcenia	Związki z KEK	Związki z PRK
01	zna architekturę, parametry uczenia i możliwości zastosowania sieci LSTM	wykłady, ćwiczenia laboratoryjne	dokumentacja ćwiczeń laboratoryjnych, kolokwium	K_W04++	P6S_WG
02	zna pojęcie uwagi i podstawy zastosowania uwagi w uczeniu głębokim	wykłady i ćwiczenia laboratoryjne	dokumentacja ćwiczeń laboratoryjnych, kolokwium	K_U01++	P6S_UW
03	zna podstawy budowy i trenowania transformera oraz transformera wizyjnego	wykład, ćwiczenia laboratoryjne	dokumentacja ćwiczeń laboratoryjnych, kolokwium	K_W04++	P6S_WG
04	zna podstawy klasyfikacji tekstu	wykład, ćwiczenia laboratoryjne	dokumentacja ćwiczeń laboratoryjnych, kolokwium	K_U08++	P6S_UW
05	potrafi wykorzystać zdobytą wiedzę i poznane narzędzia programowe w zastosowaniach do prognozowania, rozpoznawania obrazów i sekwencji wizyjnych, klasyfikacji tekstu, oraz tłumaczenia	wykład, ćwiczenia laboratoryjne	dokumentacja ćwiczeń laboratoryjnych, kolokwium	K_U01+++	P6S_UW
06	orientuje się w kierunkach rozwoju technologii	wykład	kolokwium	K_K02++	P6S_KK P6S_KO P6S_UU

Uwaga: W zależności od sytuacji epidemicznej, jeżeli nie będzie możliwości weryfikacji osiągniętych efektów uczenia się określonych w programie studiów w sposób stacjonarny w szczególności zaliczenia i egzaminy kończące określone zajęcia będą mogły się odbywać przy użyciu środków komunikacji elektronicznej (w sposób zdalny).

Treści kształcenia dla zajęć

Sem.	TK	Treści kształcenia	Realizowane na	MEK
6	TK01	Podstawy sieci rekurencyjnych, budowa i uczenie sieci LSTM	W01,L01	MEK01
6	TK02	Koncepcja uwagi i jej wykorzystanie w sieciach rekurencyjnych	W02, L02	MEK02
6	TK03	Budowa i uczenie transformera	W03, L03	MEK03
6	TK04	Transformer wizyjny	W04, L04	MEK03
6	TK05	Model językowy oparty na architekturze transformera (BERT)	W05, L05	MEK04
6	TK06	Zastosowania sieci rekurencyjnych i transformerów: prognozowanie na podstawie szeregów czasowych, rozpoznawanie obrazów i sekwencji wizyjnych, klasyfikacja tekstu, tłumaczenie.	W01-W07,L01-L07	MEK05
6	TK07	Kierunki rozwoju i zastosowań	W08	MEK06

Nakład pracy studenta

Forma zajęć	Praca przed zajęciami	Udział w zajęciach	Praca po zajęciach
Wykład (sem. 6)		Godziny kontaktowe: 15.00 godz./sem.	Uzupełnienie/studiowanie notatek: 5.00 godz./sem. Studiowanie zalecanej literatury: 5.00 godz./sem.
Laboratorium (sem. 6)	Przygotowanie do laboratorium: 5.00 godz./sem.	Godziny kontaktowe: 15.00 godz./sem.	Dokończenia/wykonanie sprawozdania: 5.00 godz./sem.
Konsultacje (sem. 6)		Udział w konsultacjach: 2.00 godz./sem.
Zaliczenie (sem. 6)	Przygotowanie do zaliczenia: 5.00 godz./sem.	Zaliczenie pisemne: 2.00 godz./sem.

Sposób wystawiania ocen składowych zajęć i oceny końcowej

Forma zajęć	Sposób wystawiania oceny podsumowującej
Wykład	zaliczenie pisemne
Laboratorium	dokumentacja ćwiczeń laboratoryjnych
Ocena końcowa	średnia z ocen zaliczenia wykładu i zaliczenia laboratorium

Przykładowe zadania

Wymagane podczas egzaminu/zaliczenia
(-)

Realizowane podczas zajęć ćwiczeniowych/laboratoryjnych/projektowych
(-)

Inne
(-)

Czy podczas egzaminu/zaliczenia student ma możliwość korzystania z materiałów pomocniczych : nie

Treści zajęć powiazane są z prowadzonymi badaniami naukowymi: tak

1	D. Kalandyk; T. Kapuściński	Temporal signed gestures segmentation in an image sequence using deep reinforcement learning	2024
2	T. Kapuściński; D. Warchoł	A Four-Stage Mahalanobis-Distance-Based Method for Hand Posture Recognition	2023
3	K. Inglot; T. Kapuściński	Vision-based gesture modeling for signed expressions recognition	2022
4	T. Kapuściński	Handshape Recognition in an Educational Game for Finger Alphabet Practicing	2022
5	T. Kapuściński; M. Mis	Differential Pseudo-Image for Skeleton-Based Dynamic Gesture Recognition	2022
6	G. Jaromi; T. Kapuściński; D. Kordos; T. Rogalski; P. Rzucidło; P. Szczerba	In-Flight Tests of Intruder Detection Vision System	2021
7	K. Kamycki; T. Kapuściński; M. Oszust	Data Augmentation with Suboptimal Warping for Time-Series Classification	2020
8	K. Sidor; M. Wysocki	Recognition of Human Activities Using Depth Maps and the Viewpoint Feature Histogram Descriptor	2020
9	M. Wysocki	Zaawansowane systemy informatyczne: studia wybranych przypadków	2020
10	T. Kapuściński; D. Warchoł	Hand Posture Recognition Using Skeletal Data and Distance Descriptor	2020
11	T. Kapuściński; D. Warchoł	Human Action Recognition Using Bone Pair Descriptor and Distance Descriptor	2020
12	T. Kapuściński; M. Wysocki	Recognition of Signed Expressions in an Experimental System Supporting Deaf Clients in the City Office	2020
13	T. Kapuściński; T. Rogalski; P. Rzucidło; P. Szczerba; Z. Szczerba	A Vision-Based Method for Determining Aircraft State during Spin Recovery	2020
14	T. Kapuściński; D. Warchoł; M. Wysocki	Recognition of Fingerspelling Sequences in Polish Sign Language Using Point Clouds Obtained from Depth Images	2019
15	T. Kapuściński; J. Marnik; M. Oszust; D. Warchoł; M. Wysocki	Układ wspomagający komunikowanie się osób głuchoniemych z osobami słyszącymi i sposób wspierania takiego komunikowania się	2019