Cel kształcenia i wykaz literatury

Główny cel kształcenia: Omówienie metod gromadzenia i przetwarzania dużych zbiorów danych oraz przedstawienie i zaznajomienie z narzędziami służącymi do zarządzania i przetwarzania dużych zbiorów danych, w tym zakresie także analizy wielowymiarowej.

Ogólne informacje o zajęciach: Zajęcia składają się z wykładu oraz laboratorium. W trakcie zajęć omawiane będą problemy obsługi dużych zbiorów danych oraz ich wykorzystywania. Przedstawione zostaną narzędzia służące do obsługi tego typu zbiorów danych. W zakresie analizy wielowymiarowej zajęcia ograniczą się jedynie do młodego projektu Apache Kylin.

Wykaz literatury, wymaganej do zaliczenia zajęć

Literatura wykorzystywana podczas zajęć wykładowych

1	David Stephenson	Big data, nauka o danych i AI bez tajemnic. Podejmuj lepsze decyzje i rozwijaj swój biznes!	Helion.	2019
2	Tom White	Hadoop: The Definitive Guide, Fourth Edition	Helion.	2016
3	Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills	Spark. Zaawansowana analiza danych	O’Reilly Media, Inc..	2016

Wymagania wstępne w kategorii wiedzy/umiejętności/kompetencji społecznych

Wymagania formalne: Zaliczenie semestru 5

Wymagania wstępne w kategorii Wiedzy: Zna tradycyjne metody przechowywania i dostępu do danych oparte o relacyjne bazy danych.

Wymagania wstępne w kategorii Umiejętności: Potrafi pracować w środowisku Linuks. Potrafi utworzyć prosty projekt java i go uruchomić.

Wymagania wstępne w kategorii Kompetencji społecznych: Jest zdolny do poszerzania wiedzy na podstawie studiowania opisów projektów.

Efekty kształcenia dla zajęć

MEK	Student, który zaliczył zajęcia	Formy zajęć/metody dydaktyczne prowadzące do osiągnięcia danego efektu kształcenia	Metody weryfikacji każdego z wymienionych efektów kształcenia	Związki z KEK	Związki z PRK
01	Zna problemy i metody przechowywania i przetwarzania dużych zbiorów danych.	wykład	zaliczenie cz. pisemna	K_W02+ K_U05+ K_K02+ K_K05+	P7S_KR P7S_UW P7S_WG
02	Zna metodę MapReduce oraz potrafi utworzyć projekt implementujący tą metodę.	wykład, laboratorium	zaliczenie cz. pisemna, obserwacja wykonawstwa	K_W02+ K_U09+ K_K05+	P7S_KR P7S_UW P7S_WG
03	Wie jak tworzyć hurtownie danych oraz potrafi używać narzędzia implementujące hurtownie danych, także w zakresie Big Data.	wykład, laboratorium	zaliczenie cz. pisemna, obserwacja wykonawstwa	K_W02+ K_U09+	P7S_UW P7S_WG
04	Potrafi używać zaawansowanych narzędzi analitycznych do przetwarzania danych w zbiorach Big Data.	wykład, wykład problemowy, laboratorium	zaliczenie cz. pisemna, obserwacja wykonawstwa	K_W02+ K_U09+ K_K02+	P7S_KR P7S_UW P7S_WG

Uwaga: W zależności od sytuacji epidemicznej, jeżeli nie będzie możliwości weryfikacji osiągniętych efektów uczenia się określonych w programie studiów w sposób stacjonarny w szczególności zaliczenia i egzaminy kończące określone zajęcia będą mogły się odbywać przy użyciu środków komunikacji elektronicznej (w sposób zdalny).

Treści kształcenia dla zajęć

Sem.	TK	Treści kształcenia	Realizowane na	MEK
2	TK01	Wstęp do problematyki Big Data. Uzasadnienie problematyki w aspekcie funkcjonowania współczesnych przedsiębiorstw. Proste metody integracji na poziomie danych.	W01, L01	MEK01
2	TK02	Pojęcie hurtowni danych oraz metodyki tworzenia i zarządzania hurtowniami danych. Krótko pojęcie business intelligence.	W02,W03	MEK03
2	TK03	System plików HDFS	W04, W05 L02	MEK01 MEK02
2	TK04	Problemy zapytań do dużych zbiorów danych. Metoda MapReduce.	W06, L03	MEK02
2	TK05	Oprogramowanie hurtowni danych dla dużych zbiorów - Apache Hive	W07, L04	MEK03
2	TK06	Kolumnowe przechowywanie danych - Apache Parquet	W08	MEK01 MEK03 MEK04
2	TK07	Systemy analityczne Big Data - Spark	W09, W10, L05	MEK04
2	TK08	Wielowymiarowe przetwarzanie danych BigData - Apache Kylin	W11, W12, L06, L07	MEK04

Nakład pracy studenta

Forma zajęć	Praca przed zajęciami	Udział w zajęciach	Praca po zajęciach
Wykład (sem. 2)		Godziny kontaktowe: 25.00 godz./sem.	Uzupełnienie/studiowanie notatek: 10.00 godz./sem. Studiowanie zalecanej literatury: 10.00 godz./sem.
Laboratorium (sem. 2)	Przygotowanie do laboratorium: 10.00 godz./sem.	Godziny kontaktowe: 15.00 godz./sem.
Konsultacje (sem. 2)		Udział w konsultacjach: 2.00 godz./sem.
Zaliczenie (sem. 2)	Przygotowanie do zaliczenia: 10.00 godz./sem.	Zaliczenie pisemne: 2.00 godz./sem.

Sposób wystawiania ocen składowych zajęć i oceny końcowej

Forma zajęć	Sposób wystawiania oceny podsumowującej
Wykład	Zaliczenie cz. pisemna
Laboratorium	Obserwacja wykonawstwa.
Ocena końcowa	Na podstawie ocen z Laboratorium, Projektu i zaliczenia pisemnego.

Przykładowe zadania

Wymagane podczas egzaminu/zaliczenia
(-)

Realizowane podczas zajęć ćwiczeniowych/laboratoryjnych/projektowych
(-)

Inne
(-)

Czy podczas egzaminu/zaliczenia student ma możliwość korzystania z materiałów pomocniczych : nie

Treści zajęć powiazane są z prowadzonymi badaniami naukowymi: nie