Tato práce řeší problém zpracování, transformace a přenosu dat z platformy Splunk do data lake Cloudera Hadoop a následně do Power BI. Cílem práce je navrhnout a implementovat univerzální a přenositelnou aplikaci v jazyce Python, která bude tento problém řešit. Na základě analýz možností komunikace výše zmíněných systémů je vytvořena univerzální aplikace, která se skládá z několika Python skriptů. Univerzálnost a přenositelnost je zajištěna tím, že se pro jiný zdroj dat ze Splunku bude měnit pouze jeden konfigurační skript a ostatní zůstanou beze změny. Navržená aplikace byla nasazena do produkce a úspěšně řeší první use case pro sklad logistiky, který je v této práci popsán.
Anotace v angličtině
The issue discussed in this work concerns processing, transforming and transferring of data from Splunk platform to Cloudera Hadoop data lake and then to Power BI. The main goal of this work is to design and implement a universal and transferable application in Python language which is supposed to solve this issue. The universal application consisting of several Python scripts is based on analyses of communication capabilities between the systems mentioned above. For any other source of Splunk type data, there is only one configuration script that needs to be changed, hence the needs of universality and transferability are met. The application was put into production and is now solving first use case in a logistic warehouse which is described in this work.
Klíčová slova
zpracování, transformace a přenos velkých dat, big data, Splunk, Python, Cloudera Hadoop, Power BI
Klíčová slova v angličtině
processing, transforming and transferring of big data, big data, Splunk, Python, Cloudera Hadoop, Power BI
Rozsah průvodní práce
60 s
Jazyk
CZ
Anotace
Tato práce řeší problém zpracování, transformace a přenosu dat z platformy Splunk do data lake Cloudera Hadoop a následně do Power BI. Cílem práce je navrhnout a implementovat univerzální a přenositelnou aplikaci v jazyce Python, která bude tento problém řešit. Na základě analýz možností komunikace výše zmíněných systémů je vytvořena univerzální aplikace, která se skládá z několika Python skriptů. Univerzálnost a přenositelnost je zajištěna tím, že se pro jiný zdroj dat ze Splunku bude měnit pouze jeden konfigurační skript a ostatní zůstanou beze změny. Navržená aplikace byla nasazena do produkce a úspěšně řeší první use case pro sklad logistiky, který je v této práci popsán.
Anotace v angličtině
The issue discussed in this work concerns processing, transforming and transferring of data from Splunk platform to Cloudera Hadoop data lake and then to Power BI. The main goal of this work is to design and implement a universal and transferable application in Python language which is supposed to solve this issue. The universal application consisting of several Python scripts is based on analyses of communication capabilities between the systems mentioned above. For any other source of Splunk type data, there is only one configuration script that needs to be changed, hence the needs of universality and transferability are met. The application was put into production and is now solving first use case in a logistic warehouse which is described in this work.
Klíčová slova
zpracování, transformace a přenos velkých dat, big data, Splunk, Python, Cloudera Hadoop, Power BI
Klíčová slova v angličtině
processing, transforming and transferring of big data, big data, Splunk, Python, Cloudera Hadoop, Power BI
Zásady pro vypracování
Seznamte se s problematikou velkých dat a platformami pro jejich zpracování jako Splunk, Cloudera Hadoop a Power BI.
Navrhněte řešení pro transformaci, manipulaci a přenos dat ze softwarové platformy Splunk do Cloudera Hadoop. Zaměřte se na univerzálnost a přenositelnost zpracování datového toku.
Implementujte prototyp navrženého řešení pomocí jazyka Python.
Vytvořte reporty v Power BI pro otestování funkčnosti celého datového toku a pro základní ukázkovou vizualizaci.
Zásady pro vypracování
Seznamte se s problematikou velkých dat a platformami pro jejich zpracování jako Splunk, Cloudera Hadoop a Power BI.
Navrhněte řešení pro transformaci, manipulaci a přenos dat ze softwarové platformy Splunk do Cloudera Hadoop. Zaměřte se na univerzálnost a přenositelnost zpracování datového toku.
Implementujte prototyp navrženého řešení pomocí jazyka Python.
Vytvořte reporty v Power BI pro otestování funkčnosti celého datového toku a pro základní ukázkovou vizualizaci.
Seznam doporučené literatury
[1] POWELL, Brett. Mastering Microsoft Power BI: Expert techniques for effective data analytics and business intelligence. 1. Birmingham, UK: Packt Publishing, 2018. ISBN 978-1788297233.
[2] KELLEHER, John D. a Brendan TIERNEY. Data science. Cambridge, Massachusetts: The MIT Press, [2018]. ISBN 978-0262535434.
[3] VANDERPLAS, Jacob T. Python data science handbook: essential tools for working with data. 2016. ISBN 978-1491912058.
Seznam doporučené literatury
[1] POWELL, Brett. Mastering Microsoft Power BI: Expert techniques for effective data analytics and business intelligence. 1. Birmingham, UK: Packt Publishing, 2018. ISBN 978-1788297233.
[2] KELLEHER, John D. a Brendan TIERNEY. Data science. Cambridge, Massachusetts: The MIT Press, [2018]. ISBN 978-0262535434.
[3] VANDERPLAS, Jacob T. Python data science handbook: essential tools for working with data. 2016. ISBN 978-1491912058.
Přílohy volně vložené
CD ROM
Přílohy vázané v práci
ilustrace, grafy, tabulky
Převzato z knihovny
Ano
Plný text práce
Přílohy
Posudek(y) oponenta
Hodnocení vedoucího
Záznam průběhu obhajoby
Průběh obhajoby je zveřejněn pouze přihlášenému uživateli.