Big Data

São recomendados conhecimentos em bases de dados e programação. 

A atividade letiva decorre em regime presencial, com exposição de conceitos, técnicas e métodos, com grande enfoque em aplicações práticas. Será utilizado software de apoio à resolução de problemas no âmbito do programa.

A geração e armazenamento de dados tem vindo a registar um assinalável crescimento, obrigando a processos de gestão e tratamento da informação cada vez mais complexos e abrangentes. Esta dinâmica observa-se nas mais variadas áreas, desde dados recolhidos nos cartões de fidelização, a dados disponibilizados em redes sociais em ambiente virtual, passando também por dados gerados automaticamente por aparelhos de análise clínica, entre outros.

Toda essa informação abre um vasto número de oportunidades, nomeadamente para as empresas e para o conhecimento em geral.

A unidade curricular de Big Data tem como objetivos dotar os alunos de conhecimentos no domino da análise de dados de grande dimensão, designadamente ao nível da recolha, processamento e disponibilização destes dados massivos, dando a conhecer aos alunos todo o ecossistema associado a este tipo de dados. 

Em termos de competências espera-se que o aluno seja capaz de:

• Enumerar os conceitos associados ao tratamento de dados;
• Utilizar algumas das tecnologias mais importantes neste domínio como o Hadoop ou o PySpark.

1. Fundamentos de Big Data
2. Armazenamento em Big Data
1. Bases de dados relacionais
2. Bases de dados NoSQL
3. Processamento de dados em Big Data
1. Hadoop Map Reduce
2. Apache Spark
3. PySpark

NAO

Fundamental:

– Antonio Trigo. (2023). PyTrigo – Introdução à Data Science com Python (Version v0.12). Zenodo.http://doi.org/10.5281/zenodo.1288006

– MongoDB Documentation: https://docs.mongodb.com/

– Apache Hadoop Documentation: https://hadoop.apache.org/docs/

– Apache Spark Documentation: https://spark.apache.org/docs/

– Bill Chambers and Matei Zaharia (2018). Spark : the definitive guide : big data processing made simple. O’Reilly, 2018. 

Complementar:

– Manuel Ignacio Franco Galeano (2018) Big Data processing with Apache Spark : efficiently tacklelarge datasets and big data analysis with Spark and Python. Packt Publishing, 2018.

– Bernard Marr (2016). Big Data in Practice: How 45 Successful Companies Used Big Data Analytics to Deliver Extraordinary Results, Wiley, 2016.

– Saeed, A., & Ebrahim, H. (2024). The Intersection of Machine Learning, Artificial Intelligence, and Big Data. In Big Data Computing (pp. 111-131). CRC Press.

– Hassan, M. A. M., Sardar, T. H., Fahim, M. F. H., Mohamed, M. S., Suleyman, R. M., & Usman, M. M. (2024). Artificial Intelligence and Deep Learning Applications on Big Data Computing Frameworks. In Big Data Computing (pp. 196-211). CRC Press.

– Pradhan, T., Nimkar, P., & Jhajharia, K. (2024). Machine Learning and Deep Learning for Big Data Analysis. In Big Data Analytics Techniques for Market Intelligence (pp. 209-240). IGI Global.

– Darius, P. S., Sowjanya, K., Manju, V. N., Saha, S., Mitra, P., Majumder, P., & Prabhu, S. M. (2024). From Data to Insights: A Review of Cloud-Based Big Data Tools and Technologies. Big Data Computing, 86-110.