Conhecimentos de Base Recomendados
São recomendados conhecimentos em bases de dados e programação.
Métodos de Ensino
A atividade letiva decorre em regime presencial, com exposição de conceitos, técnicas e métodos, com grande enfoque em aplicações práticas. Será utilizado software de apoio à resolução de problemas no âmbito do programa.
Resultados de Aprendizagem
A geração e armazenamento de dados tem vindo a registar um assinalável crescimento, obrigando a processos de gestão e tratamento da informação cada vez mais complexos e abrangentes. Esta dinâmica observa-se nas mais variadas áreas, desde dados recolhidos nos cartões de fidelização, a dados disponibilizados em redes sociais em ambiente virtual, passando também por dados gerados automaticamente por aparelhos de análise clínica, entre outros.
Toda essa informação abre um vasto número de oportunidades, nomeadamente para as empresas e para o conhecimento em geral.
A unidade curricular de Big Data tem como objetivos dotar os alunos de conhecimentos no domino da análise de dados de grande dimensão, designadamente ao nível da recolha, processamento e disponibilização destes dados massivos, dando a conhecer aos alunos todo o ecossistema associado a este tipo de dados.
Em termos de competências espera-se que o aluno seja capaz de:
- Enumerar os conceitos associados ao tratamento de dados;
- Utilizar algumas das tecnologias mais importantes neste domínio como o Hadoop ou o PySpark.
Programa
- Fundamentos de Big Data
- Armazenamento em Big Data
- Bases de dados relacionais
- Bases de dados NoSQL
- Processamento de dados em Big Data
- Hadoop Map Reduce
- Apache Spark
- PySpark
Docente(s) responsável(eis)
Ricardo Manuel da Silva MalheiroMétodos de Avaliação
A avaliação tem as seguintes componentes:
- Elaboração de um projeto com um peso de 75%;
- Prova escrita, sem consulta, cuja data coincidirá com uma das épocas de exame regulamentadas, com um peso de 25%.
A qualquer uma das componentes é preciso obter a classificação mínima de 8.0 valores em 20 valores.
Os alunos que tiverem classificação positiva nas duas componentes, mas não obtiverem nota mínima numa delas, ficarão com a classificação final de 9 valores.
A nota obtida no trabalho de projeto fica guardada para as diferentes épocas de exame para efeitos de aprovação à unidade curricular.
Quem desejar melhorar a nota deverá submeter-se novamente ao processo de avaliação, realizando a prova escrita e um novo trabalho de projeto.
Estágio(s)
NAO
Bibliografia
Fundamental:
– Antonio Trigo. (2023). PyTrigo – Introdução à Data Science com Python (Version v0.12). Zenodo.http://doi.org/10.5281/zenodo.1288006
– MongoDB Documentation: https://docs.mongodb.com/
– Apache Hadoop Documentation: https://hadoop.apache.org/docs/
– Apache Spark Documentation: https://spark.apache.org/docs/
– Bill Chambers and Matei Zaharia (2018). Spark : the definitive guide : big data processing made simple. O’Reilly, 2018.
Complementar:
– Manuel Ignacio Franco Galeano (2018) Big Data processing with Apache Spark : efficiently tacklelarge datasets and big data analysis with Spark and Python. Packt Publishing, 2018.
– Bernard Marr (2016). Big Data in Practice: How 45 Successful Companies Used Big Data Analytics to Deliver Extraordinary Results, Wiley, 2016.
– Saeed, A., & Ebrahim, H. (2024). The Intersection of Machine Learning, Artificial Intelligence, and Big Data. In Big Data Computing (pp. 111-131). CRC Press.
– Hassan, M. A. M., Sardar, T. H., Fahim, M. F. H., Mohamed, M. S., Suleyman, R. M., & Usman, M. M. (2024). Artificial Intelligence and Deep Learning Applications on Big Data Computing Frameworks. In Big Data Computing (pp. 196-211). CRC Press.
– Pradhan, T., Nimkar, P., & Jhajharia, K. (2024). Machine Learning and Deep Learning for Big Data Analysis. In Big Data Analytics Techniques for Market Intelligence (pp. 209-240). IGI Global.
– Darius, P. S., Sowjanya, K., Manju, V. N., Saha, S., Mitra, P., Majumder, P., & Prabhu, S. M. (2024). From Data to Insights: A Review of Cloud-Based Big Data Tools and Technologies. Big Data Computing, 86-110.