Conhecimentos de Base Recomendados
Bases de Dados
Estruturas de Dados
SQL
Métodos de Ensino
1. Exposição dos fundamentos teóricos subjacentes ao Big Data
2. Exposição e análise das características das bases de dados NoSQL
3. Exposição e análise das características das bases de dados NewSQL
4. Exposição teórica das tecnologias de processamento de Big Data
5. Resolução de exercícios e exemplos de aplicação
6. Elaboração de trabalhos práticos
Resultados de Aprendizagem
No fim de completarem a unidade curricular com sucesso, os alunos deverão ser capazes de:
1. Compreender e explicar os princípios e conceitos de armazenamento, processamento e análise de grandes volumes de dados (Big Data)
2. Utilizar bases de dados NoSQL e NewSQL
3. Avaliar as bases de dados usando benchmarks
4. Identificar e aplicar os conceitos e técnicas de armazenamento, processamento e análise de dados (Big Data) a problemas práticos
5. Selecionar e utilizar ferramentas apropriadas de armazenamento, processamento e análise de grandes volumes de dados (Big Data)
Programa
1. Introdução ao Big Data
– Um pouco de história
– O que é Análise de Dados?
– O que é Big Data?
– Características do Big Data
– Exemplos específicos de domínio de Big Data
– Fluxo de análise para Big Data
2. O que são bases de dados NoSQL.
– O que está errado com o modelo relacional?
– Big Data
– NoSQL
3. Características das bases de dados NoSQL
– Arquiteturas NoSQL
– Esquemas de Dados
– Distribuição de dados e Sharding
– Consistência
– Modelos ACID e BASE
4. Análise das bases de dados NoSQL
– Key-Value
– Document
– Column
– Graph
5. Bases de dados NewSQL
– Principais características
– Funcionalidades
– Diferenças entre SQL, NoSQL e NewSQL
6. Benchmarks para avaliação de bases de dados
– Propriedades relevantes de um benchmark NoSQL
– Benchmarks para bases de dados Key-value
– Benchmarks para bases de dados Document
– Benchmarks para bases de dados Column
– Benchmarks para bases de dados Graph
– Exemplos de trabalhos práticos
7. Big Data – Introdução ao Processamento Distribuído
– Limitações dos sistemas tradicionais
– Funcionalidades
– Frameworks de processamento Distribuído: MapReduce
– Plataformas de Big Data
8. Big Data – Armazenamento
– Arquitetura
– HDFS – Hadoop Distributed File System
9. Big Data – processamento
– Ferramentas e técnicas de processamento
– Processamento com Hadoop, Spark
– SQL em Hadoop , Hive
– Processamento de streams de dados
Docente(s) responsável(eis)
Jorge Fernandes Rodrigues BernardinoMétodos de Avaliação
1. Exame final teórico-prático - 30%
2. Apresentação e Relatório do trabalho prático de NoSQL/NewSQL - 30%
3. Trabalho de BigData com relatório - 30%
4. Participação e avaliação contínua - 10%
Condições de admissão a exame:
- Obtenção de um mínimo de 30% em cada um dos 2 trabalhos práticos
Estágio(s)
NAO
Bibliografia
Bibliografia recomendada:
– Diapositivos e apontamentos das aulas dos professores
Bibliografia opcional:
– Santos, M. Y., & Costa, C. (2019). Big Data: Concepts, Warehousing, and Analytics. FCA.
– Erl, T., Khattak, W., & Buhler, P. (2013). Big Data Fundamentals: Concepts, Drivers & Techniques. Prentice Hall.
– Bahga, A., & Madisetti, V. (2016). Big Data Science & Analytics: A Hands-On Approach. VPT.
– Provost, F., & Fawcett, T. (2013). Data Science for Business: What You Need to Know about Data Mining and Data-Analytic Thinking. O’Reilly Media.
– Bengfort, B., & Kim, J. (2016). Data Analytics with Hadoop: An Introduction for Data Scientists. O’Reilly Media.
– White, T. (2015). Hadoop: The Definitive Guide: Storage and Analysis at Internet Scale. O’Reilly Media.
– Kumar, V. N., & Shindgikar, P. (2018). Modern Big Data Processing with Hadoop: Expert techniques for architecting end-to-end Big Data solutions to get valuable insights. Packt Publishing.
– Chodorow, K. (2013). MongoDB: The Definitive Guide: Powerful and Scalable Data Storage. O’Reilly Media.
– Luo, S. & Pan, L. (2026). Big Data Analysis: Theory and Technology. Springer.