Big Data

Bases de Dados

Estruturas de Dados

SQL

1. Exposição dos fundamentos teóricos subjacentes ao Big Data

2. Exposição e análise das características das bases de dados NoSQL

3. Exposição e análise das características das bases de dados NewSQL

4. Exposição teórica das tecnologias de processamento de Big Data

5. Resolução de exercícios e exemplos de aplicação

6. Elaboração de trabalhos práticos

No fim de completarem a unidade curricular com sucesso, os alunos deverão ser capazes de:

1. Compreender e explicar os princípios e conceitos de armazenamento, processamento e análise de grandes volumes de dados (Big Data)

2. Utilizar bases de dados NoSQL e NewSQL

3. Avaliar as bases de dados usando benchmarks

4. Identificar e aplicar os conceitos e técnicas de armazenamento, processamento e análise de dados (Big Data) a problemas práticos

5. Selecionar e utilizar ferramentas apropriadas de armazenamento, processamento e análise de grandes volumes de dados (Big Data)

1. Introdução ao Big Data

– Um pouco de história

– O que é Análise de Dados?

– O que é Big Data?

– Características do Big Data

– Exemplos específicos de domínio de Big Data

– Fluxo de análise para Big Data

2. O que são bases de dados NoSQL.

– O que está errado com o modelo relacional?

– Big Data

– NoSQL

3. Características das bases de dados NoSQL

– Arquiteturas NoSQL

– Esquemas de Dados

– Distribuição de dados e Sharding

– Consistência

– Modelos ACID e BASE

4. Análise das bases de dados NoSQL

– Key-Value

– Document

– Column

– Graph

5. Bases de dados NewSQL

– Principais características

– Funcionalidades

– Diferenças entre SQL, NoSQL e NewSQL

6. Benchmarks para avaliação de bases de dados

– Propriedades relevantes de um benchmark NoSQL

– Benchmarks para bases de dados Key-value

– Benchmarks para bases de dados Document

– Benchmarks para bases de dados Column

– Benchmarks para bases de dados Graph

– Exemplos de trabalhos práticos

7. Big Data – Introdução ao Processamento Distribuído

– Limitações dos sistemas tradicionais

– Funcionalidades

– Frameworks de processamento Distribuído: MapReduce

– Plataformas de Big Data

8. Big Data – Armazenamento

– Arquitetura

– HDFS – Hadoop Distributed File System

9. Big Data – processamento

– Ferramentas e técnicas de processamento

– Processamento com Hadoop, Spark

– SQL em Hadoop , Hive

– Processamento de streams de dados

NAO

Bibliografia recomendada:

– Diapositivos e apontamentos das aulas dos professores

Bibliografia opcional:

– Santos, M. Y., & Costa, C. (2019). Big Data: Concepts, Warehousing, and Analytics. FCA.

– Erl, T., Khattak, W., & Buhler, P. (2013). Big Data Fundamentals: Concepts, Drivers & Techniques. Prentice Hall.

– Bahga, A., & Madisetti, V. (2016). Big Data Science & Analytics: A Hands-On Approach. VPT.

– Provost, F., & Fawcett, T. (2013). Data Science for Business: What You Need to Know about Data Mining and Data-Analytic Thinking. O’Reilly Media.

– Bengfort, B., & Kim, J. (2016). Data Analytics with Hadoop: An Introduction for Data Scientists. O’Reilly Media.

– White, T. (2015). Hadoop: The Definitive Guide: Storage and Analysis at Internet Scale. O’Reilly Media.

– Kumar, V. N., & Shindgikar, P. (2018). Modern Big Data Processing with Hadoop: Expert techniques for architecting end-to-end Big Data solutions to get valuable insights. Packt Publishing.

– Chodorow, K. (2013). MongoDB: The Definitive Guide: Powerful and Scalable Data Storage. O’Reilly Media.