Big Data

Bases de Dados

Estruturas de Dados

SQL

1. Exposição dos fundamentos teóricos subjacentes ao Big Data

2. Exposição e análise das características das bases de dados NoSQL

3. Exposição e análise das características das bases de dados NewSQL

4. Exposição teórica das tecnologias de processamento de Big Data

5. Resolução de exercícios/exemplos de aplicação

6. Elaboração de trabalhos práticos

No fim de completarem a unidade curricular com sucesso, os alunos deverão ser capazes de:

1. Compreender e explicar os princípios e conceitos de armazenamento, processamento e análise de grandes volumes de dados (Big Data)

2. Utilizar bases de dados NoSQL e NewSQL

3. Avaliar as bases de dados usando benchmarks

4. Identificar e aplicar os conceitos e técnicas de armazenamento, processamento e análise de dados (Big Data) a problemas práticos

5. Selecionar e utilizar ferramentas apropriadas de armazenamento, processamento e análise de grandes volumes de dados (Big Data)

1. Introdução ao Big Data

– Um pouco de história

– O que é Análise de Dados?

– O que é Big Data?

– Características do Big Data

– Exemplos específicos de domínio de Big Data

– Fluxo de análise para Big Data

2. O que são bases de dados NoSQL.

– O que está errado com o modelo relacional?

– Big Data

– NoSQL

3. Características das bases de dados NoSQL

– Arquiteturas NoSQL

– Esquemas de Dados

– Distribuição de dados e Sharding

– Consistência

– Modelos ACID e BASE

4. Análise das bases de dados NoSQL

– Key-Value

– Document

– Column

– Graph

5. Bases de dados NewSQL

– Principais características

– Funcionalidades

– Diferenças entre SQL, NoSQL e NewSQL

6. Benchmarks para avaliação de bases de dados

– Propriedades relevantes de um benchmark NoSQL

– Benchmarks para bases de dados Key-value

– Benchmarks para bases de dados Document

– Benchmarks para bases de dados Column

– Benchmarks para bases de dados Graph

– Exemplos de trabalhos práticos

7. Big Data – Introdução ao Processamento Distribuído

– Limitações dos sistemas tradicionais

– Funcionalidades

– Frameworks de processamento Distribuído: MapReduce

– Plataformas de Big Data

8. Big Data – Armazenamento

– Arquitetura

– HDFS – Hadoop Distributed File System

9. Big Data – processamento

– Ferramentas e técnicas de processamento

– Processamento com Hadoop, Spark

– SQL em Hadoop , Hive

– Processamento de streams de dados

NAO

Bibliografia recomendada:

– Diapositivos e apontamentos das aulas dos professores

Bibliografia opcional:

– Big Data: Concepts, Warehousing, and Analytics. Maribel Yasmina Santos, Carlos Costa, FCA 2019, (ISBN: 978-972-722-908-6)

– Big Data Fundamentals: Concepts, Drivers & Techniques. Erl, T., Khattak, W., & Buhler, P. Prentice Hall, (ISBN 978-0-13-429107-9).

– Big Data Science & Analytics: A Hands-On Approach. Bahga, A., & Madisetti, V. VPT, (ISBN 978-0-9960255-3-9).

– Data Science for Business: What You Need to Know about Data Mining and Data-Analytic Thinking. Provost, F., & Fawcett, T. O’Reilly Media, (ISBN 978-1-4493-6132-7).

– Data Analytics with Hadoop: An Introduction for Data Scientists. Bengfort, B., & Kim, J. O’Reilly Media, (ISBN 978-1-4919-1370-3).

– Hadoop: The Definitive Guide: Storage and Analysis at Internet Scale. White, T. O’Reilly Media, (ISBN 978-1-4919-0163-2).

– Modern Big Data Processing with Hadoop: Expert techniques for architecting end-to-end Big Data solutions to get valuable insights. Kumar, V. N., & Shindgikar, P. Packt Publishing, (ISBN 978-1-78712-276-5).

– MongoDB: The Definitive Guide: Powerful and Scalable Data Storage. Chodorow, K. O’Reilly Media, (ISBN 978-1-4493-4468-9).