Big Data

Bases de Dados

Estruturas de Dados

SQL

1. Exame final teórico-prático – 30%
2. Apresentação e Relatório do trabalho prático de NoSQL/NewSQL – 30%
3. Trabalho de BigData com relatório – 30%
4. Participação e avaliação contínua – 10%

No fim de completarem a unidade curricular com sucesso, os alunos deverão ser capazes de:

1. Compreender e explicar os princípios e conceitos de armazenamento, processamento e análise de grandes volumes de dados (Big Data)
2. Utilizar bases de dados NoSQL e NewSQL
3. Avaliar as bases de dados usando benchmarks
4. Identificar e aplicar os conceitos e técnicas de armazenamento, processamento e análise de dados (Big Data) a problemas práticos
5. Selecionar e utilizar ferramentas apropriadas de armazenamento, processamento e análise de grandes volumes de dados (Big Data)

1. Introdução ao Big Data

• Um pouco de história
• O que é Análise de Dados?
• O que é Big Data?
• Características do Big Data
• Exemplos específicos de domínio de Big Data
• Fluxo de análise para Big Data

2. O que são bases de dados NoSQL.

• O que está errado com o modelo relacional?
• Big Data
• NoSQL

3. Características das bases de dados NoSQL

• Arquiteturas NoSQL
• Esquemas de Dados
• Distribuição de dados e Sharding
• Consistência
• Modelos ACID e BASE

4. Análise das bases de dados NoSQL

• Key-Value
• Document
• Column
• Graph

5. Bases de dados NewSQL

• Principais características
• Funcionalidades
• Diferenças entre SQL, NoSQL e NewSQL

6. Benchmarks para avaliação de bases de dados

• Propriedades relevantes de um benchmark NoSQL
• Benchmarks para bases de dados Key-value
• Benchmarks para bases de dados Document
• Benchmarks para bases de dados Column
• Benchmarks para bases de dados Graph
• Exemplos de trabalhos práticos

7. Big Data – Introdução ao Processamento Distribuído

• Limitações dos sistemas tradicionais
• Funcionalidades
• Frameworks de processamento Distribuído: MapReduce
• Plataformas de Big Data

8. Big Data – Armazenamento

• Arquitetura
• HDFS – Hadoop Distributed File System

9. Big Data – processamento

• Ferramentas e técnicas de processamento
• Processamento com Hadoop, Spark
• SQL em Hadoop , Hive
• Processamento de streams de dados

NAO