Extração, Transformação, Carregamento e Visualização

Conhecimentos de Base Recomendados

Conhecimentos adquiridos nas Unidade Curricular de Análise de Dados e de Bases de Dados.

Métodos de Ensino

As aulas serão teórico práticas, com exposição dos conteúdos e aplicação de conceitos com base num Caso de Estudo a trabalhar por grupos de alunos – o objetivo é permitir aos alunos lidar com:

– preparação dos dados para análise e tomada de decisão;

– extração, tratamento e carregamento de dados de suporte à análise;

– construção de visualizações dos dados orientados à tomada de decisão;

– uso de ferramentas de extração, tratamento, carregamento e visualização de dados, rentabilizando as licenças educação disponíveis na Escola.

Sempre com o intuito de usar dados reais de empresas quando possível, serão trabalhados em sala exemplos variados no sentido permitir o acompanhamento necessário à aquisição de conhecimento, estando também previstas horas de trabalho autónomo dos estudantes.

Os alunos serão organizados em grupos de 3 ou 4 elementos no sentido de poderem desenvolver exercícios em sala suportados nos exemplos atrás referidos e proporcionando a discussão e troca de ideias, essencial para o trabalho de Projeto na segunda metade de aulas no Semestre.

Para complementar o trabalho de grupo, os grupos serão chamados a apresentações durante o Semestre, contribuindo para a troca de ideias e conhecimento do todo – da turma. As apresentações terão um suporte na avaliação entre grupos por peer-review, ou seja, cada grupo terá de apresentar o seu trabalho e responder às questões para além de analisar o trabalho de outro grupo, propondo sugestões de melhoria e endereçando críticas construtivas.

A Escola promove eventos extra-aula assegurados por entidades parceiras. Neste âmbito realizar-se-á um Meet Up com uma das empresas parceiras, com foco nas novas funcionalidades previstas para as ferramentas desta área de estudo e casos de uso nas empresas inerentes. Estabelecer a ligação com as Unidades Curriculares do último semestre da Licenciatura e promover e alargar a rede de conhecimentos empresariais, potenciando as suas oportunidades de ligação ao mercado de trabalho, são também premissas incluídas nets Meet-Up.

Por fim, e tendo em conta a aprendizagem de excelência, é opcionalmente proporcionada a oportunidade de participação dos alunos na submissão em conferência com indexação Scopus, em modelo de artigo científico, que inclua os trabalhos desenvolvidos de modo a promover atividades de Investigação junto destes estudantes de licenciatura.

Resultados de Aprendizagem

Esta UC pretende atingir os seguintes objetivos de aprendizagem:

O1 – Conhecer o ciclo Real-Life ETL (Extração, Transformação, Carregamento)

O2 – Dominar as diversas fases do processo ETL (estabelecendo a ligação, na componente de transformação de dados, aos conhecimentos adquiridos na UC de Análise de Dados)

O3 – Conhecer, comparar e utilizar ferramentas ETL

O4 – Conhecer e aplicar as regras de visualização de dados adequadas ao contexto dos utilizadores dos dados, promovendo a melhor compreensão e tomada de decisão com base nos dados.

O5 – Saber utilizar as técnicas mais adequadas aos dados em análise de modo a que, partindo de dados em bruto, seja possível obter as visualizações mais eficazes, passando pelo processo ETL, até à conclusão da visualização.

 

No final da Unidade Curricular, os estudantes devem adquirir as seguintes competências: 

C1 – Compreender o processo ETL em contexto real (fontes de dados, extração, limpeza, transformação, integração e carregamento); 

C2 – Conceber e implementar processos ETL completos: dos dados em bruto até análise e visualização;

C3 – Aplicar técnicas de extração a fontes de dados com caraterísticas diversificadas (bases de dados, ficheiros, APIs, etc.);

C4 – Executar operações de transformação de dados articulando este conhecimentos com os de Análise de Dados;

C5 – Realizar processos de carregamento para data warehouses, data marts ou plataformas analíticas.

Programa

1 – Conceitos de Dados, Cultura orientada aos Dados e ETL
1.1 – Ciclo de Análise de dados
1.2 – Localização e tipos de Fontes de Dados: Extração de Dados
1.3 – Processos de Preparação e Transformação de dados
1.4 – Data warehouses vs Data Lakes: Carregamento de dados
1.5 – Princípios de Data Governance e perfis profissionais associados
1.6 – Curadoria dos Dados
1.7 – Aspetos éticos do uso de dados e Regulamento Geral sobre a Proteção dos Dados
1.8 – Repositórios Abertos
1.9 – Ferramentas para ETL e estudo comparativo
2 – Visualização de Dados
2.1 – Regras para a elaboração de visualização de dados
2.2 – Ferramentas para visualização de dados: identificação e estudo comparativo
2.3 – Planificação, monitorização e discussão do processo de visualização de dados
3 – Projeto de ETL e visualização de dados

Docente(s) responsável(eis)

Isabel Maria Mendes Pedrosa

Métodos de Avaliação

A avaliação contínua é composta por:

- 2 trabalhos práticos (TP1 e TP2)

- preparação de dois eventos (PE) Meet Up/Workshops em colaboração com empresas da área.

As componentes TP1 e PE serão realizadas em grupo e a componente TP2 será obrigatoriamente de natureza individual.

Na avaliação nas épocas de exame (normal, recurso e especial) os elementos de avaliação são sempre realizados individualmente. 

NOTA: A avaliação contínua pressupõe a presença em, pelo menos, 75% das aulas do semestre. 

 

Avaliação Contínua

Grupo

TP1 – apresentação e discussão em sala com pitch (máx de 10m) – 40% da nota final

          Inclui entrega após apresentação de Relatório de Projeto

NOTA TP1: Projeto*30%+ Relatório*30% + Apresentação*20% + Discussão*20%

PE – preparação de um evento (PE) Meet Up – 20% da nota final (os estudantes serão divididos em 2 grupos e cada um dos grupos prepara um evento e participa obrigatoriamente no outro)

 Individual

TP2 – apresentação e discussão em sala com pitch (máx de 10m) – 40% da nota final

NOTA TP2: Projeto*30%+ Relatório*30% + Apresentação*20% + Discussão*20%

          Inclui entrega após apresentação de Relatório de Projeto

NOTA:  A avaliação contínua pressupõe a presença em, pelo menos, 75% das aulas do semestre. 

 

Avaliação por Exame – sempre realizada individualmente

Época Normal

TP1 – apresentação e discussão em sala com pitch (máx de 10m) – 50% da nota final

NOTA TP1: Projeto*30%+ Relatório*30% + Apresentação*20% + Discussão*20%

          Inclui entrega após apresentação de Relatório de Projeto

TP2 – apresentação e discussão em sala com pitch (máx de 10m) – 50% da nota final

NOTA TP2: Projeto*30%+ Relatório*30% + Apresentação*20% + Discussão*20%

          Inclui entrega após apresentação de Relatório de Projeto

Época Recurso

TP1 – apresentação e discussão  em sala com pitch (máx de 10m) – 50% da nota final

          Inclui entrega após apresentação de Relatório de Projeto

NOTA TP1: Projeto*30%+ Relatório*30% + Apresentação*20% + Discussão*20%

TP2 – apresentação e discussão em sala com pitch (máx de 10m) – 50% da nota final

          Inclui entrega após apresentação de Relatório de Projeto

NOTA TP2: Projeto*30%+ Relatório*30% + Apresentação*20% + Discussão*20%

Época Especial

TP1 – apresentação e discussão em sala com pitch (máx de 10m) – 50% da nota final

          Inclui entrega após apresentação de Relatório de Projeto

NOTA TP1: Projeto*30%+ Relatório*30% + Apresentação*20% + Discussão*20%

TP2 – apresentação e discussão em sala com pitch (máx de 10m) – 50% da nota final

           Inclui entrega após apresentação de Relatório de Projeto

NOTA TP2: Projeto*30%+ Relatório*30% + Apresentação*20% + Discussão*20%


    Estágio(s)

    NAO

    Bibliografia

    Aspin, A. (2022). Pro Data Mashup for Power BI: Powering Up with Power Query and the M Language to Find, Load, and Transform Data, Apress Editions
    Deckler, G. (2025). Learn Power BI: A comprehensive, step-by-step guide for beginners to learn real-world business intelligence, 2rd Edition, Packt Publishing
    Deckler, G., Powell, B. (2022). Mastering Microsoft Power BI: Expert techniques to create interactive insights for effective data analytics and business intelligence, 2nd Edition, Packt Publishing
    Kimbal, R., (2004). The Data Warehouse ETL Toolkit: Practical Techniques for Extracting, Cleaning, Conforming, and Delivering Data
    Laursen, G. H., & Thorlund, J. (2016). Business analytics for managers: Taking business intelligence beyond reporting. John Wiley & Sons.
    Few, S. (2021). Now You See It: Simple Visualization Techniques for Quantiative Analysis, Analytics Press.
    Few, S. (2019). The Data Loom: Weaving Understanding by Thinking Critically and Scientifically with Data, Analytics Press.