Visão e Multimédia

Linguagem C e Matlab, Análise Matemática, Álgebra Linear.

Motivação e exposição dos temas nas aulas teóricas, incluindo resolução interativa de exercícios
e exemplos práticos de aplicação a problemas e sistemas reais.
Execução de trabalhos laboratoriais em grupos de dois alunos nas aulas prático laboratoriais,
incluindo um projeto no módulo de visão.
Os trabalhos e projeto possuem relatório por grupo, com defesa individual.
Presença obrigatória nas aulas laboratoriais (máximo de 2 faltas).
A organização ECTS prevê 97 horas semestrais para trabalho autónomo do aluno.

Trabalhos Práticos nas aulas laboratoriais de visão:
– Aquisição e Processamento de Imagem em Matlab.
– Filtragem no Domínio Espacial.
– Deteção de Features e Segmentação.
– Aplicações recorrendo à ferramenta Sherlock e/ou C/Python/OpenCV.
– Aplicações recorrendo a ferramentas de Deep Learning usando Matlab/Python/OpenCV.

1 Projeto aplicado de visão (utilizando ferramentas: Sherlock/Matlab/OpenCV/DLib ).
Exemplo: aplicação ao controlo de qualidade na indústria.

3 Trabalhos práticos nas aulas laboratoriais de multimédia:
– Sampling, Quantização, PCM, DPCM e filtragem espacial.
– Codificação por transformada (DCT).
– Representação e standards de codificação de imagem e vídeo (JPEG, JPEG2000, MPEG, H264, HEVC).

Para os alunos ao abrigo do Estatuto do Trabalhador Estudante, e para as componentes com obrigatoriedade de
frequência e avaliação distribuída, poderão ser acordados com o aluno ajustes ao funcionamento destas componentes.

Conhecer a importância da visão nos problemas atuais e futuros da engenharia, na área industrial e da robótica,
da segurança, da agricultura, do ambiente, da medicina, do desporto e dos veículos autónomos, entre outras;
Compreender os princípios da formação, aquisição e representação de imagens;
Compreender e aplicar técnicas de processamento de imagem no domínio espacial mais representativas;
Compreender as técnicas básicas para representação e processamento de características, cor e textura;
Desenvolver aplicações de visão industrial utilizando software específico;
Compreender a representação digital de sinais de áudio e vídeo;
Compreender os princípios básicos da teoria da informação;
Conhecer as principais técnicas e standards para compressão, codificação, armazenamento e transmissão
de sinais de imagem, áudio e vídeo.

Resultados da aprendizagem e competências genéricas:
Capacidade de utilização de dispositivos de aquisição e processamento de imagens para desenvolver soluções industriais de visão;
Capacidade de participação no desenvolvimento e instalação de sistemas multimédia, envolvendo equipamentos áudio e vídeo autónomos
ou em rede, como por exemplo nas aplicações de vídeo-vigilância.
Capacidade de identificar, propor e implementar soluções de visão em problemas de engenharia.
Motivação para a investigação de aplicações de visão no âmbito da Indístria 4.0 e usando Deep Learning.

Parte I – Visão Computacional:
Motivação para a visão computacional com focus nas aplicações industriais.
Objetivos da visão computacional nas várias áreas da engenharia;
O Sistema Visual Humano;
Sensores e representação de imagens;
Fundamentos de imagens digitais;
Análise de imagens binárias;
Processamento de imagens no domínio espacial;
Transformações de nível de cinzento;
Processamento baseado no histograma;
Processamento usando operadores lógicos;
Filtragem no domínio espacial – smoothing e sharpening;
Operadores diferenciais;
Elementos de morfologia digital: dilatação, erosão, abertura e fecho;
Representações de cor e textura;
Introdução à segmentação;
Exemplos de aplicação;
Processamento de imagem utilizando Deep Learning.

Part II – Multimedia:
O conceito Multimedia ;
Representação digital de sinais audio e vídeo;
Princípios de teoria da informação;
Técnicas de compressão de imagem;
Princípios de compressão de sinais audio;
Princípios de compressão de sinais vídeo;
Principais técnicas e standards para representação, compressão, codificação, arquivo e transmissão de sinais multimedia;
Exemplos de aplicação.

NAO

Recomendada (disponível na biblioteca ou nas plataformas académicas):

– Shapiro, Linda G.; & Stockman, George C. (2001). Computer vision. Upper Saddle River, NJ: Prentice Hall. ISBN 0-13-030796-3. Cota ISEC:1A-11-41
– Davies, E. R. (1990). Machine vision : Teory, algorithms practicalities. London: Academic Press. ISBN 0-12-206090-3. Cota ISEC:1A-7-11
– Parker, J. R. (1997). Algorithms for image processing and computer vision. New York [etc.]: John Wiley & Sons, Inc. ISBN 0-471-14056-2. Cota ISEC:1A-11-19
– Watkinson, J. (2004)The MPEG handbook : MPEG-1, MPEG-2, MPEG-4. (2nd ed.). Amsterdam [etc.]: Elsevier/Focal Press. ISBN 0-240-80578-X. Cota ISEC:1A-12-51
– Lopes, F. (2018). Visão por Computador e Multimédia. Slides de apoio às aulas teóricas – atualizados anualmente.
– Textos de apoio e enunciados de trabalhos laboratoriais pelos docentes – atualizados anualmente.
– Manuais das ferramentas de software utilizadas (Matlab, Sherlock, Python, etc.) – atualizado anualmente.
– Manuais e ferramentas do hadware utilizado (câmaras, monitores, etc.) – atualizado anualmente.

Complementar:

– Jayant, N. S. & Noll, P. (1984). Digital Coding of Waveforms. Prentice-Hall Signal Processing Series. ISBN 978-0132119139
– Ghanbari, M. (1999). Video Coding: An Introduction to Standard Codecs. IEE Telecommunications Series. ISBN 978-0852967621
– Barry G. Haskell, Atul Puri, Arun N. Netravali Digital Video: An introduction to MPEG-2. Cota ISEC:1A-12-49
– Miano,J. (2000). Compressed image file formats:JPEG,PNG,GIF,XBM,BMP. Reading, MA [etc.]: Addison Wesley. ISBN 0-201-60443-4. Cota ISEC:1B-1-20
– Ayache, N. (1991). Artificial vision for mobile robots: stereo vision and multisensory perception. Cambridge, MA [etc.]:The MIT Press. ISBN 0-262-01124-7
– ImageProcessingPlace. http://www.imageprocessingplace.com/
– JPEG. https://jpeg.org/
– MPEG. https://mpeg.chiariglione.org/
– b-on: Biblioteca do Conhecimento On-line
– https://blogs.mathworks.com/deep-learning/2022/01/03/deep-learning-for-computer-vision-using-python-and-matlab/
– plataformas online para teste de aplicações de visão usando deep learning – atualizado anualmente.