4.Processamento

Segmentação. Indexação. Metadados. Extracção de características. Recuperação e autoria

Um sistema para recuperação de conteúdos multimídia sistemas deve ser capaz de:

• Estabelecer relações espaciais: a posição dos elementos de interesse dentro do conteúdo
• Estabelecer relações temporais: observa a ocorrência de eventos dentro de um   período de tempo. 
• Efetuar reconhecimento/interpretação: já que a representação de uma imagem ou  vídeo pode ser diferente do conteúdo percebido (Yoshitaka & Ichikawa, 1999).
• Possibilitar consultas por meio de representações.

https://www.demic.fee.unicamp.br/~chella/ia875/monografia.PDF

https://www.erfelipe.com.br/arquivosapoio/Web.Semantica_v1.pdf

•  Processamento multimédia. O que entende por segmentação sintática e semântica da informação?  (2010)

Segmentação identifica partes da informação de forma a poder referencia-la:

Segmentação sintáctica (estrutural) é baseada em atributos físicos ou atributos sintácticos

Segmentação semãntica baseada em esquemas de padrões refere-se ao significado do seu conteúdo.

exº- num texto a segmentação sintática diz respeito aos capitulos, secções, parágrafos, frases, sujeito até chegar às palavras. Na segm. semântica tem a ver c o significado por exemplo a noticia que fale sobre um assunto especifico.

( ovo estrelado e pôr do sol em termos sintácticos são semelhantes em termos semãnticos são diferentes, pos vezes os 2 tipos de segm. têm fronteiras indefinidas).

• Processamento multimédia. Dê um exemplo de cada uma delas em vídeo, imagem e áudio.  (2010)

• Processamento multimédia. Qual das duas (segmentação sintática ou semântica) é tendencialemente mais simples? Justifique e dê exemplo de uma técnica que poderia ser usada para esse tipo de segmentação.  (2010)

A segmentação semântica é baseada em esquemas de padrões, é mais complexa envolve mais conhecimento trravés de um padrão de ritmos de cor e acção pois por vezes é dificil entender o contexto (sobretudo em frases com um sentido conotativo).

Um histograma de cores permite detectar mudanças de cena quando a mudança de cores é acima de um determinado limite

• Processamento multimédia. O que entende por histograma de cores de uma imagem? Como pode ser usado na detecção de mudança de cenas em processamento de vídeo?

Histograma - distribuição gráfica de uma série de números.

Histograma de cores -  Dado um espaço discreto de cor, definido por um conjunto de eixos de cor (ex: RGB, HSI, etc.), o histograma de cor é obtido através da discretização das cores da imagem, contando o número de ocorrências de cada componente discreta de cor.

Detecta mudanças de cena quando a mudança de cores é acima de um determinado limite e utiliza-se na segmentação sintáctica.

Partindo de duas imagens sonsecutivas numa mesma sequência medimos a variação do mmovimento - a diferença entre elas. De seguida determinamos o histograma desta imagem  diferença, calculamos a sua média, calculando assim uma unidade de medida para a variação de actividade. A aprtir desta medida classificamos se existe um corte de cena quando for ultra+passado certo nível de trshold (limite). https://paginas.fe.up.pt/~mandrade/tvd/galeriaDeTrabalhos/relatorios2002-parte1/relatorios/TD-trab1-grupo14.pdf

A cor de um objeto pode ser representada em diferentes espaços de cor (RGB, HSV, YCbCr,YUV). Normalmente um objeto possui várias cores e, portanto, descritores de cor normalmente representam a distribuição das cores do objeto (ou da imagem) com/sem levar em conta a informação

espacial (ver publicações selecionadas de CBIR na minha homepage). O histograma de cor de uma imagem é o mais popular (e o menos eficaz destes descritores).

• Processamento multimédia. Indique uma outra técnica que pode ser usada para o mesmo efeito. Dê exemplo de uma situação em que a primeira permite melhores resultados. Justifique.

• Processamento multimédia. Qual o problema que surge quando as transições de cena são graduais? Como pode ser resolvido? Justifique.

• O que são metadados? Qual o seu propósito em multimédia? Dê exemplo de uma norma de suporte usada em multimédia.  (2010)

 A importância dos metadados para a websemântica está basicamente ligada à facilidade de recuperação dos dados, uma vez que estes terão um significado e um valor bem definidos. Nesse sentido, todos os documentos publicados na web devem ser catalogados. A ficha catalográfica de uma obra (os metadados que serão acrescentados a ela) é um registro eletrônico que contém descrições desta e que permitem que se saiba do que se trata sem ter que se ler ou ouvir todo o seu conteúdo. O registro seria uma representação da obra.

Os metadados são marcos ou pontos de referência que permitem circunscrever a informação sob todas as formas, pode se dizer resumos de informações sobre a forma ou conteúdo de uma fonte. Os metadados descritos por Dublin Core podem ser definidos como conjunto de elementos de metadados planejados para facilitar a descrição de recursos eletrônicos. Eles são desenvolvidos a partir e em função de dados, por isto que é designado como “dados sobre dados” ou “informação sobre a informação”. A ferramenta de Dublin Core é uma das que oferecem ampla oportunidade de uso para descrição de vários tipos de recursos envolvendo os mais variados formatos de documentos. As Instituições envolvidas na organização da informação em ambiente web, como a construção de bibliotecas digitais, base de dados, portais e sites, entre outros serviços, estão a deparar-se com a necessidade de implementar padrões de descrição de seus recursos eletrônicos.(wikipédia)

• Metadados.Dê exemplos de normas de suporte.

Anotação: A anotação tem uma longa tradição em documentos impressos e está actualmente a ser investigada para documentos electrónicos [2]. A maior parte do trabalho feito até agora é para informação estática, essencialmente texto e imagens. Para vídeo, a anotação é habitualmente uma forma de descrever o conteúdo para posterior recuperação. A anotação permite adicionar informação a documentos existentes e pode servir múltiplos propósitos: salientar as partes mais relevantes ou adicionar notas quando o documento é apresentado, por exemplo numa aula ou conferência; e reestruturar o documento de forma a que seja relevante para um determinado domínio. Há assim duas funções principais dos mecanismos de anotação: (1) descrição de conteúdo existente (metadados) e (2) adição de conteúdo por parte dos utilizadores. A descrição de conteúdo, utilizando, por exemplo, a norma MPEG-7 para descrição de vídeo, é essencial para a reutilização porque permite caracterizar a informação, de forma a saber-se como e onde pode ser usada. Assim como as anotações em publicações impressas promovem a leitura activa, as anotações de conteúdo vídeo promovem a visualização activa, facilitando a reflexão, a aprendizagem e a criação de versões personalizadas dos documentos.

Extraído de :Nuno Correia (1)  Teresa Chambel (2)  https://www.multiciencia.unicamp.br/art02_2.htm

• Porque razão a integração de meios estáticos e dinâmicos levanta desafios à concepção de conteúdos multimédia? Como o modelo DELTA sugere uma resposta a este desafio, ao nível do elemento, estrutura, actividade e conteúdo/história?

RESPOSTA está na questão seguinte

Adicional:

Apesar do seu potencial educativo e artístico, o vídeo representa uma quantidade apreciável de informação não estruturada, difícil de manipular e gerir com os métodos tradicionais, e coloca desafios apreciáveis em termos cognitivos. A falta de um meio que suporte a adição, modificação e manipulação de representações, bem como a dificuldade em controlar o fluxo de informação imposto pelo vídeo, especialmente em TV, não permite a existência de tempo nem o suporte para processos de reflexão, elaboração e comparação. Neste sentido, o vídeo é geralmente visto num modo experiencial, providenciando um suporte muito limitado à reflexão [6,9,10]. Os ambientes em que o vídeo é tradicionalmente visto também não tendem a suportar a comunicação, o debate ou a colaboração entre os diferentes espectadores ou com o emissor e peritos nos assuntos, algo que tem sido apontado como uma limitação ao potencial educativo da TV (Extraído de :Nuno Correia (1)  Teresa Chambel (2)  https://www.multiciencia.unicamp.br/art02_2.htm )

• Explique os principais conceitos inerentes ao modelo DELTA. Que princípios de design são sugeridos, e que desafios para a integração de media contemplam?

Delta Modelo para fazer design integrando meios diferentes (temporais e não temporais). Transporta para Multimédia a metafora de um delta em que se parte de algo geral para algo com mais detalhe (ramificações). Em multimédia a informação estática induz a atitudes mais activas no utilizador (exº Texto) enquanto que o vídeo induz a uma atitude mais passiva. Devemos começar por informação que é mais dinâmica que exige menos esforço e depois gradualmente com informação que exige mais esforço para ser explorado ao seu ritmo.

Sugere projeto do design, reduzindo os efeitos daninhos de dividir espaço-tempo, (inspirada na metáfora do delta do rio). Fluir no delta partindo de:

um nível estático para um dinâmico, do geral para o particular e de:
• Nível de Elemento de áudio e vídeo para texto e imagem
• Nível de Estrutura: linear para multilinear
• Nível de Atividade: Atividade objeto -> a actividade objecto (actividade no sujeito mais dinamica exº video/audio)
+
• Conteúdo ou nível da história: geral -> particular
por exemplo, Liestøl [Kon-Tiki Museum, HT'94]
documentos diferentes meios de comunicação integrada. A ênfase nas dimensões estética e retórica. Promove continuidade ao navegar entre mídia
• Modelo Delta
• Adiciona propriedades topográficas ao vídeo, representando cerca de links de vídeo como notas de rodapé da imagem
• Adiciona propriedades temporais de texto, através da narração

ou seja 1º orienta e motiva

Problemas:

• quando se integram meios diferentes poderá ocorrer descontinuidade vindo do áudio para o texto é preciso criar mecanismos que conduzam o utilizador por exº fazer a transição com uma musica de fundo ou um texto narrado, dando propriedades aos meios estaticos.

(Passar do estatico para dinamico não exige esforço mas o contrário custa mais.)

• Programa
• TEMA 1
• TEMA 2
• TEMA 3
• TEMA 4
• TEMA 5
• TEMA 6
• Exercícios do livro - página 23
• Exercícios do livro - página 46
• Exercícios do livro - página 72
• Exercícios do livro - página 137

Aprendermultimedia