INSIGHTS

O eMAM é capaz de aproveitar recursos de Inteligência Artificial (IA) para extrair insights significativos de ativos de áudio e vídeo. Os ativos inseridos no eMAM podem ser indexados aos serviços de IA. Esses insights são exibidos na ferramenta Insights e Transcript.

Nota: habilite permissões de "Insight" e "Transcrição" no grupo de usuário.

Open

O widget Insights, funciona principalmente em ativos de vídeo e imagem. São detectadas pessoas, objetos, marcas, marcos, emoções e é possível editá-los. Os usuários podem clicar nos rostos, palavras-chave, anotações etc. que apontariam automaticamente para o quadro correspondente no player de vídeo.

Fornecedores de IA:

• Microsoft   Video   Indexer:    Insight    e transcrição :Microsoft Azure AI Video Indexer - Unlock Video Insights

•   VoiceBase: transcrição: https://www.voicebase.com/speech-to-text/

• IBM Watson Speech-to-Text: transcrição https://www.ibm.com/watson/services/speech-to-text/

• Amazon Rekognition: Insight: https://aws.amazon.com/rekognition/

•   IBM Watson Media Video Enrichment: Insight e transcrição https://www.ibm.com/watson/media/watson-video-enrichment/

•   Microsoft Azure Computer Vision: Insights e transcrição (imagem somente) https://azure.microsoft.com/en-in/services/cognitive- services/computer-vision/

• Google Vision: Insights e transcrição (imagem somente) Vision AI: Image and visual AI tools

A ferramenta Insight é dividida em 02 seções:

Language (idioma): nesta guia, todos os idiomas suportados pelo fornecedores de IA são listados. Os usuários podem selecionar a partir da lista de idiomas listados e automaticamente os insights exibidos são traduzidos para o idioma selecionado. O eMAM usa a tecnologia de tradução de idiomas para traduzir insights capturados de uma língua para outra. A partir de agora, há as línguas inglesa, árabe, chinesa (simplificada), espanhola, alemã, francesa, italiana, japonesa, portuguesa e russa.

Open

Perfis de IA: Os usuários também têm a flexibilidade de criar vários perfis de IA na interface SuperAdmin e com base no fornecedor de IA selecionado, as informações do ativo de vídeo são exibidas. Os ativos inseridos no eMAM são indexados usando serviços de IA. Recursos de IA como reconhecimento facial, reconhecimento de objetos, detecção de marca, detecção de emoções etc. são usados para extrair metadados automaticamente do conteúdo do vídeo e exibi-los na ferramenta Insights. Veja algumas opções:

People (pessoas) - usando a tecnologia de reconhecimento facial, o eMAM identifica rostos (incluindo celebridades e rostos conhecidos) em um vídeo e os marca automaticamente (apenas para ativos de vídeo). Clique no rosto apresentado em People e o player irá indicar em qual trecho a pessoa é exibida. Em caso de aparição do mesmo rosto/pessoa no vídeo, os usuários podem pular para a próxima fonte/personagem.

Nota: Alguns perfis de IA não exibem a miniatura do rosto, apenas o nome de pessoa.

Rostos que não são conhecidos podem ser editados.

1. Clique no rosto/nome e clique no ícone de edição

2. Abrirá a janela Edit Face (editar face), digite o nome da pessoa e clique em Save para salvar.

3. Uma mensagem aparecerá na tela, indicando que o rosto foi registrado com sucesso

4. O nome é atualizado é exibido

Assim, da próxima vez que uma mídia com o rosto/pessoa for inserido, a AI irá marcá-lo automaticamente com o nome inserido.

Keyword (palavras-chave) são tópicos falados no vídeo/áudio que são extraídos, marcados e exibidos nesta seção. No caso de múltiplas ocorrências da mesma palavra-chave, os usuários também têm a flexibilidade de avançar para a ocorrência da palavra no quadro de vídeo clicando no próximo ícone, como mostrado abaixo.

Para editar uma palavra-chave:

1. Clique no ícone de edição adjacente à palavra-chave incorreta.

2. Digite a palavra-chave correta na janela ‘Edit Keyword’.

3. Será exibida uma mensagem informando que a palavra-chave foi atualizada com sucesso

4. A palavra-chave será exibida na seção Keywords

Annotations (anotações): os objetos identificados no vídeo são marcados como anotações nesta seção. Em caso de múltiplas ocorrências da mesma anotação, os usuários também têm a flexibilidade de pular para a próxima ocorrência no quadro de vídeo clicando nos ícones de seta:

Semelhante às palavras-chave, pode-se editar as anotações marcadas automaticamente também. Clique no ícone de edição ao lado da anotação. Ao selecionar o ícone de edição, a janela “Edit Annotation”. Edite o nome da anotação e clique no botão Save. Cada ocorrência da mesma anotação é listada com horário de início e tempo final. É possível excluir a ocorrência utilizando o ícone de 'X'.

Marcas: marcas de empresas são detectadas a partir das palavras faladas no vídeo/áudio e são marcadas nesta seção. Os usuários podem pular para a próxima ocorrência da mesma marca no quadro de vídeo apenas clicando no próximo ícone

Pode-se editar as marcas. Clique no ícone de edição ao lado do nome da marca. A janela 'Edit Brand' será aberta. Edite o nome da marca e clique no botão Save. Cada ocorrência da mesma marca é listada com horário de início e fim. É possível excluir a ocorrência utilizando o ícone de 'X'.

Speech Sentiment (sentimento da fala): atitudes, opiniões e emoções expressas pelo orador no vídeo/áudio são identificadas e são categorizadas como sentimento neutro, positivo e negativo. É uma maneira de avaliar a linguagem escrita ou falada para determinar se a expressão é favorável, desfavorável ou neutra, e até que ponto.

Concepts (conceitos): diversos conceitos do vídeo escolhido são extraídos e exibidos nesta seção. Por exemplo: "Linguística", "Casamento", "Segunda Guerra Mundial" etc. Clique nesses conceitos e será direcionado para a página DBpedia, que exibirá a descrição detalhada do conceito.

Nota: Este recurso é atualmente fornecido pela IBM Watson Media

Emotions (emoções) : cinco valores emocionais humanos específicos (raiva, medo, alegria, nojo, tristeza) são avaliados a partir dos conteúdos que são exibidos. Entende-se que essas emoções são cruzadas culturalmente e universalmente comunicadas com expressões faciais particulares.

Ícone do Sino de Notificação: se qualquer ativo falhar durante a indexação da IA, os usuários são notificados com mensagens de erro com falha usando oícone de sino. Basta clicar no ícone de sino para exibir todas as mensagens de erro com falha exibidas com detalhes UUID de ativos com base nos quais os usuários podem tomar as medidas necessárias para corrigi-lo.

Análise de imagem: Microsoft Azure Computer Vision e Face API são capazes de analisar imagens e rotulá-las com insights valiosos usando serviços cognitivos abaixo:

• Detecção de objetos: reconhece 9.000 marcos naturais e artificiais de todo o mundo.

• Extração de texto ou OCR: detecta texto em uma imagem usando reconhecimento óptico de caracteres (OCR) e extrai as palavras reconhecidas

• Legendas

• Detecção de celebridades: reconhece mais de 200.000 celebridades de negócios, política, esportes e entretenimento

• Detecção facial: detecte um ou mais rostos humanos em uma imagem

• Detecção de gênero e idade: detecção facial junto com atributos faciais como idade, sexo.

• Detecção de emoções: emoções para cada rosto na imagem como raiva, desprezo, nojo, medo, felicidade, neutro, tristeza e surpresa.

Para conhecer outras funcionalidades do sistema, explore outras seções disponíveis nesta plataforma.