Lorena Duarte - Trabalhos

Como resultado da disciplina de Instalações multimídia desenvolvi o projeto "o Som da imagem". A ideia original era de ter um programa produzido no processing que rodasse dois videos ao mesmo tempo, um em preto e branco e outro colorido, com a seguinte condição: apenas partes do vídeo colorido seriam vistas, estas partes seriam condizentes com áreas que o usuário estivesse interagindo. O programa usaria de reconhecimento de cor de algum objeto por meio de uma Webcam integrada. Na parte que estivesse selecionada seria tocada o som dos objetos de cena daquela região, sendo assim a brincadeira de procurar o som dos objetos. Em virtude de complicações de programação, falta de suporte para funções que exigem mais processamento com o uso de algumas bibliotecas,  o uso de dois videos foi abolido. Por solução deixei apenas um vídeo e usei uma forma colorida para indicar a região que está sendo captada. O audio agora é controlado com a troca da amplitude dos audios, nos protóti...

 O prometido para o dia 03/07 foi a entrega do produto sonorizado. Anteriormente havia tido problemas de sincronia entre o áudio e o vídeo, os videos também estavam dessincronizados até o momento. Como solução desse problema transformei os áudios no código de arquivos para samples, assim sempre que o vídeo reiniciasse ele enviaria um sinal rodando todos os áudios ao mesmo tempo, evitando assim o problema inicial da dessincronia. Outro ponto que ajudou foi poder ajustar a latência desses sons (buffersize), ao colocar valores maiores de latência a leitura do som ocorria melhor e conseguia se mantar em sincronia por mais tempo. No video abaixo apresento alguns testes  que realizei nessa semana, um usando o mouse e outro usando o reconhecimento da camera já atrelado a esse código. Infelizmente o processing pede muito processamento da maquina, ao ligar o serviço de gravação da tela do computador o vídeo e o áudio atrasaram um pouco mais do que o esperado. Em geral o sistema...

Para essa semana havia ficado de trabalhar um pouco mais no código, tentar resolver alguns problemas de reprodução e definir o vídeo principal que vai ser usado. Como vídeo escolhi uma corrida de cavalos, o vídeo não possui direitos autorais e é livre para uso não comercial sem necessidade de citar quem produziu. O motivo da escolha foi pelo vídeo manter áreas fixas nas quais o som poderia acontecer e isso facilitaria na hora da programação pois posso definir a uma área no plano x e y na qual aquele som pertence. No código atual já possível disparar alguns eventos de som. A sincronia deveria ser mantida considerando que os sons são todos reproduzidos ao mesmo tempo, sendo que são todos multados e desmultados dependendo da ação do usuário. Entretanto o áudio está saindo de sincronia, diferente do vídeo que são alguns milésimos de segundo, com o áudio temos até alguns segundos de atraso. Isso me preocupa, pois tenho medo de não conseguir entregar um produto final com um resultado...

nessa semana fiquei de trazer um código funcional com o esquema de colorir um video com os objetos indicados. O código atual funciona, mas possui alguns problemas, dentre eles: os videos não estão tocando em sincronia em alguns momentos a depender da luz estou tendo dificuldade de replicar o video de fundo pois o sistema identifica varios pontos de luz e apesar de reconhecer o que está se movendo ainda não consigo priorizar o mesmo. Todos os códigos usados até agora podem ser acessados nessa pasta do drive: https://drive.google.com/open?id=0B7MxQZugOsZUam5XYkNJV1NUeDA

Quais técnicas e tecnologias serão empregadas no desenvolvimento de seu projeto? Será utilizado um projetor para projetar os videos e um notebook com câmera (ou kinect) para rastrear a movimentação dos usuários e caixas de som para a emissão dos sons prevenientes das ações. A programação será feita no programa processing usando de bibliotecas de vídeo e OpenCV que conseguem modificar vídeos e  trabalhar com captura de movimento em tempo real, realizando inclusive rastreamento por cor, por forma, por movimento  e etc. Testes: Baseado nos experimentos que realizei até o momento, testei um código que usa da imagem da Web Cam como referencia e da posição do mouse como  posição para o evento. O evento ocorre quando uma região de  de alto contraste encontrar com aquele determinado ponto da tela. Outra opção de montagem seria usando o rastreamento de cor para ser usado como mouse, pois o esquema com contraste não é totalmente funcional e depende da luz ambien...

A ideia inicial da instalação era ter um video passando e os espectadores realizariam interações com essa tela, essa interação iria colorir o video que inicialmente começaria em preto e branco, e ao colorir certos objetos de cena passaria-se a ouvir o som destes. Para criar o protótipo tentei pensar no que seria o ponto chave do projeto, que sem isso nada mais funcionaria. Pensando nisso cheguei a conclusão que o ponto mais importante é conseguir mostrar o video e colorir a imagem, se eu não conseguisse fazer o movimento ser impresso na tela não teria como definir outros parâmetros necessários para a instalação. Dessa forma criei dois protótipos no processing que usam lógicas diferentes de interação. O primeiro foi feito usando duas imagens, A primeira seria impressa na tela totalmente em preto e branco. Criei um pincel que desenha elipses  e fiz com que essas elipses fossem recriadas na tela com uma unica cor. A ideia por trás desse protótipo era criar uma espécie de "m...

Vídeo contendo informações sobre como seria o meu projeto de instalação multimídia

Com base no que foi estudado em sala de aula na disciplina de instalações multimídia nos foi solicitado a criação de uma interface de controle e supervisão que pudesse se relacionar com o ambiente de uma possível instalação. Esse tipo de tecnologia é bastante vista em instalações visuais por exemplo, onde controladores são usados para mostrar imagens, videos e gerar resultados diferentes. Exemplo: Temporary-Babel2D de André Sier Hyperborea de André Sier NON HUMAN DEVICE #01 de Miguel Neto, Rodrigo Carvalho Retrovision de Nuno Lemos Vídeo instalação interativa - Arduino As vezes são usados controladores fisicos, mas sistemas de controle virtuais também podem ser usados pensando nesse contexto. Para realizar a tarefa foi proposto o uso do Arduino com o Processing que um programa de programação visual e para isso era obrigatório o uso dos seguintes dispositivos:  1. Leds (simulando o acionamento das luzes de ambiente/palco); 2. Buzzers (Simulando controle ...

O trabalho dessa semana foi de fazer algum experimento usando Arduino. Por amar os sons em geral dei uma pesquisada e percebi que era bem simples de montar um teclado musical. A primeira etapa foi montar o circuito, fiz o desenho no site Autodesk circuits, lá é possível testar o código também. É uma maneira fácil de testar e criar projetos sem gastar nada. O meu circuito ficou assim: se quiserem podem acessar o link e testar os resultados obtidos (https://circuits.io/circuits/4873221-teclado) Foram usados nesse experimento: 8 Leds 8 Resistores 8 Botões de pressão 1 Protoboard 1 Buzzer/ caixa de som 1 Arduino Uno  Jumpers para realizar as conexões O código final pode ser encontrado logo abaixo CÓDIGO: #define FALANTE 13 //defini a entrada do falante/caixa de som int CAIXAS[] = {9,10, 3, 4, 5, 6, 7, 8};  // ligação dos botões com as entradas do arduino, está assim //porque foi como liguei na protoboard de verdade int TOM[] = {1047,1175,1319,1397...

Ao decidir trabalhar com eletricidade e alguns dos conceitos das instalações, decidi buscar por projetos mais simples e mais mecânicos de certa forma, ou seja que não precisasse de programação ainda e coisas assim. Com isso Achei o experimento do Labirinto elétrico.  O bom desse experimento é que não é um sistema onde está tudo pronto e se liga uma chave, mas depende do publico. O labirinto se trata de uma brincadeira onde os jogadores tentem passar uma argola por todo um caminho tortuoso feito de arame sem encostar nele. Ao encostar o circuito elétrico fecha e assim é disparado um alarme e se acende a luz. Esse experimento permite obter noções básicas de como funcionam os circuitos eletrônicos, treinar a coordenação motora e treinara a concentração. Segue o video mostrando o processo de criação:

Quando se trata de instalações multimídia diversos aplicativos já foram explorados para serem utilizados em suas realizações. O escolhido da vez foi MAX. O MAX é desenvolvido pela empresa Cycling 74 e trabalha com programação visual. Em alguns aspectos me foi muito parecido com a lógica do Cmap Tools, sendo possível desenvolver programas com os mesmos tipos de interação. Em contrapartida o MAX é um programa bem mais completo que trabalha tanto com o auditivo quanto com o visual e permite a ligação com fontes externas podendo controlar e se comunicar com Arduíno, controladores de Midi, sintetizadores, projetores, programadores de iluminação e entre outros. A versão que utilizei para esse trabalho foi a 7, que até o momento foi a mais recente e usei a versão de testes ainda que não possui todas as funcionalidades. Ainda assim foi incrível a facilidade com a qual se podia fazer algumas coisas. O vídeo a seguir encontra-se sem áudio e não pude editar adequadamente devido `alguns probl...

(CD) Case Hologram OS estudos sobre ilusões de ótica se tornaram grande objeto de interesse com o advento da fotografia e do cinema. Com isso era possível criar efeitos especiais, unir pessoas à cenários e fazer  "aparições" fantasmagóricas em seus filmes, peças e etc. Quanto ao ensino da produção dessas ilusões de óticas, temos os primeiros trabalhos relacionados só por volta da década de 70.  Vannan, um dos estudiosos da época, sugeria que as ilusões pudessem ser usadas no contexto de sala de aula para ensino das ciências e como também uma forma de fazerem os alunos se interessarem mais pelas atividades. No caso do Cd case Hologram, traduzindo para o português, Holograma de capa de CD implicaria em criar uma especie de caixa a partir da capa de um CD e com isso conseguir gerar o holograma utilizando de um Smartphone. Para isso utiliza-se um vídeo no qual quatro imagens iguais sao espelhadas e posicionadas em formato de  cruz. Com a capa do CD são criadas...

Fusiform Polyphony é  um projeto de instalação multimídia e que ficou conhecido pelo nome de 'Face Music'. A obra foi criada pelo artista brasileiro Ken Rinaldo e trabalha com a criação de musica por meio de fotografia dos rostos do publico. Fusiform Polyphony Nuit Blanche Toronto by Ken Rinaldo from Ken Rinaldo on Vimeo . Explicando melhor: A instalação conta com 6 braços robóticos que se movem dentro de uma sala, cada braço robótico é um soft robot, é uma nova tecnologia que dá um aspecto mais natural ao movimento desses robôs. Na extremidade de cada braço estão acopladas câmeras de vídeo as quais estão diretamente conectadas à um programa chamado MAX MSP, este software trabalha com programação visual voltado para musica e multimídia.   No caso da instalação as câmeras trabalham  como sensores de calor, realizando a separação de tres cores (verde, vermelho e azul), Ao encontrar regiões que se assemelham à rostos humanos essas câmeras criam fotografias que são en...