R E F L E X I O N E S 26

o "artstica" cuya modelacin es muchsimo ms compleja que las posibilidades de las herramientasestudiadas.

En este artculo se describe una estrategia de composicin audiovisual a travs del mapeo de parmetrosde una dimensin hacia la otra. Este mapeo se inspira en dos ideas fundamentales: isomorfismo ysinestesia. El iso morfismo se aplica cuando cambios en una estructura pueden mapearse en formaconsistente a cambios en la otra (Hofstadter 1999). La sinestesia ocurre cuando un estmulo en unamodalidad sensorial, por ejemplo la visual, automticamente gatilla una percepcin en otra modalidad,por ejemplo la auditiva, en ausencia de cualquier estimulacin directa en esta segunda modalidad(Harrison y Baron-Cohen 1997).

Un mtodo de composicin audiovisual basado en lgica difusa y principios sinestsicos ha sidopropuesto por uno los autores como una posible alternativa para componer obras audiovisuales (Cdiz2006). Este mtodo permite un mapeo flexible entre informacin o datos provenientes de distintosdominios, en este caso el visual y el auditivo. El mapeo se logra mediante un sistema de lgica difusa,el cual mediante simples reglas lingsticas, es capaz de generar comportamientos o mapeos no linealesy de alta complejidad. Este mapeo difuso permite traducir informacin visual a auditiva o viceversa.

Una aproximacin similar es considerar un sistema de redes neuronales para el mapeo. Una red neuronalartificial consiste en la interconexin de un gran nmero de neuronas artificiale s, basadas en elcomportamiento de una neurona biolgica. Una red de este tipo puede ser entrenada para resolverciertas tareas especficas, como por ejemplo, clasificacin o reconocimiento de patrones. Tambin esposible construir redes auto-organizativas, que no necesiten de entrenamiento externo. A travs de unared neuronal, es posible aprender caractersticas de algn mapeo ya existente para posteriormenteaplicarlo en otro contexto.

A continuacin se abordan brevemente los principales aspectos en que se basan ambos mtodos:sinestesia, isomorfismo, lgica difusa y redes neuronales. Luego se describen los dos enfoques endetalle, para finalizar con las conclusiones y reflexiones finales.

Isomorfismo

El trmino isomorfismo significa etimolgicamente "igual forma". Cuando dos estructuras complejaspueden mapearse en la otra, basado en el hecho de que cambios en una de ellas causa cambiosconsistentes en la otra, se habla de isomorfismo. Un isomorfismo entre dos dimensiones implica queel estudio de cada una puede reducirse al de la otra. El isomorfismo, en un sentido amplio, se refierea la construccin de modelos de sistemas similares al modelo original. Este tipo de relacin es la queHofstadter (1999) llama transformaciones que preservan informacin.

De acuerdo con la teora neo-institucionalista del anlisis de las organizaciones se entiende porisomorfismo el proceso por el que dos organizaciones diferentes acaban adoptando una forma similar(Coller et al. 1999). En este contexto, el principio de isomorfismo supone un proceso por el cual lascaractersticas de las organizaciones tienden a ser compatibles con el entorno en el cual se encuentrany desarrollan su actividad. Si el entorno es homogneo, las formas organizativas sern similares oincluso una sola, mientras que si existen diversos tipos de entornos van a poder ser posibles distintostipos o poblaciones de organizaciones (Villacorta 1999).

27

En el contexto de la composicin audiovisual, esta idea se aplica en la generacin de similitudesestructurales o isomorf ismos en los dominio s visuales y auditivos. Al haber isomorfismo, haycorrespondencia entre los principios que rigen el comportamiento de las entidades de ambos planos,las cuales pueden ser intrnsicamente muy distintas. A travs de esta idea es posible crear en un plano,el visual por ejemplo, una estructura isomrfica a otro plano distinto, como el auditivo en este caso.

Sinestesia

El fenmeno neurolgico de la sinestesia, que se define como un cruce involuntario de los sentidos,ha inspirado a muchos artistas a crear obras basadas en la experiencia sinestsica, donde se intentacrear o dar la impresin de una fusin de dos o ms sentidos al percibir la obra de arte. Algunos autoresincluso postulan que el fenmeno de la sinestesia constituye la base de toda experiencia artstica(Heyrman 2005). A lo largo de la historia, se han propuesto diversos mtodos y enfoques para creararte sinestsico, y desde la aparicin de la tecnologa electrnica, msica y arte visual han co-existidoen el mismo medio, facilitando la integracin entre ambas disciplinas (Hertz 1999).

La sinestesia se define tcnicamente como una experiencia fsica involuntaria de una asociacin modalcruzada y se produce siempre que la estimulacin de uno de los sentidos causa que se active tambinotro sentido diferente. Mientras que para las personas sinestsicas sta es una manera natural e integralde percibir, para la mayora de las personas esta compleja forma de percepcin puede parecer enocasiones difcil de entender (Berman 1999). El tipo ms comn de sinestesia se denomina audicincolorida y corresponde al fenmeno de ver colores al momento de escuchar msica o sonidos vocales(Van Campen 1999).

El arte basado en una fusin de los sentidos se denomina comnmente como arte sinestsico (Hertz1999). Esto puede deberse fundamentalmente a la apropiacin del trmino sinestesia por parte dealgunos historiadores del arte que han escrito sobre las inter-relaciones entre la msica y el arte visual(Berman 1999). La conexin entre sinestesia y arte es muy antigua y puede ser observada en gneroscomo la msica visual, animacin computacional, cine abstracto, poesa simblica, multimedios o arteintermedial (Berman 1999, Van Campen 1999). Sin embargo, es importante distinguir el trminosinestesia del trmino arte sinestsico, ya que este ltimo refiere a una accin deliberada, al productode un aspiracin artstica, y no debe confundirse con el fenmeno neurolgico de la sinestesia. Laspersonas, no las obras de arte, son sinestsicas (Hertz 1999). Por lo dems, la mayora de las veces,este tipo de obras son creadas para audiencias que no son sinestsicas.

Ahora bien, conviene tener presente que la sinestesia no es una mera asociacin fortuita de cualidadeso fenmenos aislados entre dos dominios sensoriales, sino que expresa dimensiones o atributoscorrelacionados (Marks 1997). En este sentido, se puede afirmar que la sinestesia acta como un mapeoisomrfico desde una modalidad sensorial a otra. Es ste el aspecto de la sinestesia que hemos tenidoen mayor consideracin a la hora de elaborar nuestro trabajo.

Parmetros Auditivos y Visuales

Para llevar a cabo un mapeo de informacin entre los planos visual y auditivo se requiere identificarparmetros relevantes en ambos dominios. Como punto de partida, resulta interesante identificaraquellos parmetros importantes desde un punto de vista perceptual. En el caso de los parmetros

28

auditivos, Seashore (1967: 16) menciona que "... las ondas sonoras tienen cuatro, y slo cuatro,caractersticas, a saber, frecuencia, amplitud, duracin y forma. Todo tipo de sonido imaginable, desdelos tonos puros a los ms ruidosos se pueden registrar y describir en trminos de estos cuatro". Seashoreutiliza el trmino "forma" para referirse al timbre. Lipscomb (1995) identific a la altura, intensidady timbre como los parmetros pertinentes perceptualmente en el dominio sonoro y a la ubicacin,forma y color en el dominio visual.

En trminos de relaciones de audio-visuales, Lipscomb y Kim (2004) investigaron la relacin entrelos componentes visuales y auditivos en compuestos audio-visuales. El anlisis revel diferenciasestadsticamente significativas entre-sujetos, sugiriendo las relaciones primarias siguientes: altura conposicin vertical, la intensidad con el tamao y el timbre con la forma. La duracin no se identificespecialmente con ningn parmetro visual. El color fue relacionado de igual forma, con altura eintensidad.

En trminos de la imagen en movimiento, resulta adecuado considerar sus estructuras de frecuenciaespacial y de color. Es til construir para estos efectos una estructura visual tridimensional compuestapor dos dimensiones espaciales (alto y ancho) y una de intensidad de color.

Otra opcin es considerar la teora de los momentos, que proporciona una interesante y til alternativapara la representacin de formas de objetos. Los momentos llamados invariantes son descriptoresampliamente utilizados en el campo de la visin artificial, sobre todo en el reconocimiento de patrones.Los momentos proporcionan una representacin genrica de cualquier objeto, muchas veces intuitiva(como los momentos de orden menor, que se relacionan directamente con el rea, el centroide, losmomentos de inercia o la orientacin del objeto en la imagen), y que se pueden obtener tanto de objetossimples como de objetos complejos. Los momentos se obtienen fcilmente de cualquier objeto situadoen el plano imagen y de esta forma, el emparejamiento de las caractersticas del objeto se hace a msalto nivel del que se realiza con los puntos caractersticos, evitando as el costoso mapeo de cada puntocaracterstico entre dos imgenes obtenidas durante el control visual. Al seleccionar los momentoscomo caractersticas se pretende conseguir separar el movimiento traslacional del rotacional (Mery2006).

A continuacin se presentan dos enfoques de composicin audiovisual basados en lgica difusa y redesneuronales respectivamente.

Composicin Audiovisual Basada en Lgica Difusa

Este primer enfoque se basa en un sistema de lgica difusa que permite un mapeo flexible y no linealde informacin visual o auditiva hacia la otra y permite la generacin de relaciones altamente complejasmediante reglas de comportamiento muy simple.

La lgica difusa es un concepto derivado de la rama matemtica de los conjuntos difusos (Zadeh 1965).En un sentido, se refiere a un sistema lgico que generaliza la lgica bivalente para razonar bajoincertidumbre, permitiendo mltiples valores de verdad. En un sentido ms amplio, se refiere a todaslas teoras y tecnologas que emplean conjuntos difusos (Yen y Langari 1999). En general, cuando lalgica difusa es aplicada a los computadores, les permite emular parte del razonamiento humano,cuantificar informacin imprecisa y tomar decisiones basadas en datos incompletos (Kosko 1993).

29 30

Tanto los parmetros visuales como los auditivos son convertidos en parmetros difusos, los quepertenecen en distintos grados a categoras previamente establecidas. Por ejemplo, el tamao de unobjeto visual puede ser catalogado como pequeo, mediano o grande. En un esquema de clasificacintradicional, dicho objeto debera pertenecer a slo una de aquellas categoras. En un sistema difuso,tal objeto pertenece en un cierto grado a cada una de las categoras. Esto se corresponde con el sentidocomn y un razonamiento ms humano, ya que usualmente asignamos categoras con un criterio difusoy no con criterios absolutos.

El sistema de lgica difusa consiste en una serie de reglas de inferencia del tipo SI ... ENTONCES,las cuales se aplican a las variables difusas de entrada para generar las variables difusas de salida. Unaregla del sistema podra ser la siguiente:

SI el tamao es grande y la forma es complicada, ENTONCES la altura es baja y la

intensidad es mediana.

En esta regla los conceptos grande, complicado, bajo o mediano son difusos, no estn definidos demanera precisa. Al combinar varias de estas reglas que involucren a todas las entradas y salidas delsistema se genera entonces el mapeo deseado. Este enfoque basado en lgica difusa fue implementadoen el ambiente Max/MSP/Jitter, a travs del Fuzzy Logic Control Toolkit (Cdiz y Kendall 2006). Lasobras audiovisuales ID-FUSIONES (Cdiz 2006) y Time Exposure (Cdiz y Gonzlez 2008) fueroncompuestas utilizando este sistema1.

Composicin Audiovisual Basada en Aprendizaje

Tanto los sistemas difusos como las redes neuronales son herramientas de inteligencia artificial quepermiten obtener soluciones a problemas muy difciles de abordar a travs de otras aproximaciones.Estas herramientas han sido aplicadas con xito en problemas relacionados con identificacin desistemas, prediccin de series de tiempo, clasificacin de patrones y control automtico. Su ventajams importante radica en solucionar problemas que son demasiado complejos para las tcnicasconvencionales: problemas que no tienen un algoritmo especifico para su solucin, o cuyo algoritmoes demasiado complejo para ser encontrado.

Las redes neuronales artificiales son sistemas paralelos para el procesamiento de la informacin,inspirados en el modo en el que las redes de neuronas biolgicas del cerebro procesan informacin.

Estas redes estn compuestas, al igual que el cerebro, por un nmero muy elevado de elementos bsicos(las neuronas), altamente interconectados entre ellos y con modelo de respuesta para cada elementoen funcin de su entorno muy parecido al comportamiento de las neuronas biolgicas. Estos modelosson simulados en ordenadores convencionales y es el comportamiento colectivo de todos los elementoslo que le confiere esas caractersticas tan peculiares para la resolucin de problemas complejos.

31R E F L E X I O N E S R E F L E X I O N E S R E F L E X I O N E S25 32 33R E F L E X I O N E S 34

an audio visual context: 1. Matching 2. Audio quality. Psychomusicology, 13:133-153.Kim, E., y S. D. Lipscomb. 2003. An investigation into the relationship between auditory and visual

signals in a multimedia context. Proceedings of the 2003 Conference of the Society for MusicPerception and Cognition, Las Vegas, Nevada.

Klir, G. J. y B. Yuan. 1995. Fuzzy Sets and Fuzzy Logic: Theory and Applications. Upper SaddleRiver, New Jersey: Prentice-Hall.

Kosko, B. 1991. Neural networks and fuzzy systems : a dynamical systems approach to machineintelligence. Englew ood Ciffs , NJ London : Prenti ce Hall ; Prenti ce Hall Internati onal.

-------. 1993. Fuzzy Thinking: The New Science of Fuzzy Logic. New York: Hyperion.-------. 1992. Neural networks for signal processing. Englewood Cliffs , NJ: Prentice Hall.Landy, L. 2001. From Algorithmic Jukeboxes to Zero time Synthesis: A Potential A-Z of Music in

tomorrows World (A conference Provocation). Organised Sound, 6 (2): 91-96.Lipscomb, S. D., y R. A. Kendall. 1994. Perceptual judgement of the relationships between musical

and visual components in film. Psychomusicology, 13:60-9.Lipscomb, S. D. 1995. Cognition of Musical and Visual Accent Structure Alignment in Film and

Animation. Ph. D. thesis, University of California, Los Angeles.Lipscomb S. D. y E. Kim. 2004. Perceived match between visual parameters and auditory correlates:

an experimental multimedia investigation. Proceedings of the 8th International Conferenceon Music Perception and Cognition. Evanston, IL, USA.

Lokki, T., J. Hiipakka, R. Hanninen, T. Ilmonen, L. Savioja, y T. Takala. 1998. Realtime audio-visualrendering and contemporary audio-visual art. Organised Sound, 3(3):219-233.

Marks, L. E. 1997, On Colored Hearing Synaesthesia: Crossmodal Translations of Sensory Dimensions.Baron-Cohen, S. y Harrison, J. E. (eds.) (1997), Synaesthesia: Classic and ContemporaryReadings, Blackwell, Cambridge, Massachusetts, pp. 49-98.

Mery, D. 2006. Extraccin de caractersticas, Apuntes en lnea, extrado de http://www.ing.puc.cl/~dmery [ltimo acceso agosto de 2009].

Rosar, W. H. 1994. Film music and Heinz Werner's theory of physiognomic perception.Psychomusicology, 13:154-165.

Rudi, J. 1998. Computer music animations. Organised Sound, 3(3):193-198.Seashore, C. E. 1967. Psychology of Music. New York: Dover Publications.Sirius, G. and E. F. Clarke .1994. The perception of audio-visual relationships: A preliminary study.

Psychomusicology, 13:119-132.Van Campen, C. 1999. Artistic and Psychological Experiments with Synesthesia, Leonardo 32:9-

14.Villacorta, D. 1999. El principio de isomorfismo en la teora de la ecologa de las poblaciones. XIII

Congreso Nacional, IX Congreso Hispano-Francs, Logroo (La Rioja), Vol. 2, 755-760.Von Altrock, C. 1997. Fuzzy logic and neurofuzzy applications in business and finance. Upper Saddle

River, N.J.: Prentice Hall PTR.Whitney, J. 1980. Digital Harmony: On the Complementarity of Music and Visual Art. Peterborough,

New Hampshire: McGraw-Hill.Yen, J., y R. Langari. 1999. Fuzzy Logic: Intelligence, Control, and Information. Upper Saddle River,

New Jersey: Prentice Hall.Yeo, W. S., Berger, J. y Lee, Z. SonART: A framework for data sonification, visualizatio n and

networked multimedia applications. Proceedings of the 2004 International Computer MusicConference, Miami, FL.

Ying, H., Y. Ding, S. Li, y Chao, S. 1999. Fuzzy systems as universal approximators, IEEE Trans.Syst., Man Cybern Part. A: Syst. Hum, 29(5).

Zadeh, L. A. 1965. Fuzzy Sets. Information and Control, 8:338353.

35R E F L E X I O N E S 36

nexos y conjunciones entre ambos. Para desarrollar este estudio, el ao 1997 adquirimos con aportesde la Universidad de La Serena, licencia del programa Borland Delphi. All, junto a Manuel Jander,ex alumno de nuestra Escuela, iniciamos un trabajo que vio la luz el ao 1998. Ello permiti el estrenode la obra sinfnico-coral y multimedial: Cielo Roto2 y la publicacin de la primera versin delprograma que en honor al texto que lo haba inspirado, llamamos: Punto y Tono. Este softwaretransforma archivos de mapas de bits a MIDI y a la inversa, proporcionando herramientas para componerdibujando lneas y puntos. El doble flujo de ingreso y salida de datos, permite visualizar y analizargrficamente archivos musicales con este formato, entregando datos en colores de desplazamientos,imitaciones, y de la dinmica, mediante la intensidad de los mismos, utilizando como extremos elblanco como mxima intensidad y, en el otro extremo, el negro, como representacin del silencio,adems de disparar imgenes al ejecutar un instrumento MIDI.

Esta herramienta se introdujo, prcticamente sin que me diera cuenta, en la gnesis de estas composiciones,al contribuir al rechazo o aprobacin de ciertas decisiones musicales, que proporcionaran simultneamenteresultados visuales convincentes y, a la inversa, de imgenes que otorgaran esperables resultadossonoros. Hubo, adems, que incorporar criterios ms complejos en el proceso, no contempladosanteriormente en las decisiones musicales, como por ejemplo: componer msica pensando en lavelocidad en que se desplazaran las imgenes que dicha sonoridad producira; la forma en quedesaparecan o apareceran, o de qu modo la dinmica (luminosidad de la pieza) afectara el resultadofinal, es decir, exigi desde el inicio del proceso, la composicin de sonidos con imgenes resultantesy simultneas y en movimiento o a la inversa. Este aspecto, se constituy en un problema de competencias,pues, no me considero una voz autorizada en el mbito de las artes visuales. Por ello, fue menesterpensar la composicin, ahora, audiovisual, en trminos colaborativos.

Punto y tono, provoc dos lneas de investigacin: por una parte, de carcter audiovisual y, por otra,de carcter pedaggica. En el mbito audiovisual, en permanentes correcciones y perfeccionamientosurgidas del ejercicio de la composicin. Ahora, obligado a imaginar cmo sonara la resultante delas imgenes, transformadas en partituras MIDI. Desde ese momento, para la elaboracin de herramientas,comenzamos a pensar en trminos bifocales: en cmo la inversin, retrogradacin, ampliacin ydisminucin de motivos rtmico-meldico-timbrsticos, por ejemplo, causaban cambios proporcionalesen la imagen y por otra, provenientes desde el mismo programa: el hecho de permitir el anclaje de undeterminado color con un timbre y a la inversa. Se obtuvo un ambiente de trabajo que obligaba averificar otras formas expresivas, a las cuales no me encontraba familiarizado. Otro asunto llamativo,surgi en lo polismico, o en la pluralidad que adquiran determinados signos, independiente de sunaturaleza visual.

De la accin de disparar imgenes mediante un proyector de datos, surgi un inesperado recursoexpresivo: el espacio interior entre sta y el equipo. De ese modo, con una mquina de humo, cubrimosel espacio existente y lo teimos con colores e imgenes provenientes de Punto y Tono y, al mismotiempo, mediante espejos colgantes, proyectamos las fuentes luminosas en mltiples sentidos. Esteespacio vaco, adems, fue utilizado para que bailarines, en principio estudiantes universitarios (vestidosde blanco), fueran pintados con luces de determinados colores y la coregrafa asociara arbitrariamente

37R E F L E X I O N E S 38

dise aparatos mecnicos sonoros, resonadores susceptibles de estimular por diversos medios, de talmodo que se ubicaran en un lugar fijo y el auditor debera construir con su imaginario la obra,dependiendo de las decisiones que tomara al desplazarse de una fuente sonora (y visual, ya que cadagenerador, debera funcionar en ambos sentidos) a otra. En esta bsqueda, encontr un suikinkutsu(significa: koto de agua), instrumento japons que se utiliza en los jardines interiores de ese pas,consistente en una vasija de arcilla que se entierra invertida y tapada con un orificio sobre su parteinferior que queda boca arriba y otro orificio a un costado, a 10 centmetros del nuevo fondo, pordonde deja escurrir el agua, es decir, nunca logra acumular mayor cantidad. Esta vasija, ubicada sobreuna superficie de arena y rodeada con rocas, que cumplen con un rol de amplificacin, proyecta elsonido de gotas de agua que se dejan caer en su interior. Posteriormente fabriqu uno de superficieinterior irregular, para provocar distintas frecuencias, que en el caso del instrumento japons semantenan con mnimas variaciones. As, estrenamos Digesis obra que incluy este instrumento queobtena las gotas de un gran trozo de hielo, metfora de un iceberg derritindose, dentro de un contextode diversas instalaciones que producan el sonido en forma mecnica: desde una caja de vidrio pordonde se estimulaban con viento, cientos de pelotas de ping pong, a un cuarteto de bronces, cuyosmsicos, mientras tocaban sus instrumentos, se desplazaban por sobre vidrios, produciendo, as, diversassonoridades al quebrarse, sonoridad utilizada como metfora de peligro. Paralelamente, segu fabricandoresonadores mecnicos diversos, utilizando distintos medios para estimularlos, hasta que llegu afabricar una cuerda armnica, que emita diferentes parciales mediante energa elica. De all, surgila idea de construir una gran arpa elica, la que finalmente, producto de un trabajo multidisciplinarioconstituido por un fsico, un escultor y un luthier, qued instalada en la cortina del Embalse Puclaro.Esta monumental obra de 9 metros de ancho por 4,5 de alto, permiti generar una cantidad de obras,entre las que destacan: Texturas Mixtas Derivadas para suikinkutsu, que contrasta con sus sonidosstaccati con los largos y permanentes del arpa elica, Enrgesis electrnica, trompeta, clarinete bajo,contrabajo y arpa elica y Valle del compositor y trompetista Markus Stockhausen para la mismaconfiguracin instrumental.

Desde all, en adelante, increment mis esfuerzos en generar obras que cumplieran como requisitosel deber de:1. Ser interactivas.2. Incorporar medios expresivos diversos.3. Permitir que el espectador penetrara espacialmente dentro de ellas. Es decir, exigir la activaparticipacin del pblico en un espacio fsico.

Con estas experiencias previas, he llegado a disear diversos instrumentos mecnicos que generan elsonido a travs de piedras, metales, maderas, agua, resortes y, fundamentalmente, mediante energacintica, elica y solar. Por otra parte, existen dos formas bsicas: una que se instala en el interior deuna sala, y otra, al aire libre. En este caso, el pblico se desplazar por este parque temtico artstico,en donde a travs de pedales accionar diversos resonadores, sobre todo los elicos, de tal manera dealterar las frecuencias de los sonidos producidos por los caprichos del viento. Dependiendo del lugardonde se encuentre ubicado el receptor, asistir a una particular visin y audicin de la obra, siendoinvitado, adems, a participar en la ejecucin de la misma. Esta idea de una obra que es paralelamenteun parque temtico, se conectar con lo visual a travs del diseo a cargo de especialistas en el rea.Fenmeno similar al de la pera o el cine, en donde distintos profesionales participan en la generacinde una idea artstica comn. Por otra parte, funcionar tambin de noche, utilizando como soporte

39R E F L E X I O N E S

Ambas estrategias han sido implementadas en software, mediante la plataforma Max/MSP/Jitter, elcual es un ambiente de desarrollo de material audiovisual ampliamente utilizado en el mbito de lacreacin artstica con tecnologa y se encuentra disponible para su uso en la direccinhttp://www.rodrigocadiz.com/audiovisual.

Bibliografa

Bandemer, H. y S. Gottwald. 1995. Fuzzy sets, fuzzy logic, fuzzy methods with applications. Chichester,New York: J. Wiley.

Berman, G. 1999. Synesthesia and the arts. Leonardo, 32:15-22.Blakemore, C., Campbell, F. W. 1968. "On the existence of neurones in the human visual system

select ively sensitive to the orientation and size of retinal images. J. Physiol. (London)203(1):237-260.

Bullerjahn, C. and M. Guldenring. 1994. "An empirical investigation of effects of film music usingqualitative content analysis. Psychomusicology, 13:99-118.

Cdiz, R. 2006. A Fuzzy-Logic Mapper for Audiovisual Media. Computer Music Journal, 30:1, pp.67-82.

-------. 2006a. Compositional Control of Computer Music by Fuzzy Logic, Ph.D. Thesis, NorthwesternUniversity.

Cdiz, R. y G. Kendall. 2006. Fuzzy Logic Control ToolKit: Real-time Fuzzy Control for Max/MSPand Pd. Proceedings of the International Computer Music Conference, New Orleans, LA, pp.341-346.

Cdiz R. y C. Gonzlez. 2008. Composicin audiovisual: el caso de Time Exposure. Ctedra deArtes, No. 5, 57-63.

Coller, X., T. Edwards y C. Ress. 1999. Difusin e isomorfismo en las organizaciones. El caso delas multinacionales. Revista Espaola de Investigaciones Sociolgicas, 86, 79-94.

Demicco, R. V., y G. J. Klir. 2004. Fuzzy logic in geology. Amsterdam, Boston: Elsevier AcademicPress.

Dimitrov, V., & B. Hodge. 2002. Social fuzziology: study of fuzziness of social complexity. Heidelberg;New York: Physica-Verlag.

Finaas, L. 2001. Presenting music live, audio-visually or aurally - does it affect listeners' experiencesdifferently?. British Journal of Music Education, 18(1):55-78.

Gerhard, D. y D. H.Hepting. 2004. Cross-modal parametric composition. Proceedings of the 2004International Computer Music Conference, Miami, FL.

Heyrman, H. 2005. Art and Synesthesia : in search of the synesthetic experience. Conferenciapresentada en el First International Conference on Art and Synesthesia Primer Congreso

Internacional sobre Arte y Sinestesia, Universidad de Almera, Espaa.Hertz, P. 1999. Synesthetic Art - An Imaginary Number?. Leonardo, 32:399-404.Hunt, A., et al. 1998. A Generic Model for Compositional Approaches to Audio Visual Media.

Organised Sound, 3(3):199209.Harrison, J. E. y S. Baron-Cohen. 1997. Synaesthesia: an Introduction. S. Baron-Cohen and J. E.

Harrison (Eds.). Synaesthesia. Classic and Contemporary Readings. Cambridge, Massachusetts:Blackwell.

Hofstadter, D. R. 1999. Gdel, Escher, Bach: An Eternal Golden Braid (20th Anniversary ed.). NewYork: Basic Books.

Iwamiya, S. 1994. Interactions between auditory and visual processing when listening to music in

colores y formas a diferentes movimientos y esquemas de la danza. Por otra parte, experimentamoscon diferentes objetos que colgamos desde el techo. As, las lneas e imgenes sonoras de Punto yTono, adquirieron sentidos y direcciones diversas, adems de proyectar sombras sobre la pantalla.Con estos nuevos recursos se concretaron una serie de obras entre las que destacan: Fuego Fatuo,Estudios de objetos sonoros dinmicos y Espejos. Desde este dilogo con la danza, estrenamos Antsis(Ballet sinfnico coral y multimedial).

Compuestas estas obras, aflor un nuevo rol que, hasta el momento, haba sido siempre pasivo en laobra: el espectador. En efecto, Punto y Tono, lleg a ser un instrumento musical y de dibujo simultneoy a la inversa. El pblico jugaba con l y surgan propuestas sonoras y visuales desde ellos mismos.Esta interactividad dej huella pues ya me haba sentido atrado por la interaccin de las obras delpolaco B. Shaeffer en donde incorporaba como elementos expresivos, al espacio, la luz y el teatro.

Volviendo al programa Punto y Tono, esta relacin uno a uno entre imagen y sonido y la inevitabledireccin de las imgenes en movimiento, trajo profundos problemas, ya descritos con anterioridadpor Theodor Adorno3, concernientes a la redundancia entre imagen y sonido y an un ms categricoS. Kracauer que plantea como inadmisible tales superposiciones, criticando, incluso, duramente laartificialidad en que se utiliza el espacio y la lnea de tiempo en la pera. Para superarlo, incorporamosnuevas herramientas de audio en la lnea de tiempo, simultneamente. Por otra parte, las imgenes enmovimiento se desplazaban siempre de izquierda a derecha, llegando a ser difcil sostener una obracon imgenes unidireccionales. Fue as como agregamos una herramienta que permiti adicionarvdeos. As, el software lleg a ser un coordinador de lanzamiento de imgenes, vdeos y dibujossonoros dinmicos. Si bien es cierto dicha herramienta super esa dificultad, provoc una nueva, unverdadero golpe de gracia Punto y Tono, en los trminos que haba nacido perda sentido, pues,al agregar vdeos se volva a la forma tradicional para relacionar sonidos e imgenes proporcionadaspor programas ms estables y potentes tales como Flash, Director o Adobe Premiere. Eranecesario renovar completamente dicha tecnologa, relacionando la intensidad del sonido con un factorvisual distinto a la luminosidad: el tamao. De este modo, los objetos alteraran su intensidad en virtudde lo cercanos o lejanos que se encontraran del observador (ilusin de pequeo y grande).

Lo cercano o lejano de una fuente sonora, mut a foco principal de atencin, pero no en un ambientedigital, sino, en la realidad, al aire libre: una tarde, estando en un bosque, observ cmo se percibala dinmica del rumor del viento entre los rboles segn la distancia y cmo ste se mezclaba con eldel agua que flua a travs de un estero cercano. Al acercarme al arroyo, se generaba un crescendodel rumor del agua y si me alejaba, ocurra naturalmente el fenmeno contrario. Desde all surgi laidea de disear multidisciplinariamente obras en que el pblico se acercara o alejara de las fuentessonoras, para percibir mediante esa accin los cambios dinmicos. Tanto el agua como el viento, ensi mismos, no estaban experimentando grandes cambios: era el espectador quien poda regular aquello,movilizndose. As, junto a un escultor, diseamos esculturas sonoras, que residiran en el cerebro delespectador, al acercarse en una sala semi obscura a fuentes que se activaran con sensores fotoelctricos,en donde el sonido de una campana, por ejemplo, generara una imagen visual en el espectador. Adems,

40

un literato, pues expresa lo que oye, con la potencia y maestra del medio que l domina. El principalescollo radica en el artista mismo, cuando plantea su obra en trminos ticos, como una confesinespiritual, como bsqueda de la verdad, o dicho de otra manera, la obra, como verdad del creador.Aspira a obtener una experiencia totalizadora (como del Renacimiento), alejada de la especializacinunilateral ineludible del mundo contemporneo.

Se presenta entonces un problema que radica en cmo se ha concebido hasta ahora el proceso deformacin de los profesionales artistas, que naturalmente no da cabida a la inclusin de otra rea dentrode su malla curricular. En donde an no aparecen respuestas concretas a la imposibilidad material deconfigurar un programa multifocal que permita instruir y educar a un artista en el rigor profesionalque exige cada disciplina, otorgando equilibradamente destrezas que les otorguen un imaginarioexpresivo que trascienda, aparte de enfrentar la dificultad de encontrar perfiles de estudiantes quemanifiesten intereses, aptitudes y una vocacin ms amplia. Ahora, ms que de disciplinas, hablamosde inter disciplinas de indisciplinas.

No obstante que al Arte Contemporneo se le reconoce un nivel de participacin e importancia socialy econmica cada vez ms destacado, la enseanza artstica, altamente reconocida por los griegos ygrandes pensadores como Herbert Read, se ha fundamentado pedaggicamente en los valores del Arteen s. Pero, despus de grandes debates dentro de un paradigma enciclopedista y de orientacinfilocientifista y a menudo positivista, que considera al conocimiento cientfico como la nica manerarigurosa de representar el mundo, ha quedado confinado a un subsector prescindible, por ser consideradocomo carente de contenidos especficos.

Este fundamento establece una hiptesis para quienes laboramos en el mundo del arte: estamos llamadosa verificar, de qu forma una persona, educada mediante un curriculum que ubique al arte integrado,como eje de su formacin, podra disponer de un perfil fortalecido en su capacidad de adaptacin aun mundo incierto y disponer de herramientas ms amplias para expresar sus intereses estticos.

Bibliografa

Adorno, Theodor. 2008. La msica para cine. Madrid: Akal Ediciones.Boulez, Pierre. [1981] 2001. Puntos de Referencia (textos compilados y presentados por Jean-Jacques

Nattiez. Ttulo original: Points de repre. Christian Bourgois, diteur, 1981.Traduccin: EduardoPrieto). 3 ed., Barcelona: Gedisa.

Kandinsky, Wassily. 1996. Punto y Lnea sobre un plano. (Punkt und Linie zu Flche). Espaa:Ediciones Paidos, Iberica.

objetos visuales constituidos por leds de muy bajo consumo, configurando diversas formas e imgenessonoras, con luces no contaminantes, utilizando la energa solar acumulada durante el da, en elluminoso Valle de Elqui. La segunda etapa del mismo, contemplar, adems, lo electroacstico, puestoque en cada resonador se incrustarn micrfonos de impacto, que enviarn seales a un centro querecibir toda esa informacin y, desde all, con sintetizadores de software y otros procesos, permitirla elaboracin de mltiples proyectos musicales, educativos en lo artstico y cientfico. El terrenodonde se instalar ya fue concedido por Bienes Nacionales y contar con una superficie de dos hectreas,en el Valle de Elqui.

El problema de las competencias en el arte sonoro

Producto de esta experiencia, que inici en la composicin musical y que permanentemente he analizadoen trminos tericos respecto de dos mbitos, el pedaggico y el semitico, o cmo a partir de diversosestmulos artsticos se genera sentido, es necesario considerar el problema de las competencias,fenmeno que permanentemente golpea la puerta, factor que al hablar sobre integracin aparece comouna debilidad encontrar personas autorizadas para referirse al tema DESDE el Arte, a partir delsoporte que constituye su propia experiencia. Este aspecto es relevante: normalmente no abundan endebates, foros y seminarios, aquellos que se encuentran ubicados en la praxis, en el ejercicio artstico.Por ello, finalmente, los insumos se reciben de documentos emanados de estudiosos y no de artistasy compositores, sino de literatos, musiclogos, crticos, periodistas, tericos, etc. Boulez4 seala quelos compositores y msicos en general no se han mostrado llanos a participar en coloquios estticos,confinndose a la tcnica, a la ejecucin misma, demostrando una excesiva confianza en el hacero, por el contrario, temor de expresarse en un mbito en donde no se encuentran bien equipados parafundamentar ante intelectuales bien dotados.

El primer pensamiento que surge entonces, para superar esta debilidad, es establecer el estudio a travsde grupos interdisciplinarios, en el que cada experto, desde su mbito, hable con voz autorizada,contribuyendo a la investigacin o la direccin artstica de un determinado proyecto, al igual que enel cine, el teatro y la danza en donde establecen desde su concepcin primigenia ciertos niveles dedependencia expresiva para llevar a cabo sus propuestas, donde no es posible separar, por ejemplo,determinados sonidos u acordes de una accin escnica: diferentes especialistas actan en torno a unproyecto potico comn. No obstante, se presenta tambin otra debilidad relativa a los procesosartsticos propiamente tales, en donde normalmente, se promueven en la intimidad y, muy particularmente,en la individualidad del ente creador, contemplndose como excepciones aquellos casos en que segeneran obras dentro de ambientes colaborativos y de taller. En estos casos, el autor, cambia su miradaintrospectiva de su funcin, rol y competencia, por una bsqueda a travs de caminos menos seguros,correspondientes a zonas donde no ha sido formado con el mismo rigor. Pese a su evidente debilidad,el embrujo integrador y el estmulo innovador se transforma en el acicate que le empuja para dar elpaso, o el salto abductivo (de Peirce). Sin embargo, no es gratuito: debe acudir a experienciascolaterales, al apoyo de artistas de otras reas, a iniciar procesos de investigacin. Si bien es ciertoel germen de la obra emana de su propia potica, la interdisciplinariedad no puede ser eludida encuanto a mbitos expresivos. As como el literato jams podr expresarse musicalmente como uncompositor, el compositor jams lograr referirse a la msica de forma tan esplndida como lo hara

41R E F L E X I O N E S

RESUMEN. Tradicionalmente, el principal medio de transmisin musical ha sido la partitura y laejecucin en vivo de los instrumentos musicales casi la nica de representacin de la msica.Actualmente, gracias a la incorporacin de nuevas tecnologas, mecanismos y materiales, se ha ampliadoel universo de representacin musical, en el cual la situacin de escucha acusmtica se transforma enlo predominante. En este texto se reflexiona sobre algunas problemticas -y paradojas- que presentanpara el creador las actuales tendencias hacia lo multimedial, lo transmedial, lo intermedial desde unpunto de vista crtico.

Palabras clave: acusmtica; msica y tecnologa; composicin musical.

La tecnologa de fijar y reproducir sonidos sobre un soporte ha cambiado muchas de nuestrasconcepciones centenarias respecto a la msica, su composicin, representacin y mecanismos detransmisin. Hasta hace poco ms de cien aos, el vehculo principal de transmisin musical era lapartitura, la forma habitual y casi exclusiva de representacin era la ejecucin en vivo de los instrumentosmusicales. La composicin estaba centrada solamente en esos mismos instrumentos y su soporte erael papel. Hoy -si bien todo lo anterior sigue siendo actual-, se han sumado otros mecanismos detransmisin, otros materiales sonoros, otras situaciones de representacin del hecho musical queamplan nuestras posibilidades creativas y estticas.

La invencin del fongrafo primero y el gramfono despus, fueron los primeros eslabones en lafijacin sobre soporte de sonidos. Desde 1870 a la fecha1, se ha avanzado enormemente en la calidadde fijacin y reproduccin de los sonidos, existiendo hoy soportes digitales que pueden reproducirfrecuencias de hasta 96 Khz. (frecuencia de muestreo: 192 Khz.), casi cinco veces ms agudas de loque el odo humano puede percibir. Grabar y reproducir ha significado la posibilidad de desolidarizarel evento sonoro de la fuente que lo produce, por una parte, y la reproduccin casi ad infinitum de esteevento a deseo del auditor. Si a lo anterior sumamos las ya antiguas invenciones del telfono y la radio,vemos ampliado el cambio de unidad de tiempo y espacio de que gozaba el hecho musical o sonorohasta se momento, para hacer de esa unidad algo relativo, eventual y que queda en definitiva, adiscrecin del auditor.

La irrupcin de las msicas llamadas concretas y electrnicas en 1948 y 1951 respectivamente, sontributarias de estas tecnologas de fijacin y reproduccin sonora, as como del cambio en la relacincausa-efecto en la msica. Con ellas, adems, surgen en nuestro universo sonoro materiales consideradosno aptos para la msica, o simplemente no musicales. Adems, en muchos casos, ya no podemos

42

identificar la fuente que origina los sonidos. Ella nos es desconocida y a menudo, cuando logramosidentificarla, contrara todo lo que habamos considerado hasta el momento como instrumento musical.

El soporte, sea ste cinta magntica, disco compacto, disco duro de computador o lector de mp3, seha transformado cada vez ms en nuestra principal fuente de interaccin con la msica, haciendo dela audicin de productos musicales un acto cada vez ms individual y personal. El concierto, larepresentacin en vivo de las obras musicales, es hoy una situacin eventual y lejos secundaria en lacadena de transmisin. En cierto sentido, la omnipresencia del soporte es tambin el triunfo de laescucha acusmtica, en realidad de la situacin acusmtica, aislando el sonido del complejo audiovisualdel cual l formaba parte inicialmente2.

Ms an: el soporte ya no slo es el contenedor o el vehculo de transmisin, o almacenador de lamsica. Muchas veces es tambin el objeto de la obra, es decir, ste se transforma en su destinaciny en su medio de representacin. Paradojalmente esta situacin que se pensara, sin ser tal, como unaspecto particular a la msica acusmtica, comienza a hacerse visible en algunas msicas popularese inclusive acadmicas, originalmente de concepcin instrumental. Un caso interesante e ilustrativoes Gustavo Becerra, quien en dos de sus obras recientes, el Concierto para cuatro pianos sampleados(2004) y Poema, para percusiones sampleadas (2007), explcitamente habla de msica computacionalpara referirse a ellas.

En rigor, se trata de obras compuestas con un estricto lenguaje instrumental, aunque ampliando graciasal ordenador sus posibilidades de registro y de interpretacin. Sin transformaciones sonoras o adicinde sonidos de sntesis, el material sonoro se cie al corpus instrumental citado: piano y percusiones.No existe invencin de materiales y tal vez el nico recurso proveniente de la msica electroacsticaque en ellas se explota es la panoramizacin de los sonidos/instrumentos, sobre todo en la segundade las piezas. Para el Concierto, Becerra anota explcitamente que algunas de sus partes pueden serconfiadas a pianos acsticos3. Entendemos entonces que la obra ha sido pensada para ser ejecutadaprincipalmente por medio del soporte. La presencia o no de ejecutantes reales es eventual y su rol,en caso de que lo hubiera, sera solamente parcial. En Poema, Becerra insiste en este formato, agregandopara referirse a ella el trmino msica ciberntica4.

La escucha acusmtica supone la disociacin entre el sonido y la fuente que lo emite, para as concentrarla atencin en el objeto sonoro en s mismo, en sus caractersticas propias, sin la mediacin delcomplejo audiovisual. Por extensin, la audicin reducida (coute reduite), propone la focalizacinde la escucha en los aspectos intrnsecos de la obra, privada sta de la gestualidad visual que surepresentacin habitual impone. Pero qu ocurre en el caso que comentamos, donde el material sonorohace referencia directa a las fuentes sonoras? En estas obras podemos imaginar no slo los instrumentos,tambin su ejecucin, disposicin en un espacio dado, los intrpretes quizs. Nuestra mente vuelve aser referencial y las imgenes visuales pueden perfectamente dominar nuestra atencin por sobre laconcentracin en los aspectos puramente sonoros. Lejos estamos entonces de la electroacstica y laacusmtica, tanto por lenguaje composicional como por esttica. Nos situamos, en consecuencia, en

43R E F L E X I O N E S

un espacio distinto, el de la obra para soporte. Distinta a la obra sobre soporte acusmtica, cuyavocacin sigue siendo el concierto, la representacin pblica, y en la cual el soporte se mantiene slocomo el medio de fijacin/reproduccin de la obra, no su objeto final.

En este espacio el maestro Becerra no es un precursor, ms bien constata su pre-existencia: ciertasmsicas populares hace rato ya lo utilizan. Pinsese en las llamadas msicas de productor, las msicasenvasadas o en ciertas msicas de baile que jams saldrn de su soporte y de la pista. La unidad detiempo y lugar se produce entonces entre el auditor y la tecla play. Algo similar ocurre en las obrasde Becerra que hemos comentado y para las cuales l mismo anota: entre sus posibilidades se encuentrael desarrollo de un nuevo sinfonismo, emancipado de la tradicional sala de conciertos, cuyo amanecerya nos est regalando su calor y nos deja disfrutar de su creciente luz5.

Esta particular situacin es resultante por supuesto de una conjuncin de tecnologas: las ya sealadasde fijacin y reproduccin de sonidos, aquellas que involucran la notacin musical y su intercomunicacincon bancos cada vez ms amplios y especializados de sonidos instrumentales y sintticos, disponiblespara su uso inmediato. A ellas -y otras- se suma tal vez la ms determinante de todas: la ya centenariatecnologa del altavoz.

Es paradjico lo que ocurre con la tecnologa de los transductores, a pesar de su trascendencia en lacadena electroacstica. Pues de todas las utilizadas en esta cadena, es la nica que ha permanecidocasi inmutable en sus principios electromecnicos desde hace ms de cien aos. Su desarrollo se haconcentrado en la utilizacin de nuevos materiales de construccin y mejoras"de diseo, pero encomparacin con otras tecnologas aqu citadas, su concepcin bsica no ha variado. Por ello muchosproblemas acsticos an subsisten en el altavoz, en particular la direccionalidad en la restitucin delsonido. Esta caracterstica hace que al momento de establecer campos acsticos virtuales (estereofona,por ejemplo), se necesite situar en una ubicacin espacial precisa a los auditores, de otro modo estosquedan fuera de se campo virtual y la percepcin de la imgen espacial se distorsiona. Las investigacionesllevadas a cabo en el mbito de la restitucin espacial de los sonidos, se han focalizado esencialmenteen la resolucin va software del problema, como ha ocurrido con el Spat desarrollado en el Ircam, olas tecnologas Ambisonics. Ms, estos desarrollos no logran resolverlo integralmente al no abocarsea la creacin de una nueva tecnologa de transduccin.

A pesar de lo anterior, El Altoparlante es probablemente hoy el ms grande denominador comn denuestras vidas. El video, la multimedia, los automviles, los telfonos nos modelan una nueva vidasonora6. Nos hemos habituado a escuchar a travs de ellos: msica, conversaciones, noticias entelevisin, seales de alarma, etc.; y el altoparlante se encuentra asociado a las ms variadas actividadeshumanas y sociales. La cultura del altavoz se ha apoderado de nuestro entorno sonoro y de nuestrasvidas, por lo que cun ajeno es hoy para la gran mayora de los habitantes de nuestro planeta, elenfrentarse al fenmeno musical casi exclusivamente por medio de altoparlantes? Lo decamos lneasarriba, la representacin en vivo de las obras musicales es lejos una situacin secundaria en la cadenade transmisin y por ello, es tal vez ahora cuando culturalmente nos encontremos ms preparados paraenfrentranos a la escucha acusmtica, para oir sin ver.

44

Extraamente buena parte de los compositores parecen no querer apropiarse de este momento nicoen la historia de la msica, en el cual tanto por tecnologa como por cultura, ya nada se interpone entrela obra y el auditor. La eliminacin del complejo audiovisual, ms que situarnos en una semi orfandadde estmulos, al haber perdido la visin, es el puente hacia la concentracin en la msica y nada msque en la msica7. En los estmulos en que las construcciones sonoras pueden por s mismas provocaren los auditores, en la necesidad para estos de reemplazar, por imgenes virtuales, mentales y personales,aquellas que impone la simplicidad de una puesta en escena comunitaria, pero a la vez facilista, dela representacin de la obra y su ritual milenario. Ritual malentendido a veces, que relega fuera dealgunas salas de concierto otras formas de representacin, como la acusmtica, que no son sino uncomplemento a las ya existentes por supuestamente no cumplir con todas las exigencias del rito.

Tal vez las nuevas tendencias hacia lo multimedial, lo transmedial, lo intermedial, sean no slo unproducto de la emergencia de las nuevas tecnologas que las hacen posible. Sino un intento dereestablecer, de un modo distinto, el paradigma del complejo audiovisual que pareciera, para algunos,ser parte indisoluble de la representacin de la obra musical. Ms, esta tendencia puede fcilmenteconfundirse en el laberinto de la tecnologa, perdiendo el norte de la creacin, para concentrarsepeligrosamente en la sublimacin del patch, del medio ms que la obra, de la forma ms que delfondo, debido a una reflexin precaria o ausente del todo, de los diversos mecanismos de transmisiny representacin musical hoy posibles.

Finalmente, lejos est nuestro nimo de un conservadurismo en cuanto a la ampliacin de formatosy exploracin de nuevos medios, pero el uso de toda tecnologa requiere de la reflexin en cuanto asu pertinencia en el proceso creativo. Es por ello que es preocupante la falta de rigor esttico y musicalque a veces se percibe en muchas obras donde las tecnologas multimediales se encuentran presentes.Estas cortas reflexiones han querido solamente evocar un par de aspectos a ser discutidos msampliamente, cuyas consecuencias creativas son y pueden ser de interesante desarrollo en nuestro artemusical.

Bibliografa

Becerra-Schmidt, Gustavo. 2008. Palabras iniciales. Sitio Oficial de Pueblo Nuevo [Netlabel]. Enlnea: http://www.pueblonuevo.cl/pn_site/pn_cat_036.htm.

Chion, Michel. 1983. Guide des Objets Sonores. Paris: INA/GRM - Buchet/Chastel.Lebl, Christian. Appel projets 2009. Lactualit du monde de lart. En lnea:

http://www.phonurgia.org/concours_regle.htm.Schumacher, Federico. 2007. Catlogo de las obras electroacsticas de Gustavo Becerra-Schmidt.

Revista Musical Chilena, LXI/ 207( enero-junio), pp. 71-80.

RODRIGO F. CDIZ Y PATRICIO DE LA CUADRACentro de Investigacin en Tecnologas de Audio

Pontificia Universidad Catlica de Chile

En la lgica tradicional, se admiten slo dos valores de verdad: verdadero o falso, blanco o negro, 1o 0. Este tipo de lgica se basa en la ley del medio excluido de Aristteles: slo se puede pertenecera un conjunto o a su complemento, no a ambos al mismo tiempo (Kosko 1993). En contraste, la lgicadifusa acepta mltiples valores de verdad, lo que equivale a valores parcialmente verdaderos o falsos,todos los grises posibles o cualquier nmero entre 1 y 0.

Sistemas basados en lgica difusa han sido utilizados en una gran variedad de campos, especialmenteen aplicaciones de ingeniera y control (Klir y Yuan 1995; Kosko 1993), pero tambin en otras reastan diversas como anlisis de datos (Bandemer y Gottwald 1995), economa y finanzas (Von Altrock1997), sociologa (Dimitrov y Hodge 2002) y geologa (Demicco y Klir 2004). En el mbito artstico,uno de los autores ha diseado sistemas basados en lgica difusa para la composicin audiovisual,sntesis digital de sonidos, y control paramtrico de la composicin musical.

Los sistemas de lgica difusa poseen algunas ventajas para aplicaciones creativas. Estos sistemas sonpoderosos y son capaces de modelar algunas caractersticas del comportamiento humano. En comparacincon enfoques matemticos tradicionales, los sistemas difusos son bastante ms rpidos y eficientes yno es necesario conocer a priori un modelo matemtico detallado para modelar cualquier sistema ono lineal con cualquier grado de precisin que se desee. Las reglas que controlan el comportamientode los sistemas difusos pueden ser fcilmente especificadas en forma lingstica, tal cual como lohacen los humanos. Informacin ms detallada sobre lgica difusa y su aplicacin artstica se puedeobtener en Cdiz 2006a.

La figura 1 detalla el esquema utilizado en este enfoque. Una secuencia de video nueva es analizadaen trminos de los parmetros visuales definidos en la seccin anterior. Estos parmetros se utilizancomo entrada a un sistema de lgica difusa que genera como salida una serie de parmetros auditivos,los cuales se utilizan en la etapa de sntesis de sonido para generar la contraparte auditiva a esa secuenciade video particular.

Las redes neuronales, tal como las personas, tienen la capacidad de aprender a partir de ejemplos.Aprender en sistemas biolgicos involucra la modificacin de las conexiones entre las neuronas y estoes tambin cierto para las redes neuronales.

Las redes neuronales trabajan con conocimiento no simblico pero a diferencia de los sistemas difusos,proveen capacidad de aprendizaje (Kosko 1992). Los sistemas neuro-difusos combinan las propiedadesde ambos mtodos para permitir aprendizaje y mantener al mismo tiempo una adecuada interpretacinlingstica y control. Como resultado se obtiene un sistema difuso con la habilidad de aprender yadaptarse en forma eficiente al cambiante mundo real (Kosko 1991). Estos sistemas son ideales paraabordar problemas relacionados con modelamiento y control en tiempo real de procesos dinmicos ytareas de clasificacin o mapeo.

El mtodo propuesto considera extender el modelo de mapeo de lgica difusa descrito anteriormentede manera de incorporar aprendizaje dinmico. Esto se logra a travs del entrenamiento de una redneuronal con distintas secuencias de imgenes y sonidos, de manera que el sistema produzca un sonidonuevo cuando se ve enfrentado a una secuencia de imgenes desconocida y viceversa. En forma macro,un sistema de este tipo es capaz de crear obras audiovisuales nuevas basadas en la experiencia de obraspasadas.

La figura 2 muestra un esquema de la etapa de entrenamiento del mtodo de composicin propuesto.En esta etapa, se obtienen parmetros visuales de una secuencia de imgenes conocida. Dichosparmetros se utilizan como entrada a una red neuronal. Para entrenar la red, es necesario establecercuales son las salidas deseadas dada una entrada determinada. Es necesario establecer reglas de mapeoespecficas a los datos de entrenamiento, las cuales pueden provenir de un creador audiovisual experto,el propio autor de las obras utilizadas en el entrenamiento, o bien un sistema como el de lgica difusadescrito anteriormente.

Este enfoque permite a artistas audiovisuales entrenar a un computador para que cree formas de artenovedosas basadas en caractersticas generales de elementos auditivos y visuales de otras obras yaexistentes o de conjuntos de entrenamiento diseados con algn fin especfico. Este mtodo se haimplementado computacionalmente en el ambiente de software Max/MSP/Jitter y la obra audiovisualEstudios Audiovisuales (2009) fue compuesta utilizando este sistema2.

Conclusiones

Se han presentado dos enfoques para abordar la composicin de obras audiovisuales mediante conceptosbasados en sinestesia, isomorfismo y herramientas de inteligencia artificial.

En el caso del sistema basado en lgica difusa, su uso es relativamente simple si tenemos en cuentaque emula en algn grado el comportamiento humano, que permite elegir con libertad los parmetrospara aplicarlo a fines creativos y que otorga una nueva posibilidad al abordar la composicin de unaobra audiovisual.

El sistema basado en aprendizaje permite general mapeos audiovisuales basndose en experienciaspasadas o mapeos previamente existentes. No importa que tan complejo sea el mapeo, o tener unadescripcin analtica del mismo, ya que la red neuronal es capaz de aprender cualquier mapeo, sinimportar su complejidad.

MARIO ARENASCompositor

Universidad de La Serena

FEDERICO SCHUMACHERCompositor

Universidad ARCIS

R E F L E X I O N E S - R E S O N A N C I A S 2 5 R E F L E X I O N E S - R E S O N A N C I A S 2 5 R E F L E X I O N E S - R E S O N A N C I A S 2 5 R E F L E X I O N E S - R E S O N A N C I A S 2 5 R E F L E X I O N E S - R E S O N A N C I A S 2 5 R E F L E X I O N E S - R E S O N A N C I A S 2 5 R E F L E X I O N E S - R E S O N A N C I A S 2 5 R E F L E X I O N E S - R E S O N A N C I A S 2 5 R E F L E X I O N E S - R E S O N A N C I A S 2 5 R E F L E X I O N E S - R E S O N A N C I A S 2 5

Estrategias de composicin audiovisualbasadas en sinestesia, isomorfismo einteligencia artificial*

Una vez que la red completa su entrenamiento, ya es posible utilizarla para generar material nuevo.En esta etapa la red ya aprendi el mapeo audiovisual y es capaz de generar parmetros auditivos auna entrada de parmetros visuales desconocidos, tal como se aprecia en la figura 3. Estos parmetrosa su vez son utilizados en la etapa de sntesis de sonidos la cual genera el material auditivo correspondiente.

Desde la composicin musicalhacia el arte sonoro

RESUMEN. Existe abundante evidencia emprica que soporta la tesis de que la msica e imgenesen movimiento interactan en formas muy potentes. Es de inters, entonces, contar con estrategiasadecuadas de composicin audiovisual. En el presente artculo se proponen dos enfoques basados enlos conceptos de sinestesia e isomorfismo y que utilizan tcnicas provenientes de la inteligenciaartificial. En primer lugar, a travs de la lgica difusa, parmetros del dominio visual pueden sermapeados al dominio sonoro y viceversa, en forma compleja y no lineal, mediante reglas difusas deinferencia muy simples. En el segundo enfoque, se entrena una red neuronal con distintas secuenciasde imgenes o sonidos, de manera que el sistema produzca una imagen o sonido nuevo cuando se veenfrentado a una secuencia de imgenes o son idos desconocida. De esta manera, el sistema puedecrear obras audiovisuales nuevas basadas en la experiencia de obras pasadas.

Palabras clave: composi cin audiovisual ; mapeo; lgica difusa; redes neuronales ; sines tesia.

Introduccin

Los recientes avances de la tecnologa computacional nos permiten actualmente sintetizar imgenesy sonidos en forma concurrente incluso en tiempo real, dando cabida a nuevas formas de arte novedosasy genuinamen te integradas (Hunt et. al 1998). Pero este mismo fenmeno da espacio a ciertasinterrogantes: cmo se debe organizar y componer este tipo de obras? Dado un cierto paisaje sonoro,qu secuencia de imgenes resulta la ms apropiada? Dada una secuencia de imgenes particular,qu sonidos deben acoplarse a el la? Si los sonidos y las imgenes se crean en forma concurrente,cmo deben ser stas dos dimensiones integradas y compuestas?

Diversos autores han propuestos distintos enfoques a estas preguntas los cuales varan significativamentey se basan en distintos principios tales como correspondencia entre armona visual y sonora, modeladoaudiovisual de principios matemtico s, sonificaci n de datos o imgenes, control algortmico oexploracin paramtrica de espacios (Cdiz 2006). Es importante notar que no existe una solucinnica o correcta, porque el problema radica en la combinacin de dos medios diferentes en el mismoeje de tiempo (Hunt et al. 1998) y en la mayora de los casos se trata de una relacin no determinstica

RESUMEN. Este artculo describe un proceso de derrame expresivo provocado por la tecnologautilizada como herramienta para la composicin musical y por particulares experiencias y otros estudiostericos del autor. Reflexiona, finalmente, en torno a niveles de competencia y arte sonoro.

Palabras clave: arte sonoro; punto y tono; msica y tecnologa.

Esta expansin de dominios, iniciada en el sonido, se fund personalmente en la velocidad y en ladiversidad. En la facilidad para obtener casi infinitas posibilidades de una misma lnea rtmico-meldica, con retrogradaciones, inversiones, variaciones de orden sintctico y otras mltiplesherramientas dirigidas a la sintaxis sonora y en el mbito del audio, a complejas derivaciones de unamisma seal, focalizando el inters en precisos eventos que trascendan al ataque, la mantencin yliberacin de un suceso o evento sonoro. Fue as como a travs de un programa editor analgicovirtual, surgieron materiales que sirvieron de sustento para facturar obras iniciadas en patches o timbrescon determinados comportamientos que, en su desarrollo temporal, presentaban diversas apariencias,constituyndose en elementos timbrsticos que trascendan el fenmeno cualitativo en lo acsticopropiamente tal, para transformarse en realidad, en micro-composiciones que dialogaban entre s,dentro de una obra. A estos complejos timbrsticos los denomin: objetos sonoros dinmicos Lainvitacin tecnolgica se encontraba an en un terreno conocido: exclusivamente el dominio sonoro.

Esta proliferacin de recursos, aparte de la inversin de tiempo que implic adquirir protocolos paraactivarlos, se convirti en un acto de negociacin, donde se hizo necesario armonizar la idea primigenia,con las mltiples posibilidades mencionadas que brotaban de la tecnologa. Cuestin que, en ocasiones,adquiri la forma de una trampa, ya que la herramienta aspiraba a sustento esttico de los trabajos.Peligrosa tentacin que vi confirmada en encuentros, festivales y en muchos discos de msicaelectroacstica-acusmtica, que llegaron a mis manos, en donde el fundamento esttico, se encontrabaa modo de fetiche, en la herramienta en s, es decir, vlido por la fraccin de tiempo que durara lanovedad. En este primer acercamiento a la tecnologa, sin an haberme alejado del sonido, la cantidadde posibilidades y herramientas disponibles, se hizo sentir en la resultante sonora final, al observarseobras con un contenido timbrstico mucho ms complejo que el que haba venido utilizando hasta esafecha.

El primer factor determinante en esta apertura, casi sinestsica sin embargo, fue Punto y Lnea sobreun plano1, en donde Wassily Kandinsky refiere su obra pictrica en trminos musicales, estableciendo

2. Cielo Roto. Obra audiovisual realizada con Punto y Tono. Estrenada con la orquesta sinfnica de la Universidad de La Serena,grupo de tambores y coro sinfnico de la Universidad de La Serena, ms luces animadas, diciembre 1998(Ver en: http://www.youtube.com/watch?v=rFqmaqUz8U0).1. Kandinsky 1996.

3. Adorno 2008.

4. Boulez 2001. 1. El primer fongrafo fue inventado por Thomas Alva Edison en 1877.

2. Chion 1983.

* Esta investigacin cont con el apoyo del Fondo de Fomento Audiovisual del Consejo Nacional de la Cultura y las Artes,Gobierno de Chile y Conicyt (PSD07).

1. Detalles y mayor informacin sobre estas obras y el mtodo basado en lgica difusa se encuentran enhttp://www.rodrigocadiz.com/audiovisual.

Figura 1: Composicin audiovisual basada en estrategias de mapeo difuso.

2. Tanto el software generado como detalles sobre la obra se encuentran disponibles en http://www.rodrigocadiz.com/audiovisual.

Figura 2: Composicin audiovisual basada en estrategias de mapeo difuso. En la etapa deentrenamiento se utilizan datos provenientes de un video conocido.

Figura 3: Composicin audiovisual basada en estrategias de mapeo difuso. En esta etapa es posible generarparmetros sonoros en respuesta a material visual desconocido.

4. Si el trmino aqu utilizado es pertinente o no, escapa a los objetivos de este artculo.

3. Schumacher 2007: 71-80. Chion 1983. 5. Becerra-Schmidt 2008.

6. Lebl 2009.7. Espero que se me entienda bien: en ningn caso estoy negando las referencias extramusicales que una obra pueda tener, nimenos planteando una suerte de nuevo neo-clasicismo.

Or sin ver

R E F L E X I O N E S26

o "artstica" cuya modelacin es muchsimo ms compleja que las posibilidades de las herramientasestudiadas.

En este artculo se describe una estrategia de composicin audiovisual a travs del mapeo de parmetrosde una dimensin hacia la otra. Este mapeo se inspira en dos ideas fundamentales: isomorfismo ysinestesia. El iso morfismo se aplica cuando cambios en una estructura pueden mapearse en formaconsistente a cambios en la otra (Hofstadter 1999). La sinestesia ocurre cuando un estmulo en unamodalidad sensorial, por ejemplo la visual, automticamente gatilla una percepcin en otra modalidad,por ejemplo la auditiva, en ausencia de cualquier estimulacin directa en esta segunda modalidad(Harrison y Baron-Cohen 1997).

Un mtodo de composicin audiovisual basado en lgica difusa y principios sinestsicos ha sidopropuesto por uno los autores como una posible alternativa para componer obras audiovisuales (Cdiz2006). Este mtodo permite un mapeo flexible entre informacin o datos provenientes de distintosdominios, en este caso el visual y el auditivo. El mapeo se logra mediante un sistema de lgica difusa,el cual mediante simples reglas lingsticas, es capaz de generar comportamientos o mapeos no linealesy de alta complejidad. Este mapeo difuso permite traducir informacin visual a auditiva o viceversa.

Una aproximacin similar es considerar un sistema de redes neuronales para el mapeo. Una red neuronalartificial consiste en la interconexin de un gran nmero de neuronas artificiale s, basadas en elcomportamiento de una neurona biolgica. Una red de este tipo puede ser entrenada para resolverciertas tareas especficas, como por ejemplo, clasificacin o reconocimiento de patrones. Tambin esposible construir redes auto-organizativas, que no necesiten de entrenamiento externo. A travs de unared neuronal, es posible aprender caractersticas de algn mapeo ya existente para posteriormenteaplicarlo en otro contexto.

A continuacin se abordan brevemente los principales aspectos en que se basan ambos mtodos:sinestesia, isomorfismo, lgica difusa y redes neuronales. Luego se describen los dos enfoques endetalle, para finalizar con las conclusiones y reflexiones finales.

Isomorfismo

El trmino isomorfismo significa etimolgicamente "igual forma". Cuando dos estructuras complejaspueden mapearse en la otra, basado en el hecho de que cambios en una de ellas causa cambiosconsistentes en la otra, se habla de isomorfismo. Un isomorfismo entre dos dimensiones implica queel estudio de cada una puede reducirse al de la otra. El isomorfismo, en un sentido amplio, se refierea la construccin de modelos de sistemas similares al modelo original. Este tipo de relacin es la queHofstadter (1999) llama transformaciones que preservan informacin.

De acuerdo con la teora neo-institucionalista del anlisis de las organizaciones se entiende porisomorfismo el proceso por el que dos organizaciones diferentes acaban adoptando una forma similar(Coller et al. 1999). En este contexto, el principio de isomorfismo supone un proceso por el cual lascaractersticas de las organizaciones tienden a ser compatibles con el entorno en el cual se encuentrany desarrollan su actividad. Si el entorno es homogneo, las formas organizativas sern similares oincluso una sola, mientras que si existen diversos tipos de entornos van a poder ser posibles distintostipos o poblaciones de organizaciones (Villacorta 1999).

27

En el contexto de la composicin audiovisual, esta idea se aplica en la generacin de similitudesestructurales o isomorf ismos en los dominio s visuales y auditivos. Al haber isomorfismo, haycorrespondencia entre los principios que rigen el comportamiento de las entidades de ambos planos,las cuales pueden ser intrnsicamente muy distintas. A travs de esta idea es posible crear en un plano,el visual por ejemplo, una estructura isomrfica a otro plano distinto, como el auditivo en este caso.

Sinestesia

El fenmeno neurolgico de la sinestesia, que se define como un cruce involuntario de los sentidos,ha inspirado a muchos artistas a crear obras basadas en la experiencia sinestsica, donde se intentacrear o dar la impresin de una fusin de dos o ms sentidos al percibir la obra de arte. Algunos autoresincluso postulan que el fenmeno de la sinestesia constituye la base de toda experiencia artstica(Heyrman 2005). A lo largo de la historia, se han propuesto diversos mtodos y enfoques para creararte sinestsico, y desde la aparicin de la tecnologa electrnica, msica y arte visual han co-existidoen el mismo medio, facilitando la integracin entre ambas disciplinas (Hertz 1999).

La sinestesia se define tcnicamente como una experiencia fsica involuntaria de una asociacin modalcruzada y se produce siempre que la estimulacin de uno de los sentidos causa que se active tambinotro sentido diferente. Mientras que para las personas sinestsicas sta es una manera natural e integralde percibir, para la mayora de las personas esta compleja forma de percepcin puede parecer enocasiones difcil de entender (Berman 1999). El tipo ms comn de sinestesia se denomina audicincolorida y corresponde al fenmeno de ver colores al momento de escuchar msica o sonidos vocales(Van Campen 1999).

El arte basado en una fusin de los sentidos se denomina comnmente como arte sinestsico (Hertz1999). Esto puede deberse fundamentalmente a la apropiacin del trmino sinestesia por parte dealgunos historiadores del arte que han escrito sobre las inter-relaciones entre la msica y el arte visual(Berman 1999). La conexin entre sinestesia y arte es muy antigua y puede ser observada en gneroscomo la msica visual, animacin computacional, cine abstracto, poesa simblica, multimedios o arteintermedial (Berman 1999, Van Campen 1999). Sin embargo, es importante distinguir el trminosinestesia del trmino arte sinestsico, ya que este ltimo refiere a una accin deliberada, al productode un aspiracin artstica, y no debe confundirse con el fenmeno neurolgico de la sinestesia. Laspersonas, no las obras de arte, son sinestsicas (Hertz 1999). Por lo dems, la mayora de las veces,este tipo de obras son creadas para audiencias que no son sinestsicas.

Ahora bien, conviene tener presente que la sinestesia no es una mera asociacin fortuita de cualidadeso fenmenos aislados entre dos dominios sensoriales, sino que expresa dimensiones o atributoscorrelacionados (Marks 1997). En este sentido, se puede afirmar que la sinestesia acta como un mapeoisomrfico desde una modalidad sensorial a otra. Es ste el aspecto de la sinestesia que hemos tenidoen mayor consideracin a la hora de elaborar nuestro trabajo.

Parmetros Auditivos y Visuales

Para llevar a cabo un mapeo de informacin entre los planos visual y auditivo se requiere identificarparmetros relevantes en ambos dominios. Como punto de partida, resulta interesante identificaraquellos parmetros importantes desde un punto de vista perceptual. En el caso de los parmetros

28

auditivos, Seashore (1967: 16) menciona que "... las ondas sonoras tienen cuatro, y slo cuatro,caractersticas, a saber, frecuencia, amplitud, duracin y forma. Todo tipo de sonido imaginable, desdelos tonos puros a los ms ruidosos se pueden registrar y describir en trminos de estos cuatro". Seashoreutiliza el trmino "forma" para referirse al timbre. Lipscomb (1995) identific a la altura, intensidady timbre como los parmetros pertinentes perceptualmente en el dominio sonoro y a la ubicacin,forma y color en el dominio visual.

En trminos de relaciones de audio-visuales, Lipscomb y Kim (2004) investigaron la relacin entrelos componentes visuales y auditivos en compuestos audio-visuales. El anlisis revel diferenciasestadsticamente significativas entre-sujetos, sugiriendo las relaciones primarias siguientes: altura conposicin vertical, la intensidad con el tamao y el timbre con la forma. La duracin no se identificespecialmente con ningn parmetro visual. El color fue relacionado de igual forma, con altura eintensidad.

En trminos de la imagen en movimiento, resulta adecuado considerar sus estructuras de frecuenciaespacial y de color. Es til construir para estos efectos una estructura visual tridimensional compuestapor dos dimensiones espaciales (alto y ancho) y una de intensidad de color.

Otra opcin es considerar la teora de los momentos, que proporciona una interesante y til alternativapara la representacin de formas de objetos. Los momentos llamados invariantes son descriptoresampliamente utilizados en el campo de la visin artificial, sobre todo en el reconocimiento de patrones.Los momentos proporcionan una representacin genrica de cualquier objeto, muchas veces intuitiva(como los momentos de orden menor, que se relacionan directamente con el rea, el centroide, losmomentos de inercia o la orientacin del objeto en la imagen), y que se pueden obtener tanto de objetossimples como de objetos complejos. Los momentos se obtienen fcilmente de cualquier objeto situadoen el plano imagen y de esta forma, el emparejamiento de las caractersticas del objeto se hace a msalto nivel del que se realiza con los puntos caractersticos, evitando as el costoso mapeo de cada puntocaracterstico entre dos imgenes obtenidas durante el control visual. Al seleccionar los momentoscomo caractersticas se pretende conseguir separar el movimiento traslacional del rotacional (Mery2006).

A continuacin se presentan dos enfoques de composicin audiovisual basados en lgica difusa y redesneuronales respectivamente.

Composicin Audiovisual Basada en Lgica Difusa

Este primer enfoque se basa en un sistema de lgica difusa que permite un mapeo flexible y no linealde informacin visual o auditiva hacia la otra y permite la generacin de relaciones altamente complejasmediante reglas de comportamiento muy simple.

La lgica difusa es un concepto derivado de la rama matemtica de los conjuntos difusos (Zadeh 1965).En un sentido, se refiere a un sistema lgico que generaliza la lgica bivalente para razonar bajoincertidumbre, permitiendo mltiples valores de verdad. En un sentido ms amplio, se refiere a todaslas teoras y tecnologas que emplean conjuntos difusos (Yen y Langari 1999). En general, cuando lalgica difusa es aplicada a los computadores, les permite emular parte del razonamiento humano,cuantificar informacin imprecisa y tomar decisiones basadas en datos incompletos (Kosko 1993).

29 30

Tanto los parmetros visuales como los auditivos son convertidos en parmetros difusos, los quepertenecen en distintos grados a categoras previamente establecidas. Por ejemplo, el tamao de unobjeto visual puede ser catalogado como pequeo, mediano o grande. En un esquema de clasificacintradicional, dicho objeto debera pertenecer a slo una de aquellas categoras. En un sistema difuso,tal objeto pertenece en un cierto grado a cada una de las categoras. Esto se corresponde con el sentidocomn y un razonamiento ms humano, ya que usualmente asignamos categoras con un criterio difusoy no con criterios absolutos.

El sistema de lgica difusa consiste en una serie de reglas de inferencia del tipo SI ... ENTONCES,las cuales se aplican a las variables difusas de entrada para generar las variables difusas de salida. Unaregla del sistema podra ser la siguiente:

SI el tamao es grande y la forma es complicada, ENTONCES la altura es baja y la

intensidad es mediana.

En esta regla los conceptos grande, complicado, bajo o mediano son difusos, no estn definidos demanera precisa. Al combinar varias de estas reglas que involucren a todas las entradas y salidas delsistema se genera entonces el mapeo deseado. Este enfoque basado en lgica difusa fue implementadoen el ambiente Max/MSP/Jitter, a travs del Fuzzy Logic Control Toolkit (Cdiz y Kendall 2006). Lasobras audiovisuales ID-FUSIONES (Cdiz 2006) y Time Exposure (Cdiz y Gonzlez 2008) fueroncompuestas utilizando este sistema1.

Composicin Audiovisual Basada en Aprendizaje

Tanto los sistemas difusos como las redes neuronales son herramientas de inteligencia artificial quepermiten obtener soluciones a problemas muy difciles de abordar a travs de otras aproximaciones.Estas herramientas han sido aplicadas con xito en problemas relacionados con identificacin desistemas, prediccin de series de tiempo, clasificacin de patrones y control automtico. Su ventajams importante radica en solucionar problemas que son demasiado complejos para las tcnicasconvencionales: problemas que no tienen un algoritmo especifico para su solucin, o cuyo algoritmoes demasiado complejo para ser encontrado.

Las redes neuronales artificiales son sistemas paralelos para el procesamiento de la informacin,inspirados en el modo en el que las redes de neuronas biolgicas del cerebro procesan informacin.

Estas redes estn compuestas, al igual que el cerebro, por un nmero muy elevado de elementos bsicos(las neuronas), altamente interconectados entre ellos y con modelo de respuesta para cada elementoen funcin de su entorno muy parecido al comportamiento de las neuronas biolgicas. Estos modelosson simulados en ordenadores convencionales y es el comportamiento colectivo de todos los elementoslo que le confiere esas caractersticas tan peculiares para la resolucin de problemas complejos.

31R E F L E X I O N E S R E F L E X I O N E S R E F L E X I O N E S25 32 33R E F L E X I O N E S 34

an audio visual context: 1. Matching 2. Audio quality. Psychomusicology, 13:133-153.Kim, E., y S. D. Lipscomb. 2003. An investigation into the relationship between auditory and visual

signals in a multimedia context. Proceedings of the 2003 Conference of the Society for MusicPerception and Cognition, Las Vegas, Nevada.

Klir, G. J. y B. Yuan. 1995. Fuzzy Sets and Fuzzy Logic: Theory and Applications. Upper SaddleRiver, New Jersey: Prentice-Hall.

Kosko, B. 1991. Neural networks and fuzzy systems : a dynamical systems approach to machineintelligence. Englew ood Ciffs , NJ London : Prenti ce Hall ; Prenti ce Hall Internati onal.

-------. 1993. Fuzzy Thinking: The New Science of Fuzzy Logic. New York: Hyperion.-------. 1992. Neural networks for signal processing. Englewood Cliffs , NJ: Prentice Hall.Landy, L. 2001. From Algorithmic Jukeboxes to Zero time Synthesis: A Potential A-Z of Music in

tomorrows World (A conference Provocation). Organised Sound, 6 (2): 91-96.Lipscomb, S. D., y R. A. Kendall. 1994. Perceptual judgement of the relationships between musical

and visual components in film. Psychomusicology, 13:60-9.Lipscomb, S. D. 1995. Cognition of Musical and Visual Accent Structure Alignment in Film and

Animation. Ph. D. thesis, University of California, Los Angeles.Lipscomb S. D. y E. Kim. 2004. Perceived match between visual parameters and auditory correlates:

an experimental multimedia investigation. Proceedings of the 8th International Conferenceon Music Perception and Cognition. Evanston, IL, USA.

Lokki, T., J. Hiipakka, R. Hanninen, T. Ilmonen, L. Savioja, y T. Takala. 1998. Realtime audio-visualrendering and contemporary audio-visual art. Organised Sound, 3(3):219-233.

Marks, L. E. 1997, On Colored Hearing Synaesthesia: Crossmodal Translations of Sensory Dimensions.Baron-Cohen, S. y Harrison, J. E. (eds.) (1997), Synaesthesia: Classic and ContemporaryReadings, Blackwell, Cambridge, Massachusetts, pp. 49-98.

Mery, D. 2006. Extraccin de caractersticas, Apuntes en lnea, extrado de http://www.ing.puc.cl/~dmery [ltimo acceso agosto de 2009].

Rosar, W. H. 1994. Film music and Heinz Werner's theory of physiognomic perception.Psychomusicology, 13:154-165.

Rudi, J. 1998. Computer music animations. Organised Sound, 3(3):193-198.Seashore, C. E. 1967. Psychology of Music. New York: Dover Publications.Sirius, G. and E. F. Clarke .1994. The perception of audio-visual relationships: A preliminary study.

Psychomusicology, 13:119-132.Van Campen, C. 1999. Artistic and Psychological Experiments with Synesthesia, Leonardo 32:9-

14.Villacorta, D. 1999. El principio de isomorfismo en la teora de la ecologa de las poblaciones. XIII

Congreso Nacional, IX Congreso Hispano-Francs, Logroo (La Rioja), Vol. 2, 755-760.Von Altrock, C. 1997. Fuzzy logic and neurofuzzy applications in business and finance. Upper Saddle

River, N.J.: Prentice Hall PTR.Whitney, J. 1980. Digital Harmony: On the Complementarity of Music and Visual Art. Peterborough,

New Hampshire: McGraw-Hill.Yen, J., y R. Langari. 1999. Fuzzy Logic: Intelligence, Control, and Information. Upper Saddle River,

New Jersey: Prentice Hall.Yeo, W. S., Berger, J. y Lee, Z. SonART: A framework for data sonification, visualizatio n and

networked multimedia applications. Proceedings of the 2004 International Computer MusicConference, Miami, FL.

Ying, H., Y. Ding, S. Li, y Chao, S. 1999. Fuzzy systems as universal approximators, IEEE Trans.Syst., Man Cybern Part. A: Syst. Hum, 29(5).

Zadeh, L. A. 1965. Fuzzy Sets. Information and Control, 8:338353.

35R E F L E X I O N E S 36

nexos y conjunciones entre ambos. Para desarrollar este estudio, el ao 1997 adquirimos con aportesde la Universidad de La Serena, licencia del programa Borland Delphi. All, junto a Manuel Jander,ex alumno de nuestra Escuela, iniciamos un trabajo que vio la luz el ao 1998. Ello permiti el estrenode la obra sinfnico-coral y multimedial: Cielo Roto2 y la publicacin de la primera versin delprograma que en honor al texto que lo haba inspirado, llamamos: Punto y Tono. Este softwaretransforma archivos de mapas de bits a MIDI y a la inversa, proporcionando herramientas para componerdibujando lneas y puntos. El doble flujo de ingreso y salida de datos, permite visualizar y analizargrficamente archivos musicales con este formato, entregando datos en colores de desplazamientos,imitaciones, y de la dinmica, mediante la intensidad de los mismos, utilizando como extremos elblanco como mxima intensidad y, en el otro extremo, el negro, como representacin del silencio,adems de disparar imgenes al ejecutar un instrumento MIDI.

Esta herramienta se introdujo, prcticamente sin que me diera cuenta, en la gnesis de estas composiciones,al contribuir al rechazo o aprobacin de ciertas decisiones musicales, que proporcionaran simultneamenteresultados visuales convincentes y, a la inversa, de imgenes que otorgaran esperables resultadossonoros. Hubo, adems, que incorporar criterios ms complejos en el proceso, no contempladosanteriormente en las decisiones musicales, como por ejemplo: componer msica pensando en lavelocidad en que se desplazaran las imgenes que dicha sonoridad producira; la forma en quedesaparecan o apareceran, o de qu modo la dinmica (luminosidad de la pieza) afectara el resultadofinal, es decir, exigi desde el inicio del proceso, la composicin de sonidos con imgenes resultantesy simultneas y en movimiento o a la inversa. Este aspecto, se constituy en un problema de competencias,pues, no me considero una voz autorizada en el mbito de las artes visuales. Por ello, fue menesterpensar la composicin, ahora, audiovisual, en trminos colaborativos.

Punto y tono, provoc dos lneas de investigacin: por una parte, de carcter audiovisual y, por otra,de carcter pedaggica. En el mbito audiovisual, en permanentes correcciones y perfeccionamientosurgidas del ejercicio de la composicin. Ahora, obligado a imaginar cmo sonara la resultante delas imgenes, transformadas en partituras MIDI. Desde ese momento, para la elaboracin de herramientas,comenzamos a pensar en trminos bifocales: en cmo la inversin, retrogradacin, ampliacin ydisminucin de motivos rtmico-meldico-timbrsticos, por ejemplo, causaban cambios proporcionalesen la imagen y por otra, provenientes desde el mismo programa: el hecho de permitir el anclaje de undeterminado color con un timbre y a la inversa. Se obtuvo un ambiente de trabajo que obligaba averificar otras formas expresivas, a las cuales no me encontraba familiarizado. Otro asunto llamativo,surgi en lo polismico, o en la pluralidad que adquiran determinados signos, independiente de sunaturaleza visual.

De la accin de disparar imgenes mediante un proyector de datos, surgi un inesperado recursoexpresivo: el espacio interior entre sta y el equipo. De ese modo, con una mquina de humo, cubrimosel espacio existente y lo teimos con colores e imgenes provenientes de Punto y Tono y, al mismotiempo, mediante espejos colgantes, proyectamos las fuentes luminosas en mltiples sentidos. Esteespacio vaco, adems, fue utilizado para que bailarines, en principio estudiantes universitarios (vestidosde blanco), fueran pintados con luces de determinados colores y la coregrafa asociara arbitrariamente

37R E F L E X I O N E S 38

dise aparatos mecnicos sonoros, resonadores susceptibles de estimular por diversos medios, de talmodo que se ubicaran en un lugar fijo y el auditor debera construir con su imaginario la obra,dependiendo de las decisiones que tomara al desplazarse de una fuente sonora (y visual, ya que cadagenerador, debera funcionar en ambos sentidos) a otra. En esta bsqueda, encontr un suikinkutsu(significa: koto de agua), instrumento japons que se utiliza en los jardines interiores de ese pas,consistente en una vasija de arcilla que se entierra invertida y tapada con un orificio sobre su parteinferior que queda boca arriba y otro orificio a un costado, a 10 centmetros del nuevo fondo, pordonde deja escurrir el agua, es decir, nunca logra acumular mayor cantidad. Esta vasija, ubicada sobreuna superficie de arena y rodeada con rocas, que cumplen con un rol de amplificacin, proyecta elsonido de gotas de agua que se dejan caer en su interior. Posteriormente fabriqu uno de superficieinterior irregular, para provocar distintas frecuencias, que en el caso del instrumento japons semantenan con mnimas variaciones. As, estrenamos Digesis obra que incluy este instrumento queobtena las gotas de un gran trozo de hielo, metfora de un iceberg derritindose, dentro de un contextode diversas instalaciones que producan el sonido en forma mecnica: desde una caja de vidrio pordonde se estimulaban con viento, cientos de pelotas de ping pong, a un cuarteto de bronces, cuyosmsicos, mientras tocaban sus instrumentos, se desplazaban por sobre vidrios, produciendo, as, diversassonoridades al quebrarse, sonoridad utilizada como metfora de peligro. Paralelamente, segu fabricandoresonadores mecnicos diversos, utilizando distintos medios para estimularlos, hasta que llegu afabricar una cuerda armnica, que emita diferentes parciales mediante energa elica. De all, surgila idea de construir una gran arpa elica, la que finalmente, producto de un trabajo multidisciplinarioconstituido por un fsico, un escultor y un luthier, qued instalada en la cortina del Embalse Puclaro.Esta monumental obra de 9 metros de ancho por 4,5 de alto, permiti generar una cantidad de obras,entre las que destacan: Texturas Mixtas Derivadas para suikinkutsu, que contrasta con sus sonidosstaccati con los largos y permanentes del arpa elica, Enrgesis electrnica, trompeta, clarinete bajo,contrabajo y arpa elica y Valle del compositor y trompetista Markus Stockhausen para la mismaconfiguracin instrumental.

Desde all, en adelante, increment mis esfuerzos en generar obras que cumplieran como requisitosel deber de:1. Ser interactivas.2. Incorporar medios expresivos diversos.3. Permitir que el espectador penetrara espacialmente dentro de ellas. Es decir, exigir la activaparticipacin del pblico en un espacio fsico.

Con estas experiencias previas, he llegado a disear diversos instrumentos mecnicos que generan elsonido a travs de piedras, metales, maderas, agua, resortes y, fundamentalmente, mediante energacintica, elica y solar. Por otra parte, existen dos formas bsicas: una que se instala en el interior deuna sala, y otra, al aire libre. En este caso, el pblico se desplazar por este parque temtico artstico,en donde a travs de pedales accionar diversos resonadores, sobre todo los elicos, de tal manera dealterar las frecuencias de los sonidos producidos por los caprichos del viento. Dependiendo del lugardonde se encuentre ubicado el receptor, asistir a una particular visin y audicin de la obra, siendoinvitado, adems, a participar en la ejecucin de la misma. Esta idea de una obra que es paralelamenteun parque temtico, se conectar con lo visual a travs del diseo a cargo de especialistas en el rea.Fenmeno similar al de la pera o el cine, en donde distintos profesionales participan en la generacinde una idea artstica comn. Por otra parte, funcionar tambin de noche, utilizando como soporte

39R E F L E X I O N E S

Ambas estrategias han sido implementadas en software, mediante la plataforma Max/MSP/Jitter, elcual es un ambiente de desarrollo de material audiovisual ampliamente utilizado en el mbito de lacreacin artstica con tecnologa y se encuentra disponible para su uso en la direccinhttp://www.rodrigocadiz.com/audiovisual.

Bibliografa

Bandemer, H. y S. Gottwald. 1995. Fuzzy sets, fuzzy logic, fuzzy methods with applications. Chichester,New York: J. Wiley.

Berman, G. 1999. Synesthesia and the arts. Leonardo, 32:15-22.Blakemore, C., Campbell, F. W. 1968. "On the existence of neurones in the human visual system

select ively sensitive to the orientation and size of retinal images. J. Physiol. (London)203(1):237-260.

Bullerjahn, C. and M. Guldenring. 1994. "An empirical investigation of effects of film music usingqualitative content analysis. Psychomusicology, 13:99-118.

Cdiz, R. 2006. A Fuzzy-Logic Mapper for Audiovisual Media. Computer Music Journal, 30:1, pp.67-82.

-------. 2006a. Compositional Control of Computer Music by Fuzzy Logic, Ph.D. Thesis, NorthwesternUniversity.

Cdiz, R. y G. Kendall. 2006. Fuzzy Logic Control ToolKit: Real-time Fuzzy Control for Max/MSPand Pd. Proceedings of the International Computer Music Conference, New