Dr.Godfried-Willem RAES

Kursus Experimentele Muziek: Boekdeel 6

Hogeschool Gent : Departement Muziek & Drama

6520:

Klank <-> Beeldkonversie

Elkeen zal wel vertrouwd zijn met de idee van de mogelijkheid of onmogelijkheid tot verklanking van vizuele beelden. Historische voorbeelden zijn er in overvloed: Modeste Mussorgsky's beelden uit een tentoonstelling is wellicht het meest voor de hand liggend.

In deze eeuw hebben talloze kunstenaars gepoogd, gebruik makend van de diverse ter beschikking staande technologien, dergelijke 'vertalingen' te pas en te onpas te realiseren.

Waar echter Moessorgsky (1839-1881) eigenlijk niet het beeld (het schilderij) zelf in muziek omzet, maar veeleer een poging doet om de expressieve geladenheid van de manier waarop het beeld in het schilderij is weergegeven in muziek op equivalente wijze uit te drukken, is er niet zo'n principieel probleem. Mussorgsky's kompositie ontleent zijn expressieve spankracht o.i. aan intern muzikale expressieve en syntaktische faktoren en eigenschappen en geenszins aan een of ander mechanisch procédé waarvolgens een beeld in een equivalent geluid kan worden omgezet. Een werkelijk probleem krijgen we immers pas wanneer we van welkdanige mechanische omzetting ook, een met het beeld gelijkaardig expressief klankverloop in de tijd gaan verwachten. Immers voor dergelijke verwachting ontbreekt elke wetenschappelijke basis.

We weten het wel, talloze komponisten en kunstenaars hebben van allerlei synesthesien gewag gemaakt (cfr.1), maar wetenschappelijk onderzoek heeft aangetoond, dat synesthesien tussen klank en beeld, bij personen die hen ervaren, in hoge mate individueel verschillend zijn. Er is geen enkele perceptorische grond om een soort 'mapping' van visuele gewaarwordingen in auditieve te postuleren. Wel kan uiteraard gewezen worden op vele louter kultureel bepaalde verbanden. Zo is bijvoorbeeld het verband tussen de kleur zwart en rouw, en overeenkomstige muziek die droefenis uitdrukt, zuiver kultureel bepaald. Vergeten we niet dat bvb. in China de rouwkleur wit is!

Koppelingen van bepaalde noten of toonhoogten aan kleuren, meer nog dan die van bepaalde toonsoorten, zijn klinkklare onzin wanneer men ze loskoppelt van de kulturele bronnen die in vele gevallen dergelijke verbanden kunnen verklaren.(cfr.2)

Een wetenschappelijk navorser in de Philips laboratoria, Peter Meijer, heeft in 1992 een techniek ontwikkeld waarmee het beeld afkomstig van een zwart-wit videokamera integraal en één-éénduidig kan worden omgezet in een akoestisch signaal dat door het menselijk oor kan waargenomen worden.(cfr.3) De omzetting maakt gebruik van een zgn. 'dedicated computersystem' en is, en hierin ligt het nieuwe van dit onderzoeksresultaat, volkomen omkeerbaar. D.w.z., er werd tevens omzettingshardware en een komputersysteem gebouwd dat in staat is dit auditieve signaal terug om te zetten in het oorspronkelijke visuele beeld.

Technisch gezien legt het systeem elk beeld vast in digitale vorm. Elk beeld wordt daarbij opgedeeld in een raster van 64 rijen en kolommen (64x64), overeenkomend met 4.096 pixels. Elk pixel wordt gecodeerd als een 16-bit getal, waarvan de grootte een maat is voor de helderheid van het pixel (grijswaardenschaal van &H0 voor zwart tot &HFFFF voor wit). Deze waarden worden vervolgens via een 'mapping' omgezet in het uiteindelijke auditieve signaal.

Het systeem, zoals hier beschreven, heeft geen enkele artistieke ambitie en de toepassingen ervan worden veeleer gezocht in de gehandikaptenzorg, waar er perspektieven zouden zijn om het in te zetten als oogprothese voor blinden, vooropgesteld natuurlijk, dat zou kunnen worden aangetoond dat de menselijke hersenen in staat zijn een gelijkaardige omzetting te doen als die welke plaatsgrijpt in het tweede komputersysteem bij de terug-vertaling van de auditieve informatie in de vizuele. Dit laatste punt valt echter nog geheel te bewijzen.

We weten het natuurlijk wel, ook vroeger werden systemen ontwikkelt waarbij vizuele informatie werd omgezet in een taktiele kode voor blinden: het Braille-schrift, maar dit laatste vertrekt helemaal niet van vizuele informatie maar wel van een eenduidige en niet eens erg komplexe verzameling tekens: het alfabet.

Dat dit mogelijk is en werkt wisten we overigens reeds veel langer: ook de morsekode, zo lang in gebruik in de telegrafie, is daarvan een voorbeeld.

Het probleem met beeldomzetting stelt zich inderdaad niet wanneer het gepresenteerde beeld een weergave is van een gestruktureerde kode, maar alleen daar waar het beeld zuiver beeld is of de kode uiterst meerduidig.

We mogen echter, ondanks de sterke skepsis hier tot uitdrukking gebracht, niet zo ver gaan te beweren dat het probleem van expressief relevante beeld-klank omzetting nooit zal kunnen worden opgelost. Een oplossing zal echter, indien ze kan worden aangereikt, gebruik moeten maken van 'intelligente perceptie technieken', waarbij dan wellicht niet de objektieve eigenschappen van de beeldinformatie, maar wel de associatieve en kultureel bepaalde eigenschappen worden benut en omgezet in een of andere equivalente vorm.

Voetnoten:

(1) Zo associeerde bvb. Beethoven Si-klein aan zwart.

Arthur RIMBAUD associeerde kleuren aan de afzonderlijke klinkers van de franse taal: A= zwart, E=wit, I=rood, O=blauw, U=groen . Andere even Franse dichters maakten eveneens dergelijke associaties, maar hun 'mapping' was telkens weer totaal verschillend.

Ook de associatie -wellicht ingegeven door het taalgebruik zelf- tussen vizuele kleur en klankkleur of timbre van instrumenten werd en wordt nogal eens gemaakt: Zo suggereerde R. Bosanquet in 1876 om orkestpartituren in verschillende kleuren te noteren, uitgaande van een vermeende konsensus onder de musici waarvolgens de snaren en stemmen zwart, het koper en slagwerk rood, en de houtblazers blauw als kleur toegewezen zouden moeten krijgen...

Vergelijken we bvb. de kleurassociatietabellen van Rimsky-Korsakof met die van Scriabin, dan merken we nauwelijks enige overeenkomst:

Do groot wit rood

Sol groot bruin-goud,helder oranje-rood

Re-groot Geel,zonnig geel schitterend

La groot Rose, helder groen

Mi groot blauw,saffier blauwig-wit diepgroen

Si-groot somber donkerblauw blauwig-wit

Fa#-groot grijsgroen helder blauw

Reb-groot mistig warm violet

Lab-groot grijs-violet purper-violet

Mib-groot blauwgroen metalliek, staalkleur

Sib-groot - metalliek, staalkleur

Fa-groot Groen Rood

Ook O.Messiaen in onze eeuw, beweerde dergelijke synestesien te kennen.

(2) Een ander oud en o.i. mythish verhaal steunt op een vermeende fysische grondslag in de overeenkomst van toonhoogte (frekwentie van het geluid) en kleur (frekwentie van een elektromagnetische golf).

De kleurverdeling volgens Newton (zeven hoofdkleuren) werden geassocieerd aan de zeven noten van de toonladder in ons toonsysteem. Dergelijke associatie mist echter elke grond omdat:

1. geluid geen elektromagnetisch verschijnsel is, maar luchtdrukmodulatie. Er is geen fysisch verband tussen beide verschijnselen.

2. het frekwentiegebied van het zichtbaar licht waarvoor ons oog gevoelig is, nauwelijks een 'oktaaf' omvat (nml. van ca. 451. 10¹²Hz tot 780.10¹² Hz) terwijl het audiofrekwentiebereik (20Hz-20000Hz) zo'n 10 oktaven omvat. Het oktaaf-effekt, zo fundamenteel voor de audioperceptie en dus voor de muziek, waarvolgens een voot 'repeteert' telkens we de frekwentie verdubbelen, heeft in het vizuele gebied geen enkele parallel. Evenmin bestaat er in het gebied der kleuren zoiets als transpositie of transponeerbaarheid met behoud van esthetisch-expressief effekt.

3. Kleurwaarneming is bijzonder gradueel en wordt ook op deze wijze in menselijke picturale expressievormen gebruikt. In de muziek worden toonhoogtes als diskontinue variabelen gebruikt. Wat tussen de toontrappen inligt, wordt niet als een nuance, maar wel als een 'valse' noot ervaren.

4. Kombinaties van kleuren (additief of substractief) leidt tot geen enkel zinnig equivalent op het gebied van muzikale harmonie.

Twee gemengde kleuren leiden tot een nieuwe kleur waarvan wij de bestanddelen niet meer kunnen waarnemen, terwijl wij van een tweeklank steeds de beide toonhoogtes kunnen onderscheiden en waarnemen. Tot het absurde doorgetrokken: de optelling van alle spektrale kleuren levert wit licht, de optelling van alle toonhoogtes levert een brede ruis-kluster.

5. Experimenteel onderzoek over verbanden tussen kleuren en toonhoogte heeft minstens bewezen dat, indien er al een kleur-toonhoogte associatie zou zijn, deze zeker niet evenredig verloopt met de frekwentie van de signalen.

(cfr. o.a. Sabaneef,"Music and Letters", juli 1929. Deze onderzoeker kon ook aantonen dat de kleurassociaties van de onderzoekspersonen een funktie waren van wat hen werd verteld dat de toonhoogte of het akkoord was. Zo werd eenzelfde akkoord, waarvan nu eens werd beweerd dat het Fa-groot was, dan weer dat het Sol-groot was, van een telkens andere kleurassociatie voorzien, wat overtuigend bewijst, dat gebeurlijke associaties vooral met kutlturele verbanden te maken moeten hebben).

6. de tijdsbeleving van geluid en kleurwaarnemingen is grondig verschillend. Zouden we kleuren aan een gelijkaardig tempo afspelen als wij gewoon zijn met muzikale toonhoogtes te doen, dan zouden wij alleen een grijs-bruine hooguit verblindend flitsende massa kunnen waarnemen.

Filosofisch gezien zouden we kunnen stellen dat de neiging om beide gebieden per se in een organisch verband te willen brengen, een uiting is van hetzelfde soort romantisme dat ook aan de basis lag van de Wagneriaanse ideeen omtrent het Gesammtkunstwerk.

(3) Roger WOOLNOUGH, "Images turned into sound may help blind to 'see'"

in: 'Electronic World News', Nov. 9th, 1992, p. 44

(ISSN # 1045-6627) ed.:CMP-publications, Manhasset, NY

PTOLEMEUS (2e eeuw)

Athanasius KIRCHNER (1602-1680)

Louis Bertrand CASTEL (1688-1757) "La Musique en Couleurs"(1720), bouwde tevens een 'Clavecin Oculaire', waarbij kleurtransparanten met de toetsen verbonden waren. Dit boek werd overigens door Telemann in het Duits vertaald.(1739).

WAGENSEIL "Die Meistersaenger" (1697), waarin bepaalde liederen aan kleuren worden geassocieerd.

M.GRETRY, "Essays sur la Musique" , waarin voor elke toonaard en toonsoort een specifieke kleur wordt bepaald.

W.GOETHE "Zur Farbenlehre" (1810), waarin elk verband wordt ontkent.

GALTON, " Inquiries into Human Faculty" (1883)

A.Wallace RIMINGTON (1854-1918), bouwde het eerste echte kleurenorgel in 1895. In 1911 publiceerde hij het boek "Colour Music, the Art of Mobile Colour'. Rimington verbrede het onderwerp overigens wel enigszins, door zijn instrument, ook los van de muzikale komposities die hij erop 'vertoonde' te gebruiken, zonder steeds een een-eenduidig verband tussen toonhoogte en kleur voorop te stellen.

Thomas WILFRID, bouwde in 1922 in de USA zijn 'Clavilux', een instrument dat evenwel niet langer beweerde te stoelen op vaste verbanden tussen klank en kleur, maar eerder gebruik maakte van geanimeerde vormen, een beetje zoals dat het geval is bij het elders besproken PIP-kleurorgel.

De term 'muziek' wordt op de vertoningen met dit instrument enkel nog metaforisch toegepast. Daartegen is uiteraard zomin een bezwaar aan te voeren dan tegen bvb. het uitwerken van een ballet op een bestaand muziekstuk.

D.D. JAMESON (1844),

Bainbridge BISHOP (USA,1877),

Alexander Burnett HECTOR (Australia,1912),

Mary Hallock GREENWALT (N.Y.,1919),

George Lawrence HALL (Boston, 1930),

Alexander LáSLO (Kiel,1925) (boek: Die Farblichtmusik),

Vladimir STCHERBATCHEF,

Carol BERARD (1922),

Frederick BENTHAM (1934,1951),

Adrien Bernard KLEIN (1926,1937)

Filedate: 970928