Synesketch
July 15th, 2008
Did you ever wonder how the emotion hidden in words could be transferred into the one caused by a picture? How do reading impressions look like? Is there a synesthesia-like abstract connection, hidden code, thread or a string, between poetry and painting? If yes, gather around, and let me tell you more about a new project of mine, about Synesketch.
Synesketch (Synesthesia + Sketch) is a bridge between words, images, and code. It is a computer program, free software library, interactive animation, and a creative open project for textual affect sensing and creative visualization of it.
Integrating several rather divers fields – natural language processing, affective computing, algorithmic visual art and design, animation, psychology and color theory – I have constructed a Java-based toy which scans a written conversation in real time (e.g. chat session), analyses emotional manifestations, and visualizes it via interactive algorithmic animated Processing graphics. Emotion types which can be recognized are the basic ones by Ekman: happiness, anger, fear, surprise, sadness, and disgust (on the picture you can see representative frames of these types, done by a demo visualization system, from left to right, top to bottom). One of the concrete Synesketch applications is the visual chat: while we talk, colors and shapes are being generated.
Besides being a new media experiment, an “automatic illuminator” with “artificial synesthesia”, Synesketch is also an open source free library, so that other Processing designers and artists can create their own text-based interactive works.
But, this is only a glimpse of the whole project. A lot, lot more on Synesketch later. For now, take a look at my thesis, where all of this is explained in detail:
http://www.krcadinac.com/papers/synesketch_rad.doc (in Serbian)
Da li ste se ikada zapitali kako se emocija skrivena u rečima može pretvoriti u onu izazvanu slikom? Kako doživljaju tokom čitanja zaista izgledaju? Postoji li apstraktna veza nalik na sinesteziju, skriveni kod, između poezije i slikarstva? Ako da, poslušajte nekoliko reči o mom novom projektu, projektu Synesketch.
Synesketch (Synesthesia + Sketch) je most između reči, slike i koda. To je kompjuterski program, softverska biblioteka, interaktivna animacija i kreativni otvoreni projekat za prepoznavanje i vizuelizaciju emotivnog sadržaja teksta.
Integrišući nekoliko solidno udaljenih oblasti – procesiranje prirodnog jezika, afektivno računarstvo, algoritamsku vizuelnu umetnost i dizajn, animaciju, psihologiju i teoriju boja – napravio sam Java igračku koja čita tekstualne razgovore u realnom vremenu (npr. čet sesije), prepoznaje manifestacije emocija i vizuelizuje ih interaktivnom algoritamskom animiranom Processing grafikom. Tipovi emocija koji mogu biti prepoznati su osnovni Ekmanovi: radost, bes, strah, čuđenje, tuga, i gađenje (na slici se vide reprezentativni frejmovi ovih tipova generisani od strane demonstracionog sistema za vizuelizaciju, s leva na desno, od gore ka dole). Jedna od konkretnih Synesketch aplikacija je vizuelni čet: dok mi razgovaramo, boje i oblici se generišu u obližnjem prozoru.
Pored eksperimenta u oblasti novih medija, „automatskog iluminatora” sa „veštačkom sinestezijom”, Synesketch je takođe i open source besplatna biblioteka kojom svaki Processing dizajner i umetnik može praviti svoje interaktivne radove bazirane na tekstu.
No, ovo je samo najava. Mnogo, mnogo više o Synesketchu kasnije. Za sada, možete pogledati rad u kome je ovo opisano u detalje: