Chapitre précédent - Chapitre suivant

Approche généralisée des UST

L’analyse en UST permet d’interpréter l’évolution dynamique de données temporelles, une inscription absente des partitions musicales. On peut souligner, à ce propos, que le temps n’a pas d’existence propre en tant que concept en psychologie cognitive, en psychophysiologie et dans les neurosciences cognitives. Des travaux récents de psychologie cognitive permettent d’avancer l’hypothèse que les UST correspondent à un traitement cognitif des données temporelles basé sur un codage spatial et dynamique. Elles semblent, par exemple, fournir des correspondances entre les figures temporelles dénommées par les musiciens et des modèles temporels naturels qui émergeraient de nos expériences corporelles(1) : cette confrontation s’inscrit dans la perspective de la biosémiotique qui postule la nécessité de prendre en compte le corps humain et son interaction avec l’environnement dans toute théorie de la signification.

Les premières analyses psychologiques du traitement cognitif des UST, menées au sein du laboratoire Cognition & Usages(2), vont dans ce sens et tendent à montrer qu’elles seraient liées à des représentations mentales construites très tôt à partir de l’expérience corporelle du mouvement. Dans cette perspective, on peut effectivement supposer que les UST sont a‑média et qu’elles peuvent être réactivées à partir de la réception de tout type de média. Un projet de recherche actuel, qui réunit le laboratoire du MIM et des chercheurs de Paris I et Paris VIII, consiste à extrapoler les acquis de l’analyse musicale par les UST pour explorer les autres médias. Les recherches ont débuté dans le domaine de la peinture, de la danse et du multimédia. Nous allons faire un état des lieux des expériences et des résultats dans ces trois disciplines.

Sur le plan des arts graphiques, Jacques Mandelbrojt, peintre et physicien membre du MIM, a procédé à une analyse de plusieurs de ses œuvres anciennes à l’aide des UST(3). Sa démarche se fonde sur la notion de mobilité des images défendue par Bachelard(4) et prend pour hypothèse que les images mentales, qui accompagnent le peintre dans sa création, sont issues d’images musculaires intériorisées. Ces impulsions musculaires se matérialisent par le geste tracé sur la toile. En d’autres termes, une dynamique du geste reste présente dans l’œuvre graphique car elle procède d’une image mentale, elle-même produite par le vécu de mouvements musculaires. Il écrit : « Dans une peinture, le trait reproduit moins l’objet que le mouvement physique ou spirituel par lequel le peintre en prend connaissance. » Cette dynamique du geste, qui exprime le mouvement et donc possède une temporalité sous-jacente, est susceptible d’être analysée en terme d’Unités Sémiotiques Temporelles. Le peintre a porté un nouveau regard sur des encres réalisées en 1966 et illustrant le Voyage au centre de la terre de Jules Verne(5). Son approche est d’autant plus justifiée qu’il s’agit d’œuvres abstraites, ce qui exclut, dans une certaine mesure, l’interférence avec d’autres sémiotiques(6) . On en trouvera quelques exemples dans la figure suivante :

Figure 3. Jacques Mandelbrojt, Souvenir du ‘Voyage au centre de la terre’ de Jules Verne, 1966.

L’étude de Mandelbrojt est intéressante car elle permet de nous montrer que les UST peuvent donner un sens à cette dynamique du geste que l’on ressent fort bien, de façon intuitive, lors de l’observation de certaines œuvres. Il est évident que la peinture ne se réduit pas à une succession d’UST, tout comme la musique ne se résume pas non plus à cela. Mais les UST permettent une approche singulière de la peinture en tentant d’analyser la temporalité présente dans le geste graphique. L’analyse de Mandelbrojt pose cependant problème lorsque de nombreux gestes graphiques (pouvant correspondre chacun à une UST) s’enchevêtrent dans une composition appréhendée dans sa globalité. Quelle méthodologie adopter alors ? L’art graphique est, en premier lieu, un art de l’espace dans lequel la temporalité est recomposée. D’autre part, il semble, qu’en peinture, s’ajoute à la dynamique du geste, une dynamique des masses provenant de l’opposition de formes, de traits ou de couleurs. Ces notions apparaissent de façon claire dès les premières toiles abstraites de Kandinsky ou chez Klee (qui ont tous deux commencé à les théoriser(7)) ou encore, de façon épurée, chez Rothko. Cela amène Mandelbrojt à formuler l’hypothèse qu’il faudrait définir, en peinture, des UST complémentaires susceptibles de traduire les évolutions dynamiques associées à l’espace(8). Enfin, troisième difficulté, l’espace pictural n’est pas un espace géométrique, abstrait et isotrope, mais un espace bidimensionnel hétérogène, dont les dimensions ne sont pas perçues de la même façon. On constate ici que la recherche d’unités temporelles présentes dans l’art graphique est loin d’être aujourd’hui pleinement maîtrisée : l’expérience de l’analyse en UST des représentations graphiques en est à ses balbutiements et beaucoup reste à faire dans ce domaine.

Si l’on aborde maintenant un autre art qui intègre la dimension temporelle, l’art de la danse, les recherches ont débuté par les travaux de la danseuse Dora Feïlane, en collaboration avec le MIM. Dans l’hypothèse où les UST permettraient de décrire le geste chorégraphique, plusieurs mouvements ont été observés avec un regard analytique. La danse disposant de mouvements codifiés, la première approche a consisté à confronter ces mouvements avec la définition des UST afin de voir s’il y avait concordance. Les premiers résultats de cette étude semblent montrer que la démarche n’était pas pertinente dans la mesure où la codification des mouvements de la danse se révèlent d’ordre mécanique plutôt que sémantique. Par exemple, aux catégories de type marche, de la danse, correspondaient des UST Qui avance ou Lourdeur. D’autre part, un certain nombre de difficultés théoriques et pratiques sont apparues lors des séances de travail. Nous citerons juste trois contraintes spécifiques à cette discipline. D’abord, le fait que le danseur soit confronté à la gravité impose des figures sémiotiques quelque peu différentes de celles envisagées. Le cas de l’UST Elan, qui caractérise un appui suivi d’une projection, est révélateur à cet égard : le danseur termine nécessairement la figure par une troisième phase qui est un retour au sol. Avec la danse, on est dans le domaine du concret : la gravité impose souvent des évolutions temporelles plus condensées que dans le domaine musical. Seconde difficulté de cette discipline : le problème de la segmentation visuelle. Le corps a l’habitude de communiquer avec tous les moyens dont il dispose : gestuelles des bras ou des mains, positions des pieds, mimiques du visage, balancement du corps, etc. La sémiotique du corps est donc déjà multiple et un ensemble de signes nous parvient de façon instantanée par la vue. Un danseur qui avance à pas réguliers dans une direction précise, quels que soient ses mouvements de bras et son expression faciale, caractérise-t-il une UST de type Trajectoire inexorable ? Une troisième difficulté spécifique à l’analyse temporelle de cette discipline concerne la notion de point de vue : le geste chorégraphique est en trois dimensions et peut être interprété différemment, en terme d’UST, selon la position de l’observateur(9). Certains exemples mériteraient donc d’être filmés sous plusieurs angles pour tenir compte de ce paramètre. Nous ne pouvons en dire davantage aujourd’hui sur cette recherche en matière de chorégraphie qui ne fait que commencer. Actuellement, les études portent sur la pertinence des UST concernant des enchaînements composés de plusieurs mouvements et qui prennent en compte des variations de forme, d’énergie, d’espace ou de tempo.

Abordons maintenant une dernière application généralisée des UST, qui concerne le multimédia. De nos jours, une partie de la recherche en multimédia porte sur l’attribution de comportements spatio-temporels aux objets manipulés (textes, sons et images)(10). L’analyse communicationnelle des productions multimédias, notamment littéraires, réalisée au laboratoire Paragraphe de Paris VIII, a mis en évidence le rôle fondamental de la temporalité dans la réception et l’interprétation de ces produits. Le temps est une dimension fondamentale dans tout objet multimédia, la seule, peut-être, qui relie les trois médias que sont le texte, l’image et le son. L’image fixe appartient au temps sous diverses formes, que nous avons évoquées. L’image animée, quant à elle, n’appartient pas au temps uniquement du fait d’un déplacement, mais également parce que tous ses paramètres constitutifs (luminance, chrominance, saturation, opacité, taille, orientation, etc.) sont concernés par lui à travers diverses lois de variation.

La poésie multimédia s’intéresse, depuis les années 80, aux implications du temps dans l’écrit sur écran. Le temps peut y intervenir de quatre façons, en relation avec des animations d’images :

Il semble que, dans l’objet multimédia, les interventions du temps s’appuient sur une sémiotique temporelle sous-jacente aux sémiotiques propres aux divers médias. Cette intuition repose sur des résultats obtenus au MIM et au laboratoire Paragraphe :

Toutes ces observations conduisent à s’attacher à une étude détaillée de la sémiotique temporelle, à s’interroger sur son origine, à étudier ses invariants et ses modulations selon les médias. L’étude en cours, menée par Philippe Bootz (Paragraphe) et nous-même (Institut d’Esthétique des Arts et Technologies de Paris I), consiste à modéliser le comportement d’objets temporels mono puis multimédias paramétrables afin d’en explorer les effets sémiotiques, d’en dégager les UST qui s’y expriment, de les caractériser et de les comparer aux UST musicales. Son objectif est de valider ou d’infirmer l’hypothèse de l’existence d’UST a-média. Devons-nous dégager des UST spécifiquement visuelles ou sonores ? Quelle est l’incidence, sur la perception, du couplage d’une UST visuelle et de son homologue sonore ? Ce sont des questions auxquelles il faudra répondre dans les années qui viennent.

Dans un premier temps, le travail a porté sur la recherche d’UST dans plusieurs œuvres multimédia. Les analyses ont montré que la temporalité utilisée dans de nombreuses œuvres est, aujourd’hui, plus rudimentaire qu’elle ne l’est dans les œuvres musicales : souvent une ou deux UST se manifestent, rarement davantage. En ce sens, l’analyse musicale s’avère pionnière dans les efforts de compréhension et de manipulation des faits sémiotiques temporels. Prenons un exemple simple, il s’agit de Figure-danseuse d’Alexandre Gherban(12).

Dans un fond d’écran noir, des formes géométriques vertes (rondes ou triangulaires) se déplacent suivant des mouvements cycliques, apparaissant puis disparaissant devant des bribes de mots rouges. Ces mots sont modifiés et positionnés de façon désordonnée sur des lignes virtuelles. Des sons brefs sont associés aux mouvements ou aux chocs des formes et des mots. L’observation attentive de cette animation ne permet pas d’établir de façon certaine des relations entre les deux groupes d’éléments visuels et les sons. Un clic sur l’image relance le programme en changeant le nombre de mots et de formes géométriques.

Cet exemple a été analysé indépendamment sur le plan visuel et sur le plan sonore. Les sons produits ne font percevoir aucune organisation et sont analysés, sans difficulté, par l’UST En flottement (il s’agit d’événements sonores ponctuels assez lents, sans formation de structure, produisant un état globalement stable et sans tension). La recherche d’UST visuelle conduit à deux analyses : en effet, suivant la granularité de l’analyse, on peut être amené à percevoir des UST visuelles différentes. Par exemple, si l’on observe les évolutions temporelles d’un groupe de 1 à 3 mots, les déplacements irréguliers de ces mots sont interprétés par l’UST Sans direction par divergence d’information ; tandis qu’avec un groupe de 6 mots ou plus, les déplacements sont perçus comme relativement homogènes dans leur ensemble et caractérisés par l’UST Stationnaire. De même, le mouvement d’une forme géométrique prise individuellement correspond à l’UST Qui tourne. Tandis que l’ensemble de ces formes est globalement perçu comme Sans direction par divergence d’information. L’œuvre de Gherban nous montre une utilisation de la temporalité qui met en œuvre un petit nombre d’UST. Les premières analyses, basées sur cette animation et sur quelques autres, nous permettent de supposer que les unités sémiotiques définies par le MIM peuvent permettre de décrire des évolutions temporelles visuelles et sonores, mais il est difficile aujourd’hui de valider l’hypothèse que les canaux visuels et sonores se fondent dans des UST audiovisuelles.

Chapitre précédent - Chapitre suivant