Face à Face TVA : Lecture des émotions faciales des chefs de partis fédéraux en contexte de dualité

Après avoir analysé les émotions faciales des chefs de partis fédéraux lors du débat en français du 24 septembre et du débat Munk du 28 septembre dernier, la démarche était incontournable pour le Face à Face TVA du 2 octobre. Il s’agissait non seulement du dernier débat avant les élections, mais le format « face-à-face » s’avérait particulièrement intéressant d’un point de vue émotionnel ! Nous avons utilisé la technologie de lecture des émotions faciales dont dispose notre partenaire de recherche, le Tech3Lab de HEC Montréal, pour analyser les visages des chefs lors du Bloc 1 du débat portant sur l’économie et les finances publiques. Par la suite, le pouls émotionnel du segment analysé a été interprété par Christian Bourque, Vice-président et associé chez Léger.

FaceReader en action

FaceReader nous permet de détecter six émotions de base en temps réel en plus de la neutralité : joie, tristesse, colère, surprise, crainte et dégoût. La vidéo ci-dessous montre le logiciel en action lors d’un extrait du face-à-face entre M. Harper et M. Mulcair :

L’outil identifie la présence d’un visage, puis la reconnaissance des micro-expressions permet de voir en temps réel l’intensité des six émotions varier à droite de la vidéo. La courbe rouge montre la valence émotionnelle, soit l’intensité positive ou négative globale de la réaction. Par exemple, lorsque la colère de M. Mulcair augmente, la valence émotionnelle est plus faible, et elle augmente lorsqu’il devient plus neutre.

Bilan émotionnel des chefs

Les émotions faciales de Stephen Harper, Justin Trudeau, Thomas Mulcair, et Gilles Duceppes ont été analysées pendant leurs face-à-face respectifs et les trois périodes libres du premier bloc du Face à Face TVA. Contrairement aux deux débats précédents, il semble que les échanges aient suscité de la joie dans le visage certains chefs. Pour la première fois, nous avons été en mesure de lire les émotions des chefs pendant des périodes d’écoute continues grâce à la division de l’écran pour les face-à-face. M. Harper et M. Trudeau semblaient avoir tendance à esquisser des sourires pendant le discours de leurs adversaires. Ironie, moquerie, nervosité, ou pure joie ?

M. Harper, M. Mulcair et M. Duceppe ont tous affiché un visage neutre près de 50 % du temps, alors que M. Trudeau n’y est parvenu que pour 30 % du premier bloc. L’émotion la plus présente chez M. Harper et M. Duceppe reste la colère (19 % et 30 % respectivement), comme c’était le cas dans les autres débats. Pour M. Mulcair, la colère (15 %) suit de près la surprise (20 %). Rappelons qu’il avait surtout affiché de la surprise lors du débat en français du 24 septembre (14 %) et de la colère lors du débat Munk (20 %). La langue française serait-elle source de surprise pour le chef du NPD ? Pour M. Trudeau, la crainte reste l’émotion dominante (25 %) – en proportion moins importante que lors du premier débat en français, mais tout de même supérieure à celle observée au débat Munk (17 %). Il faut dire que la période libre portant sur l’assurance emploi a fait grimper la proportion de colère ressentie par M. Trudeau à 53 %. D’autre part, ce dernier a affiché de la tristesse (18 %) pour la première fois. Aurait-il voulu montrer sa compassion pour les Canadiens devant toujours payer plus de taxes et d’impôt ?

Cliquez sur l’image ci-dessous pour faire défiler les bilans émotionnels :

Dynamique des face-à-face

Penchons-nous maintenant sur les six face-à-face du premier bloc du débat…

M. Mulcair et M. Trudeau ont ouvert le bal avec un échange sur la hausse de taxes et d’impôts. Cette portion du débat est celle qui a entraîné le plus de surprise chez M. Mulcair (33 %), et de tristesse chez M. Trudeau (36 %). Le face-à-face avec M. Duceppe et avec M. Trudeau semblent avoir suscité des émotions similaires chez M. Harper : joie (25 % et 23 % respectivement), accompagnée d’un mélange de colère, crainte et dégoût. Finalement, la proportion de colère la plus élevée du bloc analysé est celle de M. Duceppe lors de son face-à-face avec M. Mulcair (56 %). Inversement, il s’agit de la portion du débat où M. Mulcair a affiché le plus de neutralité (52 %).

Cliquez sur l’image ci-dessous pour faire défiler les bilans des face-à-face :

Analyse politique des résultats par Christian Bourque

« Étant donné que le débat de TVA avait un format différent, soit une série de face-à-face sur des questions précises, l’analyse des émotions faciales montre que les chefs réagissent différemment selon l’opposant.  Si vous regardez la séquence à nouveau, mais en connaissant les résultats de l’analyse, voici ce qu’on peut en tirer :

• M. Mulcair :  Il peine devant Justin Trudeau (33% de « surprise ») car il a moins d’armes devant un chef libéral qui présente une plate-forme très proche, peut-être plus proche, des partisans du NPD.   Il semble coincé.  Agacé par le premier ministre, M. Mulcair montre sa colère durant l’échange avec Stephen Harper.  Devant Gilles Duceppe, il tente de demeurer plus serein.
• M. Trudeau : Constant durant ce segment face à M. Mulcair et M. Harper, M. Trudeau démontre de la « tristesse ».   En fait, il tente de montrer de l’empathie en traçant un bilan relativement grave de l’état de notre économie et de la nécessité de remettre le pays sur ses rails.  Devant M. Duceppe qui tente d’amener le débat ailleurs et loin de la plateforme libérale, M. Trudeau paraît agacé.
• M. Harper : Je parie que des conseillers lui ont demandé de sourire plus souvent.  C’est celui qui montre le plus de joie durant ce segment.  De plus, il tente d’être rassurant, l’économie ne va quand même pas si mal.  Toutefois, il devient beaucoup plus agressif devant Thomas Mulcair.  Les deux hommes, après l’analyse des trois débats, ne semblent pas s’apprécier.
• M. Duceppe : Son ennemi demeure Thomas Mulcair, c’est le NPD qui a causé l’effondrement du vote du Bloc en 2011.  Et c’est contre M. Mulcair que Gilles Duceppe est le plus agressif.  Au-delà de son visage, sa gestuelle montre qu’il veut être à l’attaque.  Il sera plus conciliant avec M. Trudeau et ira même jusqu’à dire qu’il est en accord avec lui sur le dossier des finances publiques !  Plus tard, M. Trudeau lui rendra bien en l’appelant « mon amour »…  Devant le premier ministre, M. Duceppe tente de porter les coups, mais son opposant tente d’esquiver en souriant et en voulant calmer le jeu.  Ce face-à-face est moins « facile » pour le chef du Bloc.

Après trois débats, je constate encore la justesse de l’analyse réalisée par imarklab et sa technologie.  Le logiciel n’a jamais voté, n’a jamais lu les journaux et, chanceux ou pas, n’a jamais regardé un débat des chefs de son existence.  Toutefois, sa lecture colle bien  au ton et à la nature des échanges durant les débats.  En ce sens, la machine est peut-être plus proche de la distance psychologique de l’électeur moyen qui suit peu la campagne, mais se fait un devoir de regarder, du moins en partie, les débats.  Pour cet électeur, rapidement dépassé par les chiffres et les références des chefs, l’image projetée par les chefs devient plus importante que le fonds.  Comme un philosophe l’a déjà dit :

«  À la télévision ce n’est pas ce que vous dites qui compte, c’est de quoi aviez-vous l’air quand vous le disiez. » »

Colère pour M. Harper et M. Duceppe, crainte pour M. Trudeau, colère et surprise pour M. Mulcair… La tendance se maintient d’un débat à l’autre. Cette fois-ci, la présence de joie et de tristesse sur le visage des chefs nous a amené à réfléchir davantage au sens des émotions détectées en se penchant sur leurs contextes spécifiques. Nous savons désormais quelles expressions affichent les visages des chefs fédéraux, mais comment les électeurs perçoivent-ils ces différentes émotions ? La colère est-elle signe de puissance ou de perte de contrôle ? L’expression de tristesse est-elle signe de compassion ? Une chose est sure, les données obtenues ouvrent la voie à une multitude de projets de recherche afin de comprendre le point de vue et la réaction des électeurs par rapport aux émotions des chefs !

***

Informations complémentaires sur FaceReader

Description de l’outil 

FaceReader est un logiciel permettant l’analyse des émotions faciales. Il a été créé afin de permettre la classification des expressions dans une des catégories suivantes : joie, tristesse, colère, surprise, crainte, dégoût et neutralité. Ces catégories d’émotions ont été décrites par Ekman comme les émotions de base ou universelles. Il va de soit que les expression varient en intensité et que les réactions émotionnelles peuvent inclure plusieurs émotions. De plus, il y a beaucoup de variations d’une personne à l’autre.

Étapes du processus de lecture des émotions

1. La première étape est la détection du visage. FaceReader utilise l’algorithme Viola-Jones (2001) pour détecter la présence d’un visage.
2. La deuxième étape est la modélisation du visage basée sur la méthode des modèles à apparence active (Active Appearance Method) décrite par Cootes et Taylor (2000). Le modèle est formé avec une base de données d’images annotées, qui permet la description de plus de 500 points du visage et de sa texture. Les points clés comprennent (A) ceux qui délimitent le visage (partie analysée par FaceReader); (B) les points du visage qui sont facilement reconnaissables (lèvres, sourcils, nez et yeux). La texture est importante, car elle fournit de l’information additionnelle au niveau de l’état du visage. Les points clés décrivent seulement la position globale et la forme du visage, mais ils ne donnent pas d’information telles que la présence de rides et la forme des sourcils. Ces éléments sont importants pour la classification des expressions faciales d’un individu.
3. Finalement, la classification des expressions faciales est prise en charge par un réseau de neurones artificiel. Pour la création de ce dernier, plus de 10 000 images annotées manuellement on été utilisées.

Interprétation des émotions

En plus de la neutralité, FaceReader détecte six émotions de base qui sont considérées comme étant universelles par la science. Il a été démontré qu’il existe des éléments observables dans toutes les cultures au niveau de l’expression faciale des émotions. Cela est rattaché à l’association entre les mouvements de muscles spécifiques du visage et les émotions. Les six émotions de base comprennent la majorité des concepts émotionnels qui ont été identifiées par les études antérieures portant sur l’expression d’émotions faciales indépendamment de la culture (Ekman, 1970) :

• La joie : « happy »;
• La surprise : « surprised»;
• La crainte : « scared»;
• La tristesse : « sad»;
• La colère : « angry»;
• Le dégoût : « disgusted».

De façon générale, la joie est toujours considérée comme une émotion positive, alors que la crainte, la tristesse, la colère et le dégoût sont considérées comme négatives, et que la surprise peut être les deux. Or, dans certains cas, les émotions négatives ne sont pas déplaisantes (Ekman, 2007). Certaines personnes apprécient la colère lors d’une argumentation, alors que d’autres aiment pleurer en regardant un film triste. Dans cette optique, il est essentiel de s’intéresser aux contextes spécifiques de chaque épisode émotionnel avant que nous puissions déterminer s’il est positif ou négatif.

Chacune des émotions rapportée par FaceReader est rattachée à une famille d’émotions. Par exemple, la colère peut varier en intensité, allant de la contrariété à la rage, et en type. La colère peut être renfrognée, ou prendre la forme de rancune, d’indignation, de froideur, etc. Dans le même ordre d’idées, la joie peut autant se traduire par de l’amusement que par un sentiment de soulagement. Actuellement, l’état de la science ne permet pas de distinguer les émotions précises à l’intérieur d’une famille d’émotion.

Détails du processus d’analyse

Au total, 130 extraits vidéos où le visage d’un chef était clairement visible ont été découpés à partir de l’enregistrement du débat.

Entre 10,50 et 12,76 minutes d’extraits vidéos ont été analysées pour chaque chef de parti. L’analyse a d’abord été effectuée pour chaque section du premier thème, soit le face-à-face entre M. Mulcair et M. Trudeau (1), le face-à-face entre M. Duceppe et M. Harper (2), la période libre portant sur la stratégie économique pour le Canada (3), le face-à-face entre M. Harper et M. Mulcair (4), le face-à-face entre M. Duceppe et M. Trudeau (5), la période libre traitant du financement des soins de santé (6), le face-à-face entre M. Trudeau et M. Harper (7), le face-à-face entre M. Duceppe et M. Mulcair (8), et finalement, la période libre sur l’assurance emploi (9). Il est à noter que les résultats ont été pondérés en fonction du temps de vidéo analysé pour chaque chef.

 

Sources :

• Ekman, P. (1970). « Universal Facial Expressions of Emotion », California Mental Health Research Digest, vol. 8, p. 151-158.
• Ekman P. (2007). Emotions Revealed, Holt Paperbacks, 2ième édition, 320 p.
• Noldus (2015). « FaceReader Methodology », 6 p.