Comment interpréter les expressions faciales ?
Interpréter les expressions faciales : le visage humain comporte 43 muscles. Pas étonnant que le langage du visage soit d’une richesse étonnante. Il véhicule des émotions, mais pas seulement ni toujours. Les premiers algorithmes de reconnaissance d’expressions faciales ont été publiés dans les années 1990, mais l’irruption de l’apprentissage profond a donné un coup de fouet à ce domaine. Résultat : de nos jours, un smartphone peut détecter les visages souriants. Pourtant de nombreuses pistes de recherches sont encore ouvertes. L’interprétation des expressions faciales est indispensable dans les relations interpersonnelles, car cette technique nous aide à comprendre les émotions de nos interlocuteurs. Si vous pouvez faire plus attention aux humeurs et aux pensées des autres, vous arriverez à créer une plus grande intimité avec vos proches et dans l’environnement professionnel, cela vous aidera à gérer plus efficacement les relations avec vos collègues et clients. Cependant, vous devez être très attentif, car le moindre changement d’expression faciale peut indiquer des émotions totalement différentes.
Reconnaître les expressions faciales des émotions
Nous avons vu dans d’autres articles précédents à quel point la communication non verbale était importante dans les relations interpersonnelles. Divers travaux montrent que la signification d’un message va surtout être portée par la manière dont il va être prononcé (voix) et les expressions faciales utilisées, ainsi que l’attitude générale (posture, gestes, …). Selon l’école de Palo Alto, les éléments non verbaux véhiculeraient 65 à 70 % de l’information. Nous avions également vu l’étude de Merhabian sur l’attractivité d’un message et le poids de 97% sur le corps et la voix. Il est donc intéressant, voire indispensable, d’être capable de décoder le non verbal de nos interlocuteurs et aussi de faire attention à notre propre langage non verbal (pour faire bonne impression par exemple). En ce sens les expressions faciales des émotions sont une étape essentielle pour apprendre dans ce domaine. Dans cet article, nous allons voir comment reconnaître et étudier les expressions faciales des émotions. Ce sera indispensable également pour l’étude des microexpressions plus fugitives mais extrêmement révélatrices en situations d’échange. Nous y reviendrons. L’étude des expressions faciales est d’autant plus intéressante que les expressions faciales des émotions sont universelles, bien que cette notion ait été combattue dès les premières études à la suite des travaux de Darwin (1872) qui avait déjà émis l’intuition que cela était inné et non acquis.
Ce sont surtout les travaux de Paul Ekman qui ont permis de vérifier ce caractère universel. Il a en effet pu montrer que des peuplades éloignées de la civilisation étaient capables d’identifier les émotions de base d’après des photos. Il en va de même pour des aveugles de naissance, qui n’ont donc pas pu mimer des expressions observées durant leur éducation, et qui présentent des expressions faciales similaires aux voyants. Cela montre donc que cela est innée et transmis par la génétique.
Une expression faciale est la résultante de la contraction de certains muscles et la relaxation d’autres muscles. Ces informations ont été codifiées en unités d’action (Action Units, AU) pour permettre l’étude des expressions faciales en fonction des muscles qui sont mis en action. Il s’agit du FACS (Facial Action Coding System, conçu par Ekman et Friesen, en 1978). L’ensemble des mouvements faciaux a été rassemblé en 46 AU (numérotées de 1 à 46), c’est-à-dire 46 types de contractions ou décontractions de muscles, qui peuvent bien sûr se combiner entre elles. L’intensité des mouvements musculaires est notée par les lettres A à E (intensité minimale à maximale) (par exemple AU1A correspond à une faible intensité d’AU 1 tandis qu’AU 1E correspond à l’intensité maximale). A Trace, B Léger, C Marqué ou prononcé, D Sévère ou extrême, E Maximum A ces 46 AU de base concernant la face, se sont ajoutés les mouvements de la tête (47-60) et les mouvements des yeux (61-69). Le système FACS ne décrit pas les émotions mais décrit les mouvements basiques des muscles de la face. Ce système est utilisé dans divers domaines, dont les troubles neuromusculaires. Bien entendu, l’étude des expressions faciales des émotions utilise cette base théorique pour décrire les observations.
L’avantage d’un tel système permet d’étudier les expressions faciales et de les décrire en utilisant un langage compris par tous et pouvant être utilisé pour les publications dans ce domaine. Cela permet aussi de faciliter la détection des expressions faciales des émotions et de programmer des outils de détection informatisés. Nous allons passer en revue, dans des articles complémentaires, les expressions faciales des 7 émotions de base, en mettant en évidence les éléments qui permettent de les reconnaître et divers éléments concernant chaque émotion. Nous utiliserons des photos et nous indiquerons par des flèches les éléments à observer et les unités d’action qui sont activées.(comme ci-dessous, pour la contrariété, une variante de la colère).
Il est évident que chacun ayant une structure de visage différente avec des ossatures spécifiques, il y aura certaines différences dans les expressions, même si ce sont les mêmes unités musculaires en action.
99 % de fiabilité, en situation contrôlée
« Aujourd’hui, estime Chaabane Djeraba, professeur à l’université de Lille et chercheur au sein de l’équipe FOX du laboratoire CRIStAL (Centre de recherche en informatique, signal et automatique de Lille), l’état de l’art permet d’obtenir une catégorisation des expressions faciales avec une fiabilité de l’ordre de 99%… mais en situation contrôlée. » C’est-à-dire lorsque les algorithmes sont entraînés et testés avec des images captées sous un éclairage favorable et constant sur des volontaires immobiles face caméra, devant un arrière-plan optimal, etc. « Mais les choses se compliquent sérieusement, poursuit le chercheur, quand on cherche à appliquer nos modèles sur des sujets non coopératifs, dans des situations réelles. « In the wild » (« dans la nature »), comme on dit en anglais. » Autant dire « dans la vraie vie »… Au cours de la dernière décennie, des travaux ont permis de bien prendre en compte certaines difficultés, comme l’éclairage ou l’arrière-plan. « Mais deux problèmes restent à l’ordre du jour : l’occultation et le mouvement, affirme Chaabane Djeraba. » Problèmes que l’on cherche à résoudre non seulement dans des contextes où l’on ne dispose que d’une image statique, mais désormais surtout lorsque la source est un flux vidéo.
Regardez fixement dans les yeux de l’autre
Les yeux sont la partie la plus communicative et la plus expressive du visage . En regardant droit dans les yeux d’une personne, vous pourrez deviner son humeur. Les pupilles se dilatent dans les moments d’excitation ou quand on se retrouve dans de mauvaises conditions d’éclairage. Si vous êtes dans un endroit bien éclairé, observez les changements dans la taille de la pupille de votre interlocuteur. Une pupille dilatée suggère une sorte d’excitation ou d’intérêt. Nos pupilles se contractent lorsque nous percevons quelque chose d’offensant ou de négatif. Cette concentration bloque toute image indésirable. Une personne pourrait cligner des yeux si elle ne vous apprécie pas ou n’apprécie pas ce que vous dites. Elle pourrait également douter de vos paroles et de vos actions. Si vous voyez cette attitude chez quelqu’un, abordez le problème et clarifiez au mieux vos idées. Un regard furtif ou détourné pourrait indiquer un certain malaise ou un manque d’assurance. Vous pouvez également détecter ces émotions à travers un regard en biais. Toute perturbation du contact visuel montre que votre partenaire est distrait.
Observez les lèvres
Les muscles des lèvres sont extrêmement sensibles et leurs mouvements reflètent différentes sortes d’humeurs et de réactions. Quand une personne commence à parler, ses lèvres s’ouvrent légèrement . Prêtez-y attention chaque fois que vous cherchez à prouver à l’autre que vous êtes ouvert et disponible. Avoir les lèvres pincées laisse penser une certaine tension, une frustration ou une désapprobation. Une personne qui pince ses lèvres cherche à cacher ses émotions, en évitant de parler. Un plissement des lèvres en ayant la bouche sous forme de baiser est un signe de désir. Un plissement des lèvres peut également suggérer l’incertitude, tout comme quand on essaie d’engloutir ses lèvres. On parle souvent de « ?se mordre ses lèvres? ». Surveillez de près toute contraction brusque des lèvres. Bien qu’elles soient difficilement remarquables, ces contractions indiquent une attitude cynique et un manque de confiance. Une personne qui ment pourrait également avoir les lèvres légèrement contractées.
Observez le mouvement du nez
Bien que les mouvements du nez soient moins expressifs que ceux des yeux ou des lèvres, l’emplacement du nez sur le visage facilite l’interprétation des expressions faciales. La dilatation des narines est un mouvement commun. Une personne qui dilate ses narines est probablement en colère ou est perturbée par quelque chose et se prépare à attaquer. Le plissement du nez peut être dû à une mauvaise odeur. Si nous allons au-delà de l’interprétation littérale, une « ?mauvaise odeur? » peut représenter métaphoriquement une image ou une pensée désagréable, ce qui peut aussi amener quelqu’un à plisser son nez. Si une personne a quelque chose à l’esprit, elle pourrait plisser son nez quand elle pense à quelque chose qu’elle n’approuve pas. Il arrive parfois que les vaisseaux sanguins dans les fosses nasales se dilatent, ce qui peut faire rougir et enfler le nez. Cette situation se produit quand une personne vous cache quelque chose et dans de pareils cas, elle pourrait se gratter le nez et l’irriter davantage.
Lire les expressions de personnes masquées
En cette période de pandémie, la question de l’occultation du visage prend un tour particulier. La vision artificielle peut-elle lire des expressions sur un visage portant un masque ? « Quand un visage est masqué, la difficulté s’accroît, bien entendu, mais certaines expressions sont moins difficiles à décoder, explique Ioan-Marius Bilasco, maître de conférences à l’université de Lille et chercheur également au sein de l’équipe FOX du laboratoire CRIStAL. Le sourire, par exemple, ne peut plus être détecté au niveau des coins de la bouche, qui sont occultés, mais il se prolonge dans le haut du visage. En revanche, la peur ou la tristesse s’expriment de manière différente, surtout dans le bas du visage et sont donc moins faciles à détecter¹. Notre équipe travaille sur cet aspect particulier de l’occultation, la thèse de Delphine Poux est en cours. » « Nous nous intéressons également à l’interprétation des expressions faciales sur une tête en mouvement, ajoute Ioan-Marius Bilasco. La difficulté essentielle est de différencier les pixels qui « bougent » à cause d’une rotation de la tête ou du fait d’un sourire esquissé², par exemple. » Il faut distinguer le mouvement du visage des mouvements dans le visage. « Après avoir travaillé sur l’occultation et le mouvement, l’objectif final consiste à interpréter des visages qui sont plus ou moins occultés ET en mouvement, poursuit le chercheur. »
Observez les sourcils
Les Sourcils sont des indicateurs de multiples expressions du langage du corps . Malgré le nombre limité de muscles qui activent les mouvements des sourcils, ces derniers sont bien visibles et suggèrent différents états émotionnels. Le plissement du front se fait simultanément avec le mouvement des sourcils. Si votre interlocuteur a le front plissé et les sourcils levés, il remet probablement en question votre comportement ou est surpris par quelque chose. Lorsque les sourcils sont baissés, les yeux sont légèrement cachés. Si votre interlocuteur effectue cette action tout en baissant la tête, sachez tout simplement qu’il cherche à cacher volontairement le mouvement de ses yeux. Avoir les sourcils trop inclinés vers le bas laisse paraitre de la colère ou de la frustration. Cela peut également donner à penser que votre interlocuteur porte toute son attention sur vous. Recherchez également un plissement en forme de fer à cheval entre les sourcils. Également surnommé « ?le muscle de la tristesse? » (muscle corrugateur du sourcil), ce symbole particulier indique la souffrance et la tristesse.
Reconnaissez le bonheur
Avoir un large sourire est le moyen le plus évident d’exprimer le bonheur. À la différence d’un simple sourire, un grand sourire consiste à montrer ses dents supérieures. Les paupières inférieures devraient avoir une forme en croissant . Le bonheur peut se manifester de plusieurs façons, allant d’une simple satisfaction à l’extase, et cette grande diversité d’émotions peut être détectée par des expressions faciales similaires.
Sachez reconnaitre la tristesse
Portez une attention particulière aux sourcils. Les sourcils devraient normalement être inclinés vers le haut . Une personne triste fronce habituellement ses sourcils. Avoir les yeux enfoncés avec la paupière inférieure tombante est également un signe de tristesse . La tristesse est une émotion bien plus dangereuse et puissante que le bonheur. Outre les expressions faciales, vous pourriez remarquer un manque d’énergie chez une personne triste. Une personne triste pourrait également devenir plus réservée et introvertie.
Évaluer les réactions des usagers d’un site web
Les applications potentielles de l’interprétation des expressions faciales sont très variées, indique Ioan-Marius Bilasco. Nous avons par exemple appliqué nos méthodes dans le cadre du projet PAPUD, cherchant à évaluer les réactions des usagers d’un site web permettant d’effectuer des démarches administratives. Les acteurs de la télévision et autres fournisseurs de contenus voient dans cette technologie une solution pour améliorer leurs systèmes de recommandation. » Plus généralement, elle promet au monde du marketing un instrument pour qualifier et quantifier la réaction d’un public face à un nouveau produit . « Mais bien d’autres usages potentiels se découvrent, poursuit le chercheur, comme la mesure du stress au travail, de l’intérêt des auditeurs d’une conférence ou de la douleur d’un patient pendant une intervention. » Le secteur des transports est également demandeur. « Il y a une dizaine d’années, se souvient Chaabane Djeraba, un sujet en vogue était déjà la détection, avec des capteurs à bas coût, de l’assoupissement d’un conducteur. Nous avons à l’époque publié³ sur la détection des clignements – et le déclenchement d’alertes – l’augmentation de leur durée étant un signe annonciateur d’assoupissement, voire d’endormissement. » Le sujet est à nouveau d’actualité, cette fois dans le contexte de la voiture autonome.
De nombreuses équipes travaillent désormais sur des solutions permettant à la voiture du futur de garder un œil sur son conducteur . Il est vraisemblable que la vision artificielle permettra à terme de détecter chez un conducteur divers signaux importants dans le contexte de la voiture autonome, comme la fatigue, bien sûr, mais aussi le stress, l’anxiété…
Apprenez à reconnaitre la surprise
Cette émotion généralement excitante peut être caractérisée par un écarquillement des yeux et par une ouverture de la bouche . Dans le cas d’une surprise moins émouvante, vous pourriez remarquer un léger sourire de satisfaction sur les lèvres. Les sourcils doivent vraiment s’incliner vers le haut. Face à un évènement inattendu, une personne pourrait froncer les sourcils, mais elle pourrait finir par être bouleversée. Le choc, que l’on pourrait décrire comme une émotion légèrement extrême, peut être associé à la peur ou au dégout. Toute explosion soudaine d’émerveillement ou d’étonnement pourrait susciter la surprise.
Reconnaissez la peur
Observez d’abord les sourcils et les yeux. Les sourcils devraient être inclinés vers le haut, avec les yeux grandement ouverts . Les lèvres peuvent également être étirées et bien ouvertes . La peur est notre réponse naturelle au danger. Si vous voyez quelqu’un qui a peur, essayez d’en découvrir la cause. La peur est souvent due à des réactions d’échappement et d’évitement. N’oubliez pas que la peur est différente de l’anxiété. La peur est déclenchée par des facteurs externes, alors que les causes de l’anxiété sont intimes et difficiles à détecter.
Décelez le dégout
Le froncement du nez est l’une des principales caractéristiques de l’expression du dégout. Aussi, les sourcils sont abaissés et la bouche reste ouverte . Imaginez que votre interlocuteur murmurait le mot « ?beurk? », comme s’il venait de voir quelque chose de dégoutant. Ses lèvres devraient être relâchées et la lèvre supérieure devrait s’étirer vers le haut. Même si le dégout est une réponse naturelle à une odeur nauséabonde ou à un gout désagréable, une émotion ou une pensée pourrait également provoquer cette même expression faciale.
Sachez reconnaitre la colère
Si vous voulez savoir quand une personne est en colère, regardez ses sourcils. Ils devraient être inclinés vers le bas et former des plis. Ses paupières devraient être tendues et ses sourcils devraient être orientés vers le bas . Ses lèvres peuvent être serrées ou ouvertes, comme si elle s’apprêtait à crier. Sa tête peut être légèrement abaissée, avec la mâchoire poussée vers l’avant.
Sachez reconnaitre le mépris
Principalement utilisé pour exprimer sa désapprobation, le mépris est reconnaissable par le menton relevé et est utilisé pour manifester du dédain pour toute personne qui vous aurait offensé . L’expression faciale qui décrit le mépris est la suivante : le coin de la lèvre resserrer et légèrement relevé, uniquement d’un côté du visage. Cette expression est souvent considérée comme une moquerie. Le mépris peut être accompagné d’un léger sourire, comme si la personne était heureuse de désapprouver vos actions.
Les psychologues à la rescousse
Nous, les humains, sommes capables de distinguer un grand nombre d’expressions faciales distinctes, et même de lire des émotions multiples sur le visage de nos semblables. Nous savons percevoir par exemple un mélange de surprise et de peur ou un dégoût amusé. Des travaux de psychologie cherchent à classifier ces expressions et d’autres à les analyser en composantes principales. « Les algorithmes de reconnaissance d’expressions faciales travaillent le plus souvent sur un répertoire de sept expressions faciales, explique Ioan-Marius Bilasco. On utilise typiquement les catégories : joie, tristesse, colère, surprise, dégoût, peur… auxquelles s’ajoute l’expression « neutre ». Celle des photos d’identité. Mais on peut en ajouter d’autres dans des contextes spécifiques. » Une publication récente en distingue ainsi seize : l’amusement, la colère, la crainte, la concentration, la confusion, le mépris, le contentement, le désir, la déception, le doute, l’exaltation, l’intérêt, la douleur, la tristesse, la surprise et le triomphe. On retrouve dans cette liste la tristesse, la colère et la surprise de la classification classique à sept cases. Mais si la joie, par exemple, a disparu, on la suppose dispersée entre triomphe, exaltation, désir, amusement, contentement, intérêt…
Qui plus est, les chercheurs de l’université de Californie à Berkeley et de Google Research qui signent cet article dans Nature, après avoir soumis à leur réseau de neurones six millions de vidéos provenant de 144 pays, estiment que ces douze expressions sont corrélées à des situations comparables d’une culture à l’autre.
Interprétez les macro-expressions
Lorsque vous cherchez à interpréter les expressions faciales, vous devez commencer par rechercher des macro-expressions. Habituellement, une macro-expression dure entre un quart de seconde à quatre secondes . Ces expressions impliquent toutes les parties du corps, vous permettant ainsi d’interpréter entièrement une émotion en particulier. Même une connaissance générale des sept familles d’émotions universelles vous aidera à lire les macro-expressions. Les 7 familles d’expressions universelles sont les suivantes : la joie, la surprise, le mépris, la tristesse, la colère, le dégout et la peur. Puisque vous avez certainement déjà vécu ces sept émotions, il ne vous sera pas difficile à les reconnaitre dans une macro-expression. Si une personne exprime ses émotions à travers une macro-expression, il est plus probable qu’elle essaie de vous faire prendre conscience de son état émotionnel. Dans le cas d’une personne triste, il est possible que par ce geste la personne attende du réconfort. Toutefois, si vous êtes confronté à une expression de dédain, il est probable que votre interlocuteur essaie de vous intimider. Sachez que la meilleure façon de feindre une émotion est de le faire à travers les macro-expressions. Parce qu’elles durent plus longtemps, il est plus facile de se laisser imprégner de ces émotions. Cependant, ne vous laissez pas piéger par de fausses expressions.
Détectez les micro-expressions
Celles-ci durent en moyenne entre 1/15 et 1/25 de seconde, raison pour laquelle il est plus difficile de les identifier . Bien qu’une macro-expression puisse révéler l’état d’esprit d’une personne, il est plus probable que la vérité jaillisse d’une micro-expression. Quand une personne essaie de cacher ses émotions, des indices peuvent bien s’échapper de son humeur réelle. Cet état de choses se produit spécifiquement dans le cas des micro-expressions. Si vous ne regardez pas de très près le visage de votre interlocuteur, vous pourriez louper ses réelles émotions. Si vous espérez mieux découvrir une personne, vous devez reconnaitre ses micro-expressions. Une bonne connaissance de l’état émotionnel de quelqu’un est cruciale pour établir des relations personnelles délicates. Bien qu’une macro-expression puisse être sincère, il est bel et bien possible qu’une personne tente de déclencher une réaction en « ?simulant? » ses émotions. Cependant, si vous portez une attention particulière aux micro-expressions, vous risquez moins de louper une véritable émotion.
Décelez les expressions subtiles
Ces expressions ont une durée plus courte que les micro-expressions, ce qui veut dire qu’il vous faudra beaucoup d’attention pour les repérer. Leur apparition se fait quand une émotion est en train de naitre comme une réponse naturelle à son entourage . Les expressions subtiles peuvent ne pas traduire entièrement une émotion. Dans le cas d’une micro-expression, une vraie émotion passe fugitivement en un laps de temps, alors qu’une expression subtile peut contenir des vestiges d’une vraie émotion. Les expressions subtiles peuvent aider à démasquer les intentions d’une personne, car il est plus facile de les dissimuler que les micro-expressions.
Degré d’implication du sujet
« Des travaux en psychologie des émotions proposent une autre approche, consistant à situer les expressions dans un espace à deux dimensions ou plus, indique Ioan-Marius Bilasco. Typiquement, les deux premières dimensions considérées sont la « valence » et « l’activation » (« arousal » dans la littérature anglo-saxonne). La valence reflète le degré de positivité du sujet, que l’on peut interpréter aussi par le couple plaisir/déplaisir, tandis que le « arousal » correspond à un axe actif/passif et indique un degré d’implication du sujet. » « Les algorithmes actuels de reconnaissance d’expressions faciales affichent des performances qui s’approchent progressivement de celles des humains, affirme Alexis Lechervy, maître de conférences à l’université de Caen et chercheur dans l’équipe Image du Greyc (Groupe de recherche en informatique, image, automatique et instrumentation de Caen). Mais dans la vraie vie, nous exploitons tous nos sens pour interpréter un visage. L’audition, en particulier, peut véhiculer des indices complémentaires. »
Associez les émotions au langage du corps
Après avoir maitrisé l’interprétation des expressions faciales, vous pourrez commencer à étudier le langage du corps. Le langage corporel, tout comme l’expression du visage, est un élément fondamental dans la communication non verbale. Reconnaitre les signaux du corps vous aidera à comprendre plus facilement votre interlocuteur . Si vous essayez de savoir si une personne a pleinement confiance en elle, vous pouvez observer sa posture. Si elle se tient debout avec les épaules en arrière, cela veut dire qu’elle se sent bien dans sa peau. Marcher le dos vouté indique plutôt un manque de confiance. Si une personne est honnête avec ses sentiments, elle devrait être capable de maintenir un contact visuel avec son interlocuteur. Tout mouvement des yeux peut indiquer qu’elle ment. La façon de parler peut être complétée par le langage du corps. Une voix calme peut prouver que l’expression faciale d’une personne reflète son état d’esprit. N’oubliez pas que certaines différences culturelles ou physiologiques peuvent modifier à la fois le langage du corps et l’expression du visage. Pour confirmer vos premières impressions sur une personne, vous devez mieux la connaitre. Il peut être utile de se mettre à analyser une personne, mais cette approche pourrait ne pas toujours être vraie.
Vers des approches multimodales
« Notre équipe s’intéresse aux approches multimodales de la reconnaissance d’émotions, indique Alexis Lechervy. Un doctorant, Valentin Vielzeuf, a soutenu fin 2019 une thèse portant entre autres sur la multimodalité, notamment sur une approche audio-vidéo. Il a mis à l’épreuve ses algorithmes en participant par deux fois (2017 et 2018) au challenge “Emotion Recognition in the Wild” (EmotiW) qui propose de détecter des émotions (et de les classer selon sept classes) sur un visage dans des centaines de brèves vidéos extraites de films et de séries de télé-réalité. Il s’agit donc de situations « proches » de la réalité. Les algorithmes de ce jeune chercheur ont été classés troisième dans les deux éditions (sur une trentaine d’équipes participantes). » « Il est important de noter que l’émotion ne peut pas se déduire à coup sûr de l’expression faciale, ajoute Alexis Lechervy. La thèse de notre doctorant en donne un exemple parlant : un certain gros plan sur le visage de Serena Williams au moment précis où elle emporte la finale de Roland Garros.
Sur ce visage, on peut lire de la tristesse ou de la peur. Mais en prenant du recul, les bras levés de la championne expriment nettement une joie intense. Et les acclamations du public, sur la bande son, vont dans le même sens. »
En savoir plus sur JeunInfo.J.I.
Subscribe to get the latest posts sent to your email.