Bot de Modération IA
La relecture des annonces passe de quelques heures à quelques secondes
En bref
Sur une marketplace entre particuliers, Canopy a remplacé la relecture manuelle des annonces par un bot de modération (Mistral.ai, Python, FastAPI). Il note chaque annonce à partir du texte, des photos et du compte, puis la publie, la rejette ou la transmet à un modérateur humain.
Par Simon Duchène, fondateur de Canopy · Mis à jour le
Qui est le client ?
Sur cette marketplace entre particuliers, chaque annonce était relue à la main avant publication. Le bot lit le texte, les photos et les métadonnées, attribue un score, et publie, rejette ou transmet à un modérateur. Les cas ambigus arrivent toujours devant un humain.
Quel était le défi ?
Sur une marketplace entre particuliers, chaque annonce doit être relue avant publication. À la main, cela veut dire plusieurs heures d'attente pour le vendeur, et une équipe qui lit la même chose toute la journée.
- Passer de plusieurs heures à quelques secondes sans ouvrir la porte aux arnaques.
- Juger un texte, des photos et des métadonnées ensemble : une annonce anodine avec un numéro de téléphone dans l'image ne l'est plus.
- Appliquer des règles différentes selon la catégorie : ce qui passe pour un meuble ne passe pas pour un produit réglementé.
- Refuser une annonce légitime coûte un vendeur. Le taux de faux positifs devait rester bas.
Qu’avons-nous construit ?
Le bot lit l'annonce, lui attribue un score, et décide : publication, rejet, ou file d'attente humaine.
- Mistral.ai pour l'analyse du texte en contexte, y compris les formulations détournées.
- Un score composé de plusieurs signaux — contenu du texte, contenu des images, métadonnées du compte — plutôt qu'une règle unique.
- Des seuils réglables par catégorie depuis une interface : l'équipe durcit ou assouplit sans nous appeler.
- Redis en file de traitement et FastAPI côté service, le tout en conteneurs Docker.
- Chaque décision corrigée par un modérateur humain remonte dans le système et sert de référence.
Quelles fonctionnalités ?
- ·Analyse du texte en contexte, formulations détournées comprises
- ·Détection des images non conformes
- ·Score composé de plusieurs signaux, ajustable
- ·Publication automatique au-dessus du seuil, file humaine en dessous
- ·Repérage des comptes au comportement suspect
- ·Modération des messages entre membres
- ·Seuils réglables par catégorie d'annonce
- ·API de modération appelable à la volée
- ·Tableau de bord des décisions et des délais
- ·Corrections des modérateurs réinjectées dans le système
Quels résultats ?
- 01
90 % des annonces publiées en moins de 30 secondes
- 02
Charge de modération humaine divisée par quatre
- 03
Plus de 95 % des contenus problématiques interceptés
- 04
Moins de 2 % d'annonces légitimes bloquées à tort
Qu’est-ce qui a changé ?
| Aspect | Avant | Après |
|---|---|---|
| Délai de publication | Plusieurs heures d’attente pour le vendeur | Quelques secondes pour la plupart des annonces |
| Relecture | Chaque annonce relue à la main | Le bot publie, rejette ou transmet ; les cas ambigus vont toujours à un humain |
| Règles | Un même jugement à appliquer à des catégories très différentes | Des seuils réglables par catégorie depuis une interface, sans développeur |
| Équipe | Des modérateurs qui lisent la même chose toute la journée | Des modérateurs concentrés sur les cas ambigus, dont les corrections nourrissent le système |
Témoignage
« Le bot de modération a transformé notre processus de validation des annonces. La rapidité et la précision du système nous permettent de nous concentrer sur les cas complexes tout en garantissant une excellente expérience utilisateur. »
Questions fréquentes
Le bot décide-t-il seul ?
Seulement quand il est sûr de lui. Au-dessus du seuil, l’annonce est publiée ; en dessous, elle part dans une file relue par un modérateur. Les cas ambigus arrivent toujours devant un humain.
Sur quoi repose le score d’une annonce ?
Sur plusieurs signaux combinés plutôt qu’une règle unique : le contenu du texte, celui des images et les métadonnées du compte.
Peut-on régler la sévérité de la modération ?
Oui, catégorie par catégorie, depuis une interface : l’équipe durcit ou assouplit les seuils sans faire appel à un développeur. Les corrections des modérateurs sont réinjectées dans le système.
Lexique du projet
- Modération de contenu
- La modération de contenu est le contrôle, par des humains ou des outils automatiques, de ce que les utilisateurs publient sur une plateforme. Source : Wikipédia
- Faux positif
- Un faux positif est un résultat qui signale un problème à tort : ici, une annonce légitime bloquée par erreur. Source : Wikipédia
- Grand modèle de langage
- Un grand modèle de langage est un modèle d’IA entraîné sur de très grands volumes de texte, capable de comprendre et de rédiger du langage naturel. Source : Wikipédia
- Mistral AI
- Mistral AI est une entreprise française qui développe des grands modèles de langage, utilisables par API. Source : Wikipédia
- Redis
- Redis est une base de données en mémoire, souvent utilisée comme cache ou comme file d’attente de traitement. Source : Wikipédia
Stack
On démarre le vôtre ?
Brief en 2 minutes via l’estimateur, ou écrivez-nous. Réponse sous 48 heures.