Évaluer un outil d'IA pour le cabinet : la grille en cinq critères.

Les outils d'IA pour avocats se multiplient, et les plaquettes se ressemblent toutes. Cette grille d'évaluation en cinq critères s'utilise en démonstration, avec les questions précises à poser.

1. L'intégration à l'existant

Un outil qui exige de changer de logiciel métier ou de messagerie part avec un handicap rédhibitoire : la migration coûte plus cher que l'outil. Posez la question : « qu'est-ce qui change dans nos habitudes le jour de l'installation ? » La seule réponse acceptable : presque rien.

2. Le comportement dans le doute

Demandez ce que fait l'outil quand il n'est pas sûr. S'il classe quand même, fuyez : une pièce mal rangée est une pièce perdue. La bonne réponse est le silence : présenter les options et laisser le cabinet trancher.

3. Le contrôle et la traçabilité

Chaque action doit être journalisée et réversible. Un envoi sans validation doit être impossible par défaut. Demandez à voir le journal d'audit en démonstration, pas sur la plaquette.

4. La conformité

Accord de sous-traitance, registre, analyse d'impact, hébergement en Union européenne, engagement écrit de non-entraînement des modèles sur vos données. Le détail des documents à exiger →

5. La tarification

Une facturation par utilisateur pénalise les cabinets qui veulent équiper toute l'équipe, assistantes comprises. C'est pourtant là que l'outil rend le plus service. Préférez un tarif à l'usage réel, lisible et sans surprise. Voir comment Mailatio aborde la question →

Avant la grille : nommer le problème

« Nous voulons faire de l'IA » n'est pas un problème, c'est une intention. « Nos pièces mettent trois jours à arriver dans le dossier » en est un, et il se vérifie.

Écrivez en une phrase ce que le cabinet veut voir disparaître, puis chiffrez-le grossièrement : combien d'heures par semaine, chez combien de personnes. Sans ce repère, toutes les démonstrations paraissent convaincantes, parce qu'aucune n'est comparée à quoi que ce soit. Le calculateur de coût du courrier donne cet ordre de grandeur en trois curseurs.

Les questions à poser pendant la démonstration

Sept questions, dans cet ordre. Elles se posent à l'écran, pas sur la plaquette.

1. « Montrez-moi ce qui se passe avec un email dont vous ne trouvez pas le dossier. » C'est le seul moment de la démonstration qui vous apprend quelque chose.
2. « Montrez-moi le journal d'audit de ce que vous venez de faire. » S'il faut vous rappeler la semaine prochaine, il n'y a pas de journal.
3. « Combien de temps entre la signature et le premier email correctement classé ? » Une réponse en jours est suspecte : apprendre les conventions d'un cabinet prend du temps.
4. « Qui, chez vous, peut accéder au courrier de mon cabinet, et dans quelles conditions ? »
5. « Mes données contribueront-elles à entraîner vos modèles ? » La réponse doit être non, et elle doit être écrite.
6. « Que se passe-t-il si j'arrête dans six mois ? » Cherchez où vit le travail déjà fait : chez vous, ou chez eux.
7. « Montrez-moi maintenant, à l'écran, le tarif pour un cabinet de ma taille. »

Les signaux d'alerte

• ✓Le tarif n'est jamais public. Un prix systématiquement « sur devis » est un prix qui dépend de ce que le vendeur croit pouvoir obtenir.
• ✓La démonstration ne se fait que sur des données de démonstration. Un jeu d'essai est toujours propre ; votre courrier ne l'est pas.
• ✓Le mot « précision » sans méthode. Un chiffre de précision qui n'est pas accompagné de ce qu'il mesure et de comment il a été mesuré n'est pas un chiffre.
• ✓« Nous ne stockons rien. » Invérifiable, et rarement exact. Préférez un éditeur qui explique ce qu'il stocke, où, et pendant combien de temps.
• ✓Le refus de communiquer l'accord de sous-traitance avant la signature. C'est le document qui dit ce qu'ils ont le droit de faire ; le lire après avoir signé n'a aucun intérêt.
• ✓Une réponse unique à toutes vos questions : « c'est prévu ». Achetez ce qui existe, pas une feuille de route.

Qui associer, dans le cabinet

• ✓L'associé qui décide, parce que c'est un engagement pluriannuel dans les faits.
• ✓La personne qui classe réellement le courrier, souvent une assistante. Elle repérera en trois minutes les défauts que personne d'autre ne verra, parce qu'elle connaît les cas tordus.
• ✓Celui qui répondra du RGPD devant le cabinet, et qui lira l'accord de sous-traitance.

Un outil choisi par le seul associé se paie à l'usage : il est acheté sur une promesse et abandonné sur un détail que personne n'avait regardé.

Cadrer le pilote

Une démonstration prouve que le produit existe. Un pilote prouve qu'il marche chez vous. Les deux ne se remplacent pas.

• ✓Sur les vraies boîtes, avec les vrais dossiers et les vraies conventions. Un pilote sur un jeu d'essai ne mesure rien.
• ✓Assez long pour couvrir un cycle complet : un mois au minimum, pour voir passer une facturation, une échéance et un dossier qui change de mains.
• ✓Avec un critère de succès écrit avant de commencer. Sinon, la conclusion se négocie après coup.
• ✓Avec un référent nommé qui corrige les erreurs plutôt que de les subir. C'est ce travail qui apprend au système vos conventions.
• ✓Avec une date de décision. Un pilote sans date se prolonge jusqu'à ce que tout le monde ait oublié la question de départ.