Tous secteurs
Garde-fou d'entrée pour un assistant IA grand public interne
Chaque message est filtré avant d'atteindre le modèle : injections, contournements, contenus nuisibles et données personnelles. Le filtre tient sur un seul GPU.
Contexte
Assistant IA ouvert à plusieurs milliers d'utilisateurs internes, dont un public jeune, avec deux profils de sensibilité.
Le problème
Bloquer les usages dangereux sans bloquer les questions légitimes, avec une latence et un coût soutenables.
Ce que nous avons construit
Un garde-fou multicouche : règles anti-injection, détection et masquage des données personnelles, classifieur compact entraîné en interne, combiné à un classifieur de sécurité ouvert. Banc de 500 messages annotés à la main en français et anglais, comparaison de 13 classifieurs, outil interne de test des versions côte à côte.
Étapes
- 01Constitution d'un jeu de 500 messages annotés
- 02Banc comparatif des classifieurs du marché dans les mêmes conditions
- 03Choix de la combinaison et mise en service sur un GPU T4 avec mise à l'échelle à zéro
- 04Réentraînement et outil de comparaison des versions
Hébergement et modèles
Azure Container Apps avec GPU T4 (Europe de l'Ouest) ; classifieur mDeBERTa servi par vLLM et Granite Guardian 3.1 2B quantifié (llama.cpp). Aucun appel à un modèle externe pour le filtrage.
Services mobilisés
L'IA dans vos applications · Stratégie IA et cloud
Nous ne nommons un client qu'avec son accord écrit. Les budgets et les résultats détaillés de nos missions restent confidentiels.