Forum
Contexte :
Je traite régulièrement des contrats clients (NDA, CGU, avenants) et je perds un temps fou à les relire manuellement. J’ai voulu tester Claude 3 Opus (via Perplexity Pro) et GPT-4 Turbo (via ChatGPT Plus) sur 3 documents types.
Méthode :
Même prompt pour les deux :
"Analyse ce contrat. Liste les clauses anormales, les risques cachés, les obligations floues. Propose des reformulations plus équilibrées côté prestataire."
Résultats (synthèse) :
| Critère | Claude 3 Opus | GPT-4 Turbo |
|---|---|---|
| Longueur max acceptée | ~150k tokens (doc entier de 50 pages OK) | ~128k tokens (ralentit après 30 pages) |
| Détection de clauses vagues | ✅ Très bon (ex: "délai raisonnable" → signale l'absence de définition) | ❌ Moins systématique |
| Propositions de reformulation | 🔥 Précises, juridiquement prudentes | ✅ Correctes mais parfois trop générales |
| Hallucinations (fausses mentions) | 0 (sur mes 3 tests) | 1 (a inventé une clause de non-concurrence inexistante) |
| Temps de réponse (doc 25 pages) | 28 sec | 16 sec |
Mon verdict perso :
→ Pour un premier filtre fiable sur des contrats sensibles → Claude 3 (plus rigoureux, moins d'hallucinations)
→ Pour une relecture rapide de documents moins critiques → GPT-4 (plus rapide, assez bon sur les gros volumes)
Question à la communauté :
Avez-vous testé d'autres modèles (Gemini 1.5 Pro, Llama 3 70B via API) pour ce type d'analyse juridique ?
Quel est votre workflow de vérification après une analyse IA ? (ex: relecture humaine ciblée, recoupement avec une base de clauses acceptables)