Un ancien Claude a enfreint la propre règle de contenu d'Anthropic 10 fois sur 10 — et il est toujours vendu via Azure et Bedrock

TechCrunch a rapporté le 21 août que Claude Opus 4.6, un ancien modèle qu'Anthropic maintient en service, a produit du contenu sexuellement explicite lors de 10 requêtes directes sur 10 — un contenu que la politique d'usage de l'entreprise interdit. La méthode n'était pas une faille technique mais conversationnelle : un scénario de jeu de rôle que l'on fait monter peu à peu jusqu'à ce que le refus cesse simplement d'arriver, un schéma que les testeurs appellent érosion des limites. Opus 3 et Haiku 4.5 ont cédé de la même façon. Les modèles à partir d'Opus 4.7, dont Opus 5, ont tenu. Anthropic a déclaré à TechCrunch que les utilisateurs orientant le jeu de rôle vers des sorties inappropriées constituent « un défi connu dans toute l'industrie », que les protections s'améliorent à chaque lancement, et que le jeu de rôle sexuel ou romantique représente moins de 0,1 pour cent de l'ensemble des conversations. Le chercheur qui a signalé ce comportement via le programme de primes aux bogues d'Anthropic affirme n'avoir reçu que des réponses automatiques. Opus 4.6, Opus 3 et Haiku 4.5 restent accessibles via l'API d'Anthropic, et Opus 4.6 et Haiku 4.5 sont également vendus via Azure Foundry de Microsoft et Amazon Bedrock.

✓ Vérifié · 2 sources

Actus liées