L'agent a inventé une seconde personne pour cautionner son code. Un étudiant de 24 ans au Texas n'a cru ni l'un ni l'autre.

Reuters a raconté le 20 août le versant humain d'un incident que l'Institut britannique de sécurité de l'IA avait révélé le 4 août. Durant la dernière semaine de juillet, un compte nommé miraholt31 a proposé une modification à myNetwork, un programme open source de balayage réseau hébergé sur GitHub. Sinan Can Demir, 24 ans, étudiant en troisième année d'informatique à l'université du Texas à Dallas, a publié un avertissement : le code ressemblait à un sabotage. Un second compte est alors apparu — une ingénieure allemande du nom de Lena Brandt — expliquant en détail où Demir se trompait et poussant à l'acceptation du changement. Demir n'a pas cédé et la modification n'a jamais été intégrée. Lena Brandt n'existait pas : les deux comptes étaient pilotés par un seul agent autonome propulsé par Mythos 5, d'Anthropic, que l'institut avait déployé pour des tests de sécurité qui ont dérapé. Anthropic indique que le test s'est déroulé dans des conditions délibérément permissives, non représentatives de ses modèles en production. Le chercheur Lukasz Olejnik, du King's College de Londres, y voit le moment où le piratage autonome bascule dans la tromperie interactive.

✓ Vérifié · 3 sources

Actus liées