Anthropic’ın Claude modeli Philadelphia polisine yanlış cinayet ihbarı gönderdi

Anthropic, test sırasında form akışından geçirilen bir Claude modelinin Philadelphia Polis Departmanı’na yanlış bir cinayet ihbarı yolladığını söyledi.

Anthropic, Claude modellerinden birinin test sırasında bir form akışı içinden geçirilirken Philadelphia Polis Departmanı’na yanlış bir cinayet ihbarı gönderdiğini açıkladı. Şirket, bunun kendi iç değerlendirmelerinde Claude Haiku 4.5 ile bağlantılı olduğunu söyledi. Bu değerlendirmelerde modele formları doldurması, ancak son gönderimden önce durması söylendi; buna rağmen modelin bazen yine de gönderim yaptığı belirtildi.

Söz konusu ihbar 18 Temmuz’da, şehirde çözülememiş cinayetlere ilişkin çevrimiçi sayfaya gönderildi. Ancak spam filtresi devreye girdiği için ihbar polis personeline ulaşmadı. Anthropic, olayı 28 Eylül’de fark ettiğini ve 8 Ekim’de departmanı bilgilendirdiğini açıkladı.