Google, üretimdeki AI ajanlarındaki kalite sorunlarını bulan açık kaynaklı AQuA aracını yayımladı

AQuA, Google Cloud'da çalışan ajanların telemetrisini okuyarak sıradan altyapı izlemesinin kaçırdığı kalite gerilemelerini ve olası kök nedenlerini kaynak kod satırlarına bağlayarak gösteriyor.

Google, Google Cloud üzerinde çalışan üretim ortamındaki yapay zekâ ajanlarının yanında duran açık kaynaklı bir referans araç olan AQuA'yı yayımladı. Araç Cloud Trace, Cloud Logging ya da BigQuery'den telemetri okuyor ve her çalıştırmada en fazla 1.000 yakın tarihli oturumu örnekliyor. Amaç, sıradan altyapı izlemesinin fark etmediği kalite gerilemelerini yakalamak.

AQuA, tekrar eden hataları gruplayıp aday kümeler oluşturuyor, ardından bu kümeleri tam konuşma kayıtlarına karşı doğruluyor. Hatalı oturumları, dağıtım anında alınmış değiştirilemez bir kaynak kodu anlık görüntüsüyle karşılaştırarak olası kök nedenleri dosya ve satır numaralarıyla gösteriyor.

Google'ın çok ajanlı bir seyahat uygulamasından aldığı 32 oturumluk bir testte AQuA, dokuz aday kümede 42 bulgu üretti. Doğrulayıcı üçünü reddetti; geriye koltuk seçimini atlayan durumlar ve kaybolan vegan beslenme tercihi dahil altı doğrulanmış sorun kaldı. İstem değişikliklerinden ve kontrollü yeniden oynatmadan sonra koltuk seçimi atlamaları 15 oturumdan ikiye, beslenme tercihi eksikliklerinden yedi oturumdan sıfıra düştü. Ancak bu sonuçlar canlı trafikten değil, yeniden oynatmalardan geliyor.

AQuA kendi başına düzeltme uygulamıyor ve çekme isteği açmıyor. Google, örnekleme yönteminin nadir hataları kaçırabileceğini ve yeniden oynatmanın dış sistem durumunu tam olarak yeniden üretemeyebileceğini kabul ediyor.