Grafana, AI ajan davranışını SLO ve error budget ile ölçmeyi öneriyor

Şirket, tek bir kalite puanı yerine değerlendirmelerle ayrı davranış sinyallerini izlemenin daha doğru olduğunu söylüyor.

Grafana Labs, AI agent davranışını evaluations, SLOs ve error budgets ile ölçmeyi öneriyor. Yaklaşım, grounding, task completion, toxicity, prompt injection ve cost gibi davranışları tek bir kalite puanı altında toplamak yerine ayrı sinyaller olarak ele alıyor. Grafana’ya göre böylece farklı hata türleri farklı ağırlıklarla izlenebiliyor.

Şirketin verdiği örnekte, 30 günlük bir pencerede görüşmelerin yüzde 95’inin fulfilled sayılması hedefleniyor; kalan yüzde 5 ise tolerated error budget olarak kabul ediliyor. Grafana, bu hedeflerin önce baseline evaluations ve historical results üzerinden belirlenmesi, sistem olgunlaştıkça da sıkılaştırılması gerektiğini söylüyor. Aynı zamanda zayıf evaluation yöntemlerinin error budget’ı yanıltıcı hale getirebileceği uyarısını yapıyor.