Akka, 65 açık kaynak projede spec-driven AI portlama deneyi yaptı

İlk aşamada 99.3 saat ve 9.41 milyar token kullanan çalışma, daha ayrıntılı spesifikasyonların ilk denemeyi iyileştirdiğini ve sonuçların projeye göre çok değiştiğini gösterdi.

Akka, 65 açık kaynak proje üzerinde spec-driven bir AI porting deneyi yürüttüğünü açıkladı. Şirket, bu çalışmayı yapılandırılmış spesifikasyonların ve model seçiminin teslimat kalitesi, maliyeti ve hızını nasıl etkilediğini ölçmek için kullandı.

İlk aşamada çalışma 99.3 saat sürdü ve 9.41 milyar token kullandı. Akka, 65 portun 57’sinin kod boyutunda ya da performansta iyileşme ile tamamlandığını söyledi. Şirket ayrıca daha ayrıntılı spesifikasyonların ilk denemede daha iyi sonuçlar verdiğini, ancak bileşenler arası kararlarda bağlam eksikliğinin sorun yaratmayı sürdürdüğünü belirtti.

Akka, gelecek çalışmalarda interface enumeration, test ingestion, provenance tracking, differential testing ve adversarial testing gibi alanlara odaklanmayı planlıyor. Şirketin verdiği karşılaştırmada Sonnet port başına ortalama 61 dakika sürerken Opus için bu süre 120 dakika oldu; buna karşın Opus yaklaşık yüzde 40 daha az token kullandı. Doğrulama sürecinde orijinal unit ve integration testleri, serialization, security, error handling, PII, idempotency ve architectural boundaries kontrolleri birlikte kullanıldı. Performans projeden projeye çok değişti; Akka, Dify için 143,333 kat iyileşme ve Netflix Metaflow için yaklaşık 100 kat daha yavaş sonuç bildirdi.