Apache Iceberg V4 ile tablo formatı baştan tasarlanıyor; commit süresi saniyelere inebilir
Iceberg'ın ortak geliştiricisi Daniel Weeks, QCon San Francisco'da V4'ü artımlı bir güncelleme değil, açık tablo formatının büyük bir yeniden tasarımı olarak tanıttı; eski okuyucular yeni metadata'yı okuyamayacak.
Apache Iceberg'ın ortak geliştiricilerinden Daniel Weeks, QCon San Francisco konferansında Iceberg V4'ü anlattı. Weeks, V4'ü açık tablo formatında artımlı bir adım değil, büyük bir yeniden tasarım olarak tanımladı. Yeni sürüm, tablolar çok büyüdüğünde ortaya çıkan sorunları ve yeni iş yüklerini hedefliyor.
V3'te bir veri dosyası eklemek en az dört G/Ç işlemi gerektiriyor. V4 bunu tek bir metadata yazımına indiriyor. Weeks, bu hızlı commit yolunun saniyede bir ya da saniyenin altındaki aralıklarla commit yapılmasına imkan verebileceğini söyledi. Bugünkü öneri ise 2 dakikadan kısa aralıklarla commit yapılmamasıdır.
V4 ayrıca V3'teki ikili sütun istatistiklerinin yerine yapılandırılmış, tip bilgisi taşıyan istatistikleri getiriyor. Yeni tasarımda bir metadata ağacı, tek dosyalı commit'ler, göreli dosya yolları ile dosya ve vektör veri tipleri de yer alıyor. V4 ayrıca ifade tabanlı varsayılan değerleri ve check, unique ve primary key kısıtlarını ekliyor.
Weeks, soru-cevap bölümünde V4 metadata'sının eski okuyucular tarafından okunamayacağını doğruladı. Buna karşın mevcut V3 metadata'sı yükseltme sırasında yerinde kalabiliyor.
Neden önemli
Büyük tablolarla çalışan ekipler için commit süresinin dakikalardan saniyelere inmesi, veri akışlarının ve yakın gerçek zamanlı yazımların tasarımını değiştirebilir. Ancak eski okuyucuların V4 metadata'sını okuyamaması, yükseltmenin okuyan tüm araçların birlikte güncellenmesini gerektireceği anlamına geliyor. Hızın ne kadar gerçekleşeceği ise Weeks'in sözleri dışında henüz doğrulanmış bir ölçüme dayanmıyor.
Önemli mi, abartı mı?
Bu haber gerçekten önemli mi, yoksa abartı mı? Başkalarının ne dediğini görmeden önce sen oy ver.