Google'ın TPU çipleri artık Meta'nın veri merkezlerinde yapay zeka iş yükünü çalıştırıyor

SGLang'in PyTorch'la çalışan yeni sürümü sayesinde Meta, Google'ın özel TPU hızlandırıcılarını üretim ortamında kullanmaya başladı; aynı gün Amazon de Trainium çipleri için kendi PyTorch arka ucunu açık kaynak olarak yayımladı.

Google'ın kendi geliştirdiği TPU hızlandırıcıları artık Meta'da üretim ortamında yapay zeka iş yüklerini çalıştırıyor. Bunu mümkün kılan, Meta ve RadixArk ile birlikte geliştirilen ve PyTorch'la doğrudan çalışan SGLang çıkarım motoru. Meta'nın PyTorch yöneticisi, TorchTPU'nun PyTorch iş yüklerinin Google TPU'lara dağıtılmasını sağladığını söyledi.

Ayrıca TPU'lar için uyumlu, açık kaynak bir vLLM sürümü de yayımlandı. Bu sürüm çoğu durumda önceki JAX tabanlı kurulumlara duyulan ihtiyacı ortadan kaldırıyor. Bugüne kadar her iki motor da TPU'larda Google'ın JAX çerçevesi üzerinden çalışıyordu.

Inferact, yedinci nesil Ironwood TPU'larda ayarlanmış bir vLLM kurulumunun, Moonshot AI'ın 2,8 trilyon parametreli Kimi K3 modelini tek kullanıcı için saniyede 700 tokenın üzerinde çalıştırdığını bildiriyor. Aynı karşılaştırmada vLLM'in 16 Nvidia GB200 üzerinde ulaştığı hız 452 token/saniye. Ancak bu test sağlayıcının kendi yürüttüğü bir test; bağımsız bir doğrulaması yok.

RadixArk, Q1 2027'ye kadar daha fazla model desteği ve yeni açık modeller için yayın günü TPU desteği hedefliyor. Ayrıntılar Kasım ayında yapılacak SGLang Summit'te paylaşılacak.