AI verimliliğinde 10 kat sıçrama
Google'ın planladığı yeni yaklaşımın, mevcut Google TPU'larına kıyasla watt başına işlenen token verimliliğini 6 ila 10 kat artırabileceği belirtiliyor. İddiaya göre Google'ın bu projeyi hızlandırmasının en önemli nedenlerinden biri şirket içindeki yapay zeka işlem gücü yetersizliği. Artan Gemini talebi nedeniyle Google Cloud'un bazı müşterilere yeterli kaynak sağlayamadığı ve şirket içinde de altyapı kapasitesi konusunda sorunlar yaşandığı belirtiliyor.
Yeni çip, klasik TPU ve Nvidia GPU'larından farklı olarak genel amaçlı bir hızlandırıcı olmayacak. Bunun yerine yalnızca Gemini mimarisi için optimize edilecek. Bu sayede daha az enerji tüketerek daha hızlı yanıt üretmesi hedefleniyor. Ancak bunun karşılığında çipin farklı yapay zeka modelleriyle çalışma esnekliği azalacak.
2028 hedefleniyor
Haberde, Google'ın ilk Frozen projesinde model ağırlıklarını (weights) doğrudan çipe gömmeyi planladığı ancak her yeni Gemini sürümünde donanımın eskiyecek olması nedeniyle bu fikirden vazgeçtiği aktarılıyor. Frozen v2 ise yalnızca model mimarisini sabitliyor. Model ağırlıkları ise güncellenebilir olmaya devam edecek.
Google'ın bu çipi mevcut TPU ailesinin yerine değil, ona ek bir ürün olarak konumlandıracağı belirtiliyor ve en erken 2028 yılında devreye alınması bekleniyor. Google kısa süre önce sekizinci nesil TPU platformunu tanıtmış ve bu çözümleri bulut müşterilerine de sunmaya başlamıştı. Frozen v2'nin başarıya ulaşması halinde şirketin Gemini modellerini daha düşük maliyetle ve daha yüksek verimlilikle çalıştırmasına katkı sağlaması bekleniyor.
