Yapay Zeka Bellek Pazarında Gözden Kaçan Aktör
Bu yıl yapay zeka (AI) belleğine yönelik artan talep üzerine yapılan neredeyse tüm sohbetler aynı şekilde ilerliyor. Birisi yüksek bant genişlikli belleği (HBM) — yani Nvidia'nın grafik işlem birimlerinin (GPU) yanına istiflenen yongaları — gündeme getiriyor ve tartışma hemen Micron Technology'ye sıçrıyor. Ya da biri flaş depolamadan bahsediyor ve söz SanDisk'e dönüyor. Her iki şirket de, ani bir arz kıtlığı yaşayan emtia ürünlerinin üreticileri olarak güçlü konumlarıyla ödüllendirildi.
Ancak bu iki şirket belleği üretiyor. Daha küçük bir işletme ise bu belleğin sunucuların içinde nasıl düzenleneceğini belirliyor ve çip üreticilerinin tek başlarına çözemediği bir sorunu çözüyor.
Bu şirket, Fremont, California merkezli ve çoğu yatırımcının henüz adını bile duymadığı Penguin Solutions (PENG) şirketidir — ki bu kısmen iki yıl önce adını SMART Global Holdings'ten değiştirmesinden kaynaklanmaktadır. Şirket onlarca yıldır bellek modülleri üretiyor. Şu anda yaptığı şey ise çok daha farklı ve piyasa bunu henüz yakalayabilmiş değil.
Penguin Solutions Bellek Duvarına Saldırıyor
İşte Penguin'in yalın terimlerle üzerinde çalıştığı sorun tam olarak budur. Bir yapay zeka modeli bir soruyu yanıtlamak için yola çıktığında, konuşmada daha önce söylenen her şeyi hatırlamak zorundadır. Bu çalışan bellek, KV önbelleği (KV cache) adı verilen bir alanda tutulur ve bugün bu veri genellikle pahalı ve kıt olan GPU'nun kendi belleğinde yaşar.
In September, the company showed a KV cache server that packs 3 terabytes of standard DDR5 memory plus up to eight 1-terabyte CXL add-in cards, for a total of roughly 11 terabytes per machine.
Konuşmalar uzadıkça ve yapay zeka ajanları saniyeler yerine saatlerce çalıştıkça, bu bellek doluyor. Sonuç olarak, bellek yongalarının ve sürücülerin işlemcilere ihtiyaç duydukları tüm verileri beslemesi daha uzun sürebiliyor ve bir GPU veri beklerken boşta kalıyor. Mühendisler bu duruma bellek duvarı adını veriyor.
Penguin'in bu duruma yanıtı, bir makinenin tıpkı masaüstü bilgisayara ekstra bir sabit sürücü ekleyebileceğiniz gibi fazladan bellek takmasına olanak tanıyan CXL adı etrafında inşa edilmiş bir sunucudur. Eylül ayında şirket, makine başına toplam yaklaşık 11 terabayt için 3 terabayt standart DDR5 bellek ve sekiz adede kadar 1 terabaytlık CXL eklenti kartı içeren bir KV önbellek sunucusu sergiledi.
Buradaki fikir, yapay zeka programının çalışan belleğini GPU'ların içine değil, yanına park etmek ve bu pahalı çiplerin hesaplama yapmaya daha fazla, veri beklemeye ise daha az zaman harcamasını sağlamaktır. Penguin ayrıca Marvell Technology ile yeni nesil bir bellek ürünü geliştiriyor ve ekim ayında yatırımcılara rezervasyonlar güçlendiği için yeni CXL ürünlerine para yatırmaya devam ettiğini belirtti.
Yazılım Entegrasyonu ve Yeni Nesil Bulut Sağlayıcıları
Penguin'in tekliflerini kopyalanması zor kılan şey, yalnızca kartları satmıyor olmasıdır. Şirket sunucuyu tasarlıyor, onu yöneten yazılımı yazıyor ve giderek tesisin tamamını işletiyor. ClusterWareAI yazılımı artık insan müdahalesine gerek kalmadan GPU performans sorunlarını tespit edip düzeltebiliyor.
Bu durum büyük bir önem taşıyor çünkü şirketin alıcıları genellikle gerekli sermayeye ve Nvidia işlemci tahsisine sahip olan, ancak operasyon personeli bulunmayan yeni bulut sağlayıcılarıdır.
Bu müşteriler durumun gerçek hikayesini anlatıyor. Mali dördüncü çeyreğinde Penguin, dördü sözde neocloud (yapay zeka laboratuvarlarına GPU kapasitesi kiralayan özel işlem sağlayıcıları) olmak üzere altı yeni yapay zeka altyapı müşterisiyle sözleşme imzaladı.
Bu müşterilerden biri, bir yapay zeka laboratuvarından sağlanan 10 milyar dolarlık bir bilgi işlem sözleşmesiyle desteklenen Norveç'teki 36.000 GPU'lu bir tesisi kurmak ve işletmek için Penguin'i işe aldı. Bir diğer halka açık neocloud ise, imzalanmış 3 milyar dolardan fazla sözleşmeyle dağıtım ve 7/24 operasyonlar için Penguin'i seçti. Güney Koreli bir teknoloji şirketinin bulut girişimi de Nvidia'nın GB300 (Grace Blackwell Ultra) platformları etrafında merkezlenen bir bulut inşa etmek üzere şirketi tercih etti.
Döngüsel Riskler ve Yatırım Fırsatları
Ancak unutulmamalıdır ki Penguin özünde hala bir bellek şirketidir ve bellek piyasası son derece döngüseldir. Ekim ayında bellek ve yapay zeka bağlantılı hisse senetleri keskin bir satış dalgası yaşadı ve Penguin'in kendisi de ekim ayının başlarında ulaştığı zirveden bu yana %30'dan fazla değer kaybetti.
The stock is overlooked in the way that matters: Investors see 'memory' and think 'commodity maker' when the company is actually building the plumbing that allows AI inference to scale.
Yazarın değerlendirmesine göre bu durum net bir alım fırsatına işaret ediyor. Penguin'in entegre bellek segmenti, veri merkezi talebi sayesinde geçen yıl kabaca iki katına çıktı, ancak arz talebi yakaladığında bu artış tersine dönebilir.
Şirket ayrıca bir avuç büyük müşteriye ve kontrol edemediği bileşenlere bağımlıdır; bu nedenle yılın bir kısmını yeni tedarik anlaşmaları yapmakla geçirmiştir.
Hisse senedi, tam da önemli olan noktada göz ardı ediliyor: Yatırımcılar "bellek" görüyor ve şirket aslında yapay zeka çıkarımının ölçeklenmesini sağlayan tesisatları inşa ederken onu "emtia üreticisi" olarak düşünüyor. Halihazırda bariz bellek hisselerine sahip olan herhangi bir yatırımcı için, bunların arkasındaki kazma-kürek oyununu oynayan bu şirkette küçük bir pozisyon açmak değerli olabilir. Yalnızca Penguin'in hala kısmen döngüsel bir hisse senedi olduğunu unutmayın ve payınızı buna göre ayarlayın.
