Yüksek performanslı, enerji açısından verimli yapay zekayı devreye alma | MIT Teknoloji İncelemesi

Zane: Evet, sanırım son üç ya da dört yılda bir takım girişimler oldu. Intel, sunucuların modüler bileşenler halinde nasıl tasarlandığını yeniden tasarlamanın yanı sıra bunda da büyük bir rol oynadı. Sunucular için gerçekten modülerlik tam olarak göründüğü gibidir. Sunucunun farklı alt sistemlerini bazı standart yapı taşlarına ayırıyoruz, birlikte çalışabilmeleri için bu standart yapı taşları arasında bazı arayüzler tanımlıyoruz. Ve bunun bir takım avantajları var. Birincisi, sürdürülebilirlik açısından bakıldığında, bu donanım bileşenlerinin yerleşik karbonunu azaltır. Bu donanım bileşenlerinden bazılarının üretimi oldukça karmaşık ve enerji yoğundur. Örneğin 30 katmanlı bir devre kartının oldukça karbon yoğun bir donanım parçası olduğunu hayal edin. Sadece küçük bir kısmı bu tür bir karmaşıklığa ihtiyaç duysa bile sistemin tamamını istemiyorum. İhtiyacım olan yerde karmaşıklığın bedelini ödeyebilirim.

Tasarımı farklı parçalara nasıl ayıracağımız konusunda akıllı davranarak, somutlaşmış karbon ayak izini azaltıyoruz. Parçaların yeniden kullanılması da mümkün hale geliyor. Yani bir sistemi yeni bir telemetri yaklaşımına veya yeni bir güvenlik teknolojisine yükselttiğimizde, tüm sistemi değiştirmek yerine yalnızca küçük bir devre kartının değiştirilmesi gerekir. Ya da belki yeni bir mikroişlemci çıkar ve yeni güç kaynaklarına, yeni kasaya, yeni her şeye yatırım yapmadan işlemci modülü değiştirilebilir. Böylece döngüsellik ve yeniden kullanım önemli bir fırsat haline geliyor. Ve böylece bu veri merkezlerindeki karbon ayak izinin yaklaşık %10'u olan somutlaştırılmış karbon özelliği önemli ölçüde iyileştirilebilir. Sürdürülebilirliğin yanı sıra modülerliğin bir başka faydası da Ar-Ge yatırımını azaltmasıdır. Yani eğer yüzlerce farklı türde sunucu geliştireceksem, eğer bu sunucuları farklı şekilde yapılandırılmış aynı yapı taşlarına dayalı olarak oluşturabilirsem, daha az para, daha az zaman yatırımı yapmam gerekecek. Ve bu aynı zamanda modülerliğe doğru ilerlemenin gerçek bir itici gücüdür.

Defne: Peki, büyük kuruluşların daha verimli bilgi işlem yapmak için kullanabileceği sıvı soğutma ve ultra yüksek yoğunluklu bilgi işlem gibi teknik ve teknolojilerden bazıları nelerdir? Daha önce de belirttiğiniz gibi bunların su tüketimi, enerji kullanımı ve genel performans üzerindeki etkileri nelerdir?

Zane: Evet, bunlar bence çok önemli fırsatlar. Ve bunları teker teker ele alalım. Gelişmekte olan yapay zeka dünyasında, sıvı soğutmanın muhtemelen en önemli düşük asılı meyve fırsatlarından biri olduğunu düşünüyorum. Yani hava soğutmalı bir veri merkezinde, fanlara, soğutuculara ve evaporatif soğutma sistemlerine muazzam miktarda enerji harcanır. Ve bu aslında önemli bir kısım. Dolayısıyla, bir veri merkezini tamamen sıvı soğutmalı bir çözüme taşırsanız, bu, enerji tüketiminin yaklaşık %30'una varan bir fırsattır ve bu bir nevi hayret verici bir rakamdır. Sanırım insanlar çoğu zaman ne kadar enerji yakıldığına şaşırıyorlar. Bir veri merkezine girerseniz neredeyse kulak korumasına ihtiyacınız olur çünkü ortam çok gürültülüdür ve bileşenler ne kadar ısınırsa, fan hızları da o kadar yüksek olur ve soğutma tarafında o kadar fazla enerji harcanır ve sıvı soğutma çok fazla zaman alır. bu masanın dışında.

Sıvı soğutmanın ne olduğu biraz karmaşıktır. Herkes bunu tam olarak kullanamaz. Daha fazla ön maliyet var, ancak aslında uzun vadede para tasarrufu sağlıyor. Yani sıvı soğutmanın toplam sahip olma maliyeti çok uygun ve yeni veri merkezlerini sıfırdan tasarlıyoruz. Sıvı soğutma gerçekten heyecan verici bir fırsat ve sıvı soğutmaya ne kadar hızlı geçiş yaparsak o kadar fazla enerji tasarrufu sağlayabileceğimizi düşünüyorum. Ama dışarıda karmaşık bir dünya var. Tasarlanacak pek çok farklı durum ve pek çok farklı altyapı var. Dolayısıyla bunun bireysel bir işletme için ne kadar zor olduğunu küçümsememeliyiz. Sıvı soğutmanın diğer faydalarından biri de soğutma için suyu buharlaştırma işinden kurtulmamızdır. Kuzey Amerika'daki veri merkezlerinin çoğu kurak bölgelerde bulunuyor ve buharlaşmalı soğutma için büyük miktarlarda su kullanıyor.

Bu, enerji tüketimi açısından iyidir, ancak su tüketimi gerçekten olağanüstü olabilir. Yalnızca Kuzey Amerika veri merkezlerinde yılda bir trilyon galona yaklaşan su miktarını gördüm. Ve Güneydoğu Asya veya Doğu Çin gibi nemli iklimlerde, bu buharlaşmalı soğutma kapasitesi o kadar etkili olmuyor ve çok daha fazla enerji yakılıyor. Ve eğer gerçekten agresif enerji verimliliği rakamlarına ulaşmak istiyorsanız, bunu o nemli iklimlerde buharlaşmalı soğutmayla yapamazsınız. Ve bu coğrafyalar, sıvı soğutmaya geçiş için bir nevi mızrağın ucu gibidir.

Bahsettiğiniz diğer fırsat yoğunluktu ve gittikçe daha yüksek bilgi işlem yoğunluğu getirmek onlarca yıldır trend olmuştur. Moore Yasasının bizi ileriye doğru ittiği şey aslında budur. Ve bunun henüz yapılmadığının farkına varmanın önemli olduğunu düşünüyorum. GPU'lar ve hızlandırıcılardan oluşan rafları ne kadar düşünsek de, gelecekte bir raf sırası olabilecekleri tek bir bilgi işlem rafında paketlememize olanak tanıyan daha yüksek yoğunluklu geleneksel sunucularla enerji tüketimini yine de önemli ölçüde artırabiliriz. . Ve bunlar önemli tasarruflardır. Intel olarak, tek bir pakette 288 CPU çekirdeği ve 288 çekirdek içeren, 11.000'e kadar CPU çekirdeği içeren raflar oluşturmamıza olanak tanıyan yeni bir işlemcimiz olduğunu duyurduk. Yani oradaki enerji tasarrufu önemli, bunun nedeni sadece çiplerin çok ama çok verimli olması değil, aynı zamanda bu sistemlerin etrafındaki ağ ekipmanı ve yardımcı şeylerin miktarının çok daha az olması çünkü bu kaynakları çok yüksek yoğunluklu olanlarla daha verimli kullanıyorsunuz. bileşenler. Dolayısıyla devam etmek, hatta belki de bu ultra yüksek yoğunluklu bilgi işlem türüne giden yolumuzu hızlandırmak, belki gelecek olan daha büyük modellerden bazılarına uyum sağlamak için ihtiyaç duyduğumuz enerji tasarrufuna ulaşmamıza yardımcı olacaktır.

Defne: Evet, bu kesinlikle mantıklı. Ve bu, veri merkezlerinin, donanımın ve yazılımın, işlevden ödün vermeden daha fazla enerji verimli teknoloji oluşturmak için nasıl işbirliği yapabileceğini gösteren diğer kısmına iyi bir geçiştir. Peki işletmeler, donanım farkındalığına sahip yazılımlar gibi enerjiyi daha verimli kullanan donanımlara ve daha önce de belirttiğiniz gibi, büyük dil modellerine veya daha küçük altyapıya sahip LLM'lere nasıl yatırım yapabilir, ancak yine de yapay zekanın avantajlarından yararlanabilir?

Zane: Bence pek çok fırsat var ve belki de şu anda gördüğüm en heyecan verici şey, bu gerçekten büyük modellerin onlarca megawatt gerektirmesine rağmen yapabilecekleri karşısında oldukça şaşkınlığa uğramış ve şaşkına dönmüş olmamızdır. Süper bilgi işlem gücü sayesinde, bunları belirli bir bilgi alanı dahilinde çalıştırmakla yetindiğiniz sürece çok daha küçük modellerle aslında bu avantajların çoğunu elde edebilirsiniz. Dolayısıyla bunlardan sıklıkla uzman modeller olarak bahsettik. Örneğin Meta'nın ürettiği Llama 2 gibi açık kaynaklı bir modeli ele alalım. Yani bu modelin 7 milyar parametreli bir versiyonu var. Sanırım bu modelin GPT-4 ile karşılaştırıldığında 13 ve 70 milyar parametreli versiyonları da var, belki trilyon elementli bir model gibi bir şey. Yani çok, çok, çok daha küçük, ancak bu modele belirli bir kullanım senaryosuna göre verilerle ince ayar yaptığınızda, yani eğer bir kuruluşsanız, muhtemelen yapmaya çalıştığınız oldukça dar ve spesifik bir şey üzerinde çalışıyorsunuz demektir. .