AI’nın gerçek karbon ayak izi hakkında daha iyi bir fikir ediniyoruz

Hugging Face, yeni yaklaşımını test etmek için bu yılın başlarında piyasaya sürülen kendi büyük dil modeli BLOOM’un genel emisyonlarını tahmin etti. Bu, pek çok farklı sayının toplanmasını içeren bir süreçti: bir süper bilgisayarda modeli eğitmek için kullanılan enerji miktarı, süper bilgisayarın donanımını üretmek ve bilgi işlem altyapısını sürdürmek için gereken enerji ve bir kez BLOOM’u çalıştırmak için kullanılan enerji. konuşlandırıldı. Araştırmacılar, son kısmı, BLOOM’un 18 günlük bir süre boyunca gerçek zamanlı olarak ürettiği karbon emisyonlarını izleyen CodeCarbon adlı bir yazılım aracını kullanarak hesapladılar.

Hugging Face, BLOOM’un eğitiminin 25 metrik ton karbon emisyonuna yol açtığını tahmin etti. Ancak araştırmacılar, eğitim için kullanılan bilgisayar ekipmanının üretiminden kaynaklanan emisyonları, daha geniş bilgi işlem altyapısını ve eğitildikten sonra BLOOM’u fiilen çalıştırmak için gereken enerjiyi dikkate aldıklarında bu rakamın ikiye katlandığını buldular.

Bu, bir model için çok fazla gibi görünse de—50 metrik ton karbon emisyonu, Londra ve New York arasındaki yaklaşık 60 uçuşa eşittir—aynı boyuttaki diğer LLM’lerle ilişkili emisyonlardan önemli ölçüde daha azdır. Bunun nedeni, BLOOM’un çoğunlukla nükleer enerjiyle çalışan ve karbon emisyonu üretmeyen bir Fransız süper bilgisayarı üzerinde eğitilmiş olmasıdır. Çin, Avustralya veya ABD’nin fosil yakıtlara daha fazla dayanan enerji şebekelerine sahip bazı bölgelerinde eğitilmiş modeller muhtemelen daha fazla kirletici olacaktır.

BLOOM piyasaya sürüldükten sonra Hugging Face, modeli kullanmanın günde yaklaşık 19 kilogram karbondioksit saldığını tahmin etti; bu, ortalama yeni bir arabada yaklaşık 84 mil sürerken üretilen emisyonlara benzer.

Karşılaştırma yapmak gerekirse, OpenAI’nin GPT-3’ünün ve Meta’nın OPT’sinin eğitim sırasında sırasıyla 500 ve 75 metrik tondan fazla karbondioksit yaydığı tahmin ediliyor. GPT-3’ün geniş emisyonları kısmen daha eski, daha az verimli donanımlar üzerinde eğitilmiş olmasıyla açıklanabilir. Ancak rakamların kesin olarak ne olduğunu söylemek zor; karbon emisyonlarını ölçmenin standartlaştırılmış bir yolu yoktur ve bu rakamlar harici tahminlere veya Meta’nın durumunda şirketin yayınladığı sınırlı verilere dayanmaktadır.

“Hedefimiz, eğitim sırasında tüketilen elektriğin karbon emisyonlarının ötesine geçmek ve yaşam döngüsünün daha büyük bir bölümünü hesaba katarak yapay zeka topluluğunun çevre üzerindeki etkileri ve nasıl olduğu hakkında daha iyi bir fikir edinmesine yardımcı olmaktı. Hugging Face’te araştırmacı ve gazetenin baş yazarı olan Sasha Luccioni, bunu azaltmaya başlayabiliriz” diyor.

2019’da yapay zekanın iklim üzerindeki etkisi üzerine ufuk açıcı bir makale yazan Carnegie Mellon Üniversitesi bilgisayar bilimleri fakültesinde yardımcı doçent olan Emma Strubell, Hugging Face’in makalesinin AI modelleri geliştiren kuruluşlar için yeni bir standart oluşturduğunu söylüyor. bu yeni araştırmada.

Rapor, “diğer herhangi bir makaleden çok daha fazla ayrıntıya girerek, bildiğim kadarıyla, büyük bir makine öğrenimi modelinin karbon ayak izinin bugüne kadarki en kapsamlı, dürüst ve bilgili analizini temsil ediyor.” [or] bildiğimi bildir, ”diyor Strubell.