Crypto AI'nın Kutsal Kâsesi: Merkeziyetsizlik Eğitiminin Sınırlarını Keşfetmek
AI'nın tam değer zincirinde, model eğitimi en fazla kaynak tüketen ve en yüksek teknik engelli aşamadır, modelin yetenek sınırını ve gerçek uygulama etkisini doğrudan belirler. Çıkarım aşamasının hafif çağrılara kıyasla, eğitim süreci sürekli büyük ölçekli hesaplama gücü yatırımı, karmaşık veri işleme süreçleri ve yüksek yoğunlukta optimizasyon algoritmaları desteği gerektirir, bu da AI sistemlerinin inşasında gerçek bir "ağır sanayi"dir. Mimari paradigmalara göre, eğitim yöntemleri dört kategoriye ayrılabilir: merkezileşmiş eğitim, dağıtık eğitim, federatif öğrenme ve bu makalede odaklanılan Merkeziyetsizlik eğitim.
Merkeziyetsizlik eğitimi, tek bir kuruluşun yerel yüksek performanslı küme içinde tüm eğitim süreçlerini tamamladığı en yaygın geleneksel yöntemdir; donanım, alt yazılım, küme planlama sistemi ve eğitim çerçevesinin tüm bileşenleri, tek bir kontrol sistemi tarafından koordine edilen bir şekilde çalışır. Bu derin işbirliği mimarisi, bellek paylaşımı, gradyan senkronizasyonu ve hata tolerans mekanizmalarının verimliliğini en üst düzeye çıkararak, GPT, Gemini gibi büyük ölçekli modellerin eğitimi için son derece uygundur; yüksek verimlilik ve kontrol edilebilir kaynaklar gibi avantajları vardır, ancak aynı zamanda veri tekelciliği, kaynak engelleri, enerji tüketimi ve tek nokta riski gibi sorunları da barındırmaktadır.
Dağıtık eğitim, günümüz büyük model eğitiminde ana akım bir yöntemdir; bunun temeli, model eğitim görevlerinin parçalanıp birden fazla makineye dağıtılarak iş birliği içinde yürütülmesidir. Bu, tek bir makinenin hesaplama ve depolama darboğazlarını aşmak içindir. Fiziksel olarak "dağıtık" özelliklere sahip olmasına rağmen, genel olarak merkezi bir kurum tarafından kontrol edilen, yönlendirilen ve senkronize edilen bir yapıda kalmaktadır; genellikle yüksek hızlı yerel alan ağları ortamında çalışır ve NVLink yüksek hızlı bağlantı teknolojisi ile ana düğüm, her bir alt görevi koordine eder. Ana akım yöntemler şunları içerir:
Veri paralelliği: Her bir düğüm farklı veri parametrelerini eğitir, model ağırlıklarının eşleşmesi gerekmektedir.
Model paralelliği: Modelin farklı bölümlerini farklı düğümlere dağıtarak güçlü ölçeklenebilirlik sağlama
Boru hattı paralelliği: Aşamalı seri yürütme, verimliliği artırır.
Tensor paralelliği: Matris hesaplamalarını ince bir şekilde bölerek paralel işleme granülünü artırma
Dağıtık eğitim, "merkezi kontrol + dağıtık yürütme" kombinasyonudur; bu, aynı patronun uzaktan birden fazla "ofis" çalışanını görevleri tamamlaması için koordine etmesine benzetilebilir. Şu anda neredeyse tüm ana akım büyük modeller bu şekilde eğitim almaktadır.
Merkeziyetsizlik eğitimi, daha açık ve sansüre karşı dayanıklı bir geleceği temsil eder. Bu sistemin temel özellikleri şunlardır: Birbirine güvenmeyen birden fazla düğüm, merkezi bir koordinatör olmadan eğitim görevlerini işbirliği içinde tamamlar; genellikle protokoller aracılığıyla görev dağıtımı ve işbirliği sağlanır ve katkının dürüstlüğünü güvence altına almak için kriptografik teşvik mekanizmaları kullanılır. Bu modelin karşılaştığı başlıca zorluklar şunlardır:
Cihaz heterojenliği ve kesim zorluğu: Heterojen cihazların koordinasyonu zor, görev kesim verimliliği düşük
İletişim verimliliği darboğazı: Ağ iletişimi istikrarsız, gradyan senkronizasyonu darboğazı belirgin
Birlikte koordine eksikliği: Merkezî bir denetleyici yok, görev dağıtımı ve hata geri alma mekanizması karmaşık
Merkeziyetsizlik eğitimi, dünya genelindeki bir grup gönüllünün, her birinin hesaplama gücünü katkıda bulunarak model eğitimi yaptığı şekilde anlaşılabilir; ancak "gerçekten uygulanabilir büyük ölçekli merkeziyetsizlik eğitimi" hala sistematik bir mühendislik zorluğudur ve sistem mimarisi, iletişim protokolleri, şifre güvenliği, ekonomik mekanizmalar, model doğrulama gibi birçok alanda yer almaktadır. Ancak "işbirliği etkili + dürüstlük teşviki + doğru sonuç" sağlanıp sağlanamayacağı henüz erken prototip keşif aşamasındadır.
Federated learning, as a transitional form between distributed and Merkeziyetsizlik, emphasizes local data retention and centralized aggregation of model parameters, making it suitable for scenarios that prioritize privacy compliance. Federated learning possesses the engineering structure of distributed training and local collaborative capabilities, while also having the data dispersion advantages of Merkeziyetsizlik training. However, it still relies on trusted coordinating parties and does not possess fully open and censorship-resistant characteristics. It can be seen as a "controlled Merkeziyetsizlik" solution in privacy-compliant scenarios, relatively moderate in terms of training tasks, trust structures, and communication mechanisms, making it more suitable as a transitional deployment architecture in the industry.
Merkeziyetsizlik eğitiminde sınırlar, fırsatlar ve gerçek yollar
Eğitim paradigması açısından, merkeziyetsizlik eğitimi her görev türü için uygun değildir. Bazı senaryolarda, görev yapısının karmaşık olması, kaynak gereksinimlerinin çok yüksek olması veya işbirliği zorluğu nedeniyle, doğal olarak heterojen, güvenilmeyen düğümler arasında verimli bir şekilde tamamlanması zordur. Örneğin, büyük model eğitimi genellikle yüksek bellek, düşük gecikme ve yüksek bant genişliği gerektirir, açık ağda etkili bir şekilde bölünmesi ve senkronizasyonu zordur; veri gizliliği ve egemenlik kısıtlaması olan görevler yasal uyumluluk ve etik kısıtlamalar nedeniyle açıkça paylaşamaz; işbirliği teşvikleri olmayan görevler ise dış katılım motivasyonundan yoksundur. Bu sınırlar, mevcut merkeziyetsizlik eğitimindeki gerçek kısıtlamaları oluşturmaktadır.
Ancak bu, merkeziyetsizlik eğitimlerinin sahte bir kavram olduğu anlamına gelmez. Aslında, yapısal olarak hafif, kolayca paralel hale getirilebilen ve teşvik edici görev türlerinde merkeziyetsizlik eğitiminin belirgin uygulama potansiyeli sergilediği görülmektedir. Bunlar arasında ama bunlarla sınırlı olmamak üzere: LoRA ince ayarı, davranış hizalama sonrası eğitim görevleri, veri kalabalıklaştırma eğitimi ve etiketleme görevleri, kaynak kontrolüne sahip küçük temel model eğitimi ve kenar cihazlarının katıldığı işbirlikçi eğitim senaryoları bulunmaktadır. Bu görevlerin genel olarak yüksek paralellik, düşük bağlantılılık ve heterojen hesaplama gücüne tolerans gibi özellikleri vardır, bu nedenle P2P ağları, Swarm protokolleri, dağıtık optimizatörler gibi yollarla işbirlikçi eğitim için oldukça uygundur.
Merkeziyetsizlik eğitim klasik proje analizi
Şu anda Merkeziyetsizlik eğitim ve federatif öğrenme öncü alanında, temsilci blockchain projeleri arasında Prime Intellect, Pluralis.ai, Gensyn, Nous Research ve Flock.io bulunmaktadır. Teknik yenilikçilik ve mühendislik uygulama zorluğu açısından, Prime Intellect, Nous Research ve Pluralis.ai, sistem mimarisi ve algoritma tasarımında daha fazla özgün keşif önermiştir ve mevcut teorik araştırmaların öncü yönlerini temsil etmektedir; Gensyn ve Flock.io'nun uygulama yolları ise nispeten net olup, başlangıç mühendislik ilerlemeleri görülmektedir. Bu makale, bu beş projenin arkasındaki temel teknolojileri ve mühendislik mimarisini sırayla analiz edecek ve Merkeziyetsizlik AI eğitim sistemindeki farklılıklar ve tamamlayıcı ilişkileri daha fazla tartışacaktır.
Prime Intellect: Eğitilebilir izlerin doğrulanabilir güçlendirilmiş öğrenme işbirlikçi ağı öncüsü
Prime Intellect, güvene ihtiyaç duymayan bir AI eğitim ağı inşa etmeyi hedefliyor, böylece herkes eğitim sürecine katılabilir ve hesaplama katkılarından güvenilir ödüller kazanabilir. Prime Intellect, PRIME-RL + TOPLOC + SHARDCAST üç ana modülü aracılığıyla, doğrulanabilirlik, açıklık ve teşvik mekanizmasıyla donatılmış bir AI merkeziyetsizlik eğitim sistemi inşa etmeyi amaçlıyor.
01, Prime Intellect protokol yığın yapısı ve ana modül değerleri
02, Prime Intellect eğitimi ana mekanizmalarının detaylı açıklaması
PRIME-RL, Prime Intellect'in merkeziyetsizlik eğitim senaryoları için özel olarak tasarladığı görev modelleme ve yürütme çerçevesidir, heterojen ağlar ve asenkron katılımcılar için özel olarak geliştirilmiştir. Güçlendirilmiş öğrenmeyi öncelikli uyum nesnesi olarak kullanır, eğitim, çıkarım ve ağırlık yükleme süreçlerini yapısal olarak ayrıştırır; böylece her bir eğitim düğümü yerel olarak bağımsız bir şekilde görev döngüsünü tamamlayabilir ve standartlaştırılmış arayüzle doğrulama ve toplama mekanizması ile işbirliği yapabilir. Geleneksel denetimli öğrenme süreçlerine kıyasla, PRIME-RL merkezi bir planlama ortamında esnek eğitimi gerçekleştirmek için daha uygundur; bu, sistem karmaşıklığını azaltırken, çoklu görev paralelliği ve strateji evrimi için bir temel oluşturur.
#TOPLOC:Ağırlıklandırılmış Eğitim Davranış Doğrulama Mekanizması
TOPLOC, Prime Intellect tarafından önerilen, bir düğümün gözlem verilerine dayanarak gerçekten etkili bir strateji öğrenimi gerçekleştirip gerçekleştirmediğini belirlemek için kullanılan doğrulanabilirlik çekirdek mekanizmasıdır. ZKML gibi ağır çözümlerden farklı olarak, TOPLOC tüm model yeniden hesaplamasına bağımlı değildir, bunun yerine "gözlem dizisi↔strateji güncellemesi" arasındaki yerel tutarlılık izlerini analiz ederek hafif yapı doğrulamasını tamamlar. Eğitim sürecindeki davranış izlerini doğrulanabilir nesnelere dönüştüren ilk sistemdir, güvene dayanmayan eğitim ödül dağıtımını gerçekleştirmek için anahtar bir yenilik sunar ve denetlenebilir, teşvik edici Merkeziyetsizlik işbirlikçi eğitim ağlarının inşası için uygulanabilir bir yol sağlar.
#SHARDCAST: Asenkron Ağırlık Birleştirme ve Yayılma Protokolü
SHARDCAST, Prime Intellect tarafından tasarlanan bir ağırlık yayılımı ve toplama protokolüdür ve gerçek ağ ortamında asenkron, bant genişliği kısıtlı ve düğüm durumu değişkenliği için optimize edilmiştir. Gossip yayılım mekanizması ve yerel senkronizasyon stratejisini birleştirerek, birden fazla düğümün senkronize olmayan durumlarda sürekli olarak kısmi güncellemeler göndermesine izin verir, ağırlıkların kademeli olarak yakınsamasını ve çoklu versiyon evrimini gerçekleştirir. Merkezi veya senkronize AllReduce yöntemlerine kıyasla, SHARDCAST, Merkeziyetsizlik antrenmanının ölçeklenebilirliğini ve hata toleransını önemli ölçüde artırır ve istikrarlı ağırlık konsensüsü ile sürekli antrenman iterasyonu için temel bir yapı taşını oluşturur.
#OpenDiLoCo: Seyrek Asenkron İletişim Çerçevesi
OpenDiLoCo, Prime Intellect ekibinin DeepMind tarafından önerilen DiLoCo fikrini bağımsız olarak gerçekleştirdiği ve açık kaynaklı hale getirdiği bir iletişim optimizasyon çerçevesidir. Merkeziyetsizlik eğitiminde sıkça karşılaşılan bant genişliği kısıtlamaları, heterojen cihazlar ve düzensiz düğümler gibi zorluklar için özel olarak tasarlanmıştır. Mimari, veri paralelliğine dayanmakta olup, Ring, Expander, Small-World gibi seyrek topoloji yapıları oluşturarak, küresel senkronizasyonun yüksek iletişim maliyetlerini önler ve yalnızca yerel komşu düğümlere güvenerek model işbirliği eğitimini tamamlar. Asenkron güncellemeler ve kesinti toleransı mekanizması ile birleştiğinde, OpenDiLoCo, tüketici düzeyindeki GPU'ların ve kenar cihazların eğitim görevlerine istikrarlı bir şekilde katılmalarını sağlar ve küresel işbirliği eğitimine katılımı önemli ölçüde artırır; bu, merkeziyetsiz eğitim ağlarının inşası için kritik bir iletişim altyapılarından biridir.
#PCCL: İşbirliği İletişim Kütüphanesi
PCCL, Prime Intellect tarafından Merkeziyetsizlik AI eğitim ortamı için özel olarak tasarlanmış hafif bir iletişim kütüphanesidir. Geleneksel iletişim kütüphanelerinin heterojen cihazlar ve düşük bant genişliği ağlarındaki uyum sorunlarını çözmeyi amaçlamaktadır. PCCL, seyrek topolojiyi, gradyan sıkıştırmayı, düşük hassasiyetli senkronizasyonu ve kesinti kurtarmayı destekler, tüketici seviyesindeki GPU'larda ve istikrarsız düğümlerde çalışabilir. OpenDiLoCo protokolünün asenkron iletişim yeteneklerini destekleyen temel bileşendir. Eğitim ağının bant genişliği toleransını ve cihaz uyumluluğunu önemli ölçüde artırarak, gerçekten açık, güven gerektirmeyen bir işbirlikçi eğitim ağı oluşturmanın 'son bir mil' iletişim altyapısını sağlamıştır.
03, Prime Intellect teşvik ağı ve rol dağılımı
Prime Intellect, herkesin görevlere katılmasını ve gerçek katkılara dayalı ödüller kazanmasını sağlayan, izin gerektirmeyen, doğrulanabilir ve ekonomik teşvik mekanizması olan bir eğitim ağı oluşturdu. Protokol, üç temel rol sınıfına dayanarak çalışmaktadır:
Görev başlatıcısı: Eğitim ortamını, başlangıç modelini, ödül fonksiyonunu ve doğrulama standartlarını tanımlamak
Eğitim düğümü: Yerel eğitimi yürüt, ağırlık güncellemelerini ve gözlem izini gönder
Doğrulama Düğümleri: TOPLOC mekanizmasını kullanarak eğitim davranışının gerçekliğini doğrulamak ve ödül hesaplaması ile strateji birleştirmeye katılmak
Protokolün temel süreci, görev yayınlama, düğüm eğitimi, iz doğrulama, ağırlık birleştirme ve ödül dağıtımını içerir ve "gerçek eğitim davranışları" etrafında bir teşvik kapalı döngüsü oluşturur.
04, INTELLECT-2: İlk doğrulanabilir Merkeziyetsizlik eğitim modelinin yayımlanması
Prime Intellect, Mayıs 2025'te INTELLECT-2'yi piyasaya sürdü, bu, dünya çapında asenkron, güvene dayanmayan Merkeziyetsizlik düğümleri tarafından işbirliğiyle eğitilen ilk büyük ölçekli güçlendirme öğrenme modelidir ve parametre ölçeği 32B'ye ulaşmaktadır. INTELLECT-2 modeli, üç kıtaya yayılmış 100'den fazla GPU heterojen düğüm tarafından işbirliğiyle eğitilmiştir, tamamen asenkron bir mimari kullanılmıştır, eğitim süresi 400 saati aşmıştır ve asenkron işbirliği ağının uygulanabilirliğini ve istikrarını göstermektedir. Bu model yalnızca bir performans atılımı değil, aynı zamanda Prime Intellect tarafından önerilen "eğitim, uzlaşıdır" paradigmasının ilk sistematik uygulanışıdır. INTELLECT-2, Merkeziyetsizlik eğitim ağının ilk kez gerçekleştirilmesini simgeleyen PRIME-RL, TOPLOC ve SHARDCAST gibi temel protokol modüllerini entegre etmiştir.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
22 Likes
Reward
22
8
Share
Comment
0/400
DEXRobinHood
· 07-22 13:20
Bu kadar uzun yazıyı kim bitirebilir ki, bir tldr alabilir miyim?
Merkeziyetsizlik AI eğitiminin keşfi: Prime Intellect'ten Pluralis'e öncü uygulamalar
Crypto AI'nın Kutsal Kâsesi: Merkeziyetsizlik Eğitiminin Sınırlarını Keşfetmek
AI'nın tam değer zincirinde, model eğitimi en fazla kaynak tüketen ve en yüksek teknik engelli aşamadır, modelin yetenek sınırını ve gerçek uygulama etkisini doğrudan belirler. Çıkarım aşamasının hafif çağrılara kıyasla, eğitim süreci sürekli büyük ölçekli hesaplama gücü yatırımı, karmaşık veri işleme süreçleri ve yüksek yoğunlukta optimizasyon algoritmaları desteği gerektirir, bu da AI sistemlerinin inşasında gerçek bir "ağır sanayi"dir. Mimari paradigmalara göre, eğitim yöntemleri dört kategoriye ayrılabilir: merkezileşmiş eğitim, dağıtık eğitim, federatif öğrenme ve bu makalede odaklanılan Merkeziyetsizlik eğitim.
Merkeziyetsizlik eğitimi, tek bir kuruluşun yerel yüksek performanslı küme içinde tüm eğitim süreçlerini tamamladığı en yaygın geleneksel yöntemdir; donanım, alt yazılım, küme planlama sistemi ve eğitim çerçevesinin tüm bileşenleri, tek bir kontrol sistemi tarafından koordine edilen bir şekilde çalışır. Bu derin işbirliği mimarisi, bellek paylaşımı, gradyan senkronizasyonu ve hata tolerans mekanizmalarının verimliliğini en üst düzeye çıkararak, GPT, Gemini gibi büyük ölçekli modellerin eğitimi için son derece uygundur; yüksek verimlilik ve kontrol edilebilir kaynaklar gibi avantajları vardır, ancak aynı zamanda veri tekelciliği, kaynak engelleri, enerji tüketimi ve tek nokta riski gibi sorunları da barındırmaktadır.
Dağıtık eğitim, günümüz büyük model eğitiminde ana akım bir yöntemdir; bunun temeli, model eğitim görevlerinin parçalanıp birden fazla makineye dağıtılarak iş birliği içinde yürütülmesidir. Bu, tek bir makinenin hesaplama ve depolama darboğazlarını aşmak içindir. Fiziksel olarak "dağıtık" özelliklere sahip olmasına rağmen, genel olarak merkezi bir kurum tarafından kontrol edilen, yönlendirilen ve senkronize edilen bir yapıda kalmaktadır; genellikle yüksek hızlı yerel alan ağları ortamında çalışır ve NVLink yüksek hızlı bağlantı teknolojisi ile ana düğüm, her bir alt görevi koordine eder. Ana akım yöntemler şunları içerir:
Dağıtık eğitim, "merkezi kontrol + dağıtık yürütme" kombinasyonudur; bu, aynı patronun uzaktan birden fazla "ofis" çalışanını görevleri tamamlaması için koordine etmesine benzetilebilir. Şu anda neredeyse tüm ana akım büyük modeller bu şekilde eğitim almaktadır.
Merkeziyetsizlik eğitimi, daha açık ve sansüre karşı dayanıklı bir geleceği temsil eder. Bu sistemin temel özellikleri şunlardır: Birbirine güvenmeyen birden fazla düğüm, merkezi bir koordinatör olmadan eğitim görevlerini işbirliği içinde tamamlar; genellikle protokoller aracılığıyla görev dağıtımı ve işbirliği sağlanır ve katkının dürüstlüğünü güvence altına almak için kriptografik teşvik mekanizmaları kullanılır. Bu modelin karşılaştığı başlıca zorluklar şunlardır:
Merkeziyetsizlik eğitimi, dünya genelindeki bir grup gönüllünün, her birinin hesaplama gücünü katkıda bulunarak model eğitimi yaptığı şekilde anlaşılabilir; ancak "gerçekten uygulanabilir büyük ölçekli merkeziyetsizlik eğitimi" hala sistematik bir mühendislik zorluğudur ve sistem mimarisi, iletişim protokolleri, şifre güvenliği, ekonomik mekanizmalar, model doğrulama gibi birçok alanda yer almaktadır. Ancak "işbirliği etkili + dürüstlük teşviki + doğru sonuç" sağlanıp sağlanamayacağı henüz erken prototip keşif aşamasındadır.
Federated learning, as a transitional form between distributed and Merkeziyetsizlik, emphasizes local data retention and centralized aggregation of model parameters, making it suitable for scenarios that prioritize privacy compliance. Federated learning possesses the engineering structure of distributed training and local collaborative capabilities, while also having the data dispersion advantages of Merkeziyetsizlik training. However, it still relies on trusted coordinating parties and does not possess fully open and censorship-resistant characteristics. It can be seen as a "controlled Merkeziyetsizlik" solution in privacy-compliant scenarios, relatively moderate in terms of training tasks, trust structures, and communication mechanisms, making it more suitable as a transitional deployment architecture in the industry.
Merkeziyetsizlik eğitiminde sınırlar, fırsatlar ve gerçek yollar
Eğitim paradigması açısından, merkeziyetsizlik eğitimi her görev türü için uygun değildir. Bazı senaryolarda, görev yapısının karmaşık olması, kaynak gereksinimlerinin çok yüksek olması veya işbirliği zorluğu nedeniyle, doğal olarak heterojen, güvenilmeyen düğümler arasında verimli bir şekilde tamamlanması zordur. Örneğin, büyük model eğitimi genellikle yüksek bellek, düşük gecikme ve yüksek bant genişliği gerektirir, açık ağda etkili bir şekilde bölünmesi ve senkronizasyonu zordur; veri gizliliği ve egemenlik kısıtlaması olan görevler yasal uyumluluk ve etik kısıtlamalar nedeniyle açıkça paylaşamaz; işbirliği teşvikleri olmayan görevler ise dış katılım motivasyonundan yoksundur. Bu sınırlar, mevcut merkeziyetsizlik eğitimindeki gerçek kısıtlamaları oluşturmaktadır.
Ancak bu, merkeziyetsizlik eğitimlerinin sahte bir kavram olduğu anlamına gelmez. Aslında, yapısal olarak hafif, kolayca paralel hale getirilebilen ve teşvik edici görev türlerinde merkeziyetsizlik eğitiminin belirgin uygulama potansiyeli sergilediği görülmektedir. Bunlar arasında ama bunlarla sınırlı olmamak üzere: LoRA ince ayarı, davranış hizalama sonrası eğitim görevleri, veri kalabalıklaştırma eğitimi ve etiketleme görevleri, kaynak kontrolüne sahip küçük temel model eğitimi ve kenar cihazlarının katıldığı işbirlikçi eğitim senaryoları bulunmaktadır. Bu görevlerin genel olarak yüksek paralellik, düşük bağlantılılık ve heterojen hesaplama gücüne tolerans gibi özellikleri vardır, bu nedenle P2P ağları, Swarm protokolleri, dağıtık optimizatörler gibi yollarla işbirlikçi eğitim için oldukça uygundur.
Merkeziyetsizlik eğitim klasik proje analizi
Şu anda Merkeziyetsizlik eğitim ve federatif öğrenme öncü alanında, temsilci blockchain projeleri arasında Prime Intellect, Pluralis.ai, Gensyn, Nous Research ve Flock.io bulunmaktadır. Teknik yenilikçilik ve mühendislik uygulama zorluğu açısından, Prime Intellect, Nous Research ve Pluralis.ai, sistem mimarisi ve algoritma tasarımında daha fazla özgün keşif önermiştir ve mevcut teorik araştırmaların öncü yönlerini temsil etmektedir; Gensyn ve Flock.io'nun uygulama yolları ise nispeten net olup, başlangıç mühendislik ilerlemeleri görülmektedir. Bu makale, bu beş projenin arkasındaki temel teknolojileri ve mühendislik mimarisini sırayla analiz edecek ve Merkeziyetsizlik AI eğitim sistemindeki farklılıklar ve tamamlayıcı ilişkileri daha fazla tartışacaktır.
Prime Intellect: Eğitilebilir izlerin doğrulanabilir güçlendirilmiş öğrenme işbirlikçi ağı öncüsü
Prime Intellect, güvene ihtiyaç duymayan bir AI eğitim ağı inşa etmeyi hedefliyor, böylece herkes eğitim sürecine katılabilir ve hesaplama katkılarından güvenilir ödüller kazanabilir. Prime Intellect, PRIME-RL + TOPLOC + SHARDCAST üç ana modülü aracılığıyla, doğrulanabilirlik, açıklık ve teşvik mekanizmasıyla donatılmış bir AI merkeziyetsizlik eğitim sistemi inşa etmeyi amaçlıyor.
01, Prime Intellect protokol yığın yapısı ve ana modül değerleri
02, Prime Intellect eğitimi ana mekanizmalarının detaylı açıklaması
#PRIME-RL: Decoupled Asynchronous Reinforcement Learning Task Architecture
PRIME-RL, Prime Intellect'in merkeziyetsizlik eğitim senaryoları için özel olarak tasarladığı görev modelleme ve yürütme çerçevesidir, heterojen ağlar ve asenkron katılımcılar için özel olarak geliştirilmiştir. Güçlendirilmiş öğrenmeyi öncelikli uyum nesnesi olarak kullanır, eğitim, çıkarım ve ağırlık yükleme süreçlerini yapısal olarak ayrıştırır; böylece her bir eğitim düğümü yerel olarak bağımsız bir şekilde görev döngüsünü tamamlayabilir ve standartlaştırılmış arayüzle doğrulama ve toplama mekanizması ile işbirliği yapabilir. Geleneksel denetimli öğrenme süreçlerine kıyasla, PRIME-RL merkezi bir planlama ortamında esnek eğitimi gerçekleştirmek için daha uygundur; bu, sistem karmaşıklığını azaltırken, çoklu görev paralelliği ve strateji evrimi için bir temel oluşturur.
#TOPLOC:Ağırlıklandırılmış Eğitim Davranış Doğrulama Mekanizması
TOPLOC, Prime Intellect tarafından önerilen, bir düğümün gözlem verilerine dayanarak gerçekten etkili bir strateji öğrenimi gerçekleştirip gerçekleştirmediğini belirlemek için kullanılan doğrulanabilirlik çekirdek mekanizmasıdır. ZKML gibi ağır çözümlerden farklı olarak, TOPLOC tüm model yeniden hesaplamasına bağımlı değildir, bunun yerine "gözlem dizisi↔strateji güncellemesi" arasındaki yerel tutarlılık izlerini analiz ederek hafif yapı doğrulamasını tamamlar. Eğitim sürecindeki davranış izlerini doğrulanabilir nesnelere dönüştüren ilk sistemdir, güvene dayanmayan eğitim ödül dağıtımını gerçekleştirmek için anahtar bir yenilik sunar ve denetlenebilir, teşvik edici Merkeziyetsizlik işbirlikçi eğitim ağlarının inşası için uygulanabilir bir yol sağlar.
#SHARDCAST: Asenkron Ağırlık Birleştirme ve Yayılma Protokolü
SHARDCAST, Prime Intellect tarafından tasarlanan bir ağırlık yayılımı ve toplama protokolüdür ve gerçek ağ ortamında asenkron, bant genişliği kısıtlı ve düğüm durumu değişkenliği için optimize edilmiştir. Gossip yayılım mekanizması ve yerel senkronizasyon stratejisini birleştirerek, birden fazla düğümün senkronize olmayan durumlarda sürekli olarak kısmi güncellemeler göndermesine izin verir, ağırlıkların kademeli olarak yakınsamasını ve çoklu versiyon evrimini gerçekleştirir. Merkezi veya senkronize AllReduce yöntemlerine kıyasla, SHARDCAST, Merkeziyetsizlik antrenmanının ölçeklenebilirliğini ve hata toleransını önemli ölçüde artırır ve istikrarlı ağırlık konsensüsü ile sürekli antrenman iterasyonu için temel bir yapı taşını oluşturur.
#OpenDiLoCo: Seyrek Asenkron İletişim Çerçevesi
OpenDiLoCo, Prime Intellect ekibinin DeepMind tarafından önerilen DiLoCo fikrini bağımsız olarak gerçekleştirdiği ve açık kaynaklı hale getirdiği bir iletişim optimizasyon çerçevesidir. Merkeziyetsizlik eğitiminde sıkça karşılaşılan bant genişliği kısıtlamaları, heterojen cihazlar ve düzensiz düğümler gibi zorluklar için özel olarak tasarlanmıştır. Mimari, veri paralelliğine dayanmakta olup, Ring, Expander, Small-World gibi seyrek topoloji yapıları oluşturarak, küresel senkronizasyonun yüksek iletişim maliyetlerini önler ve yalnızca yerel komşu düğümlere güvenerek model işbirliği eğitimini tamamlar. Asenkron güncellemeler ve kesinti toleransı mekanizması ile birleştiğinde, OpenDiLoCo, tüketici düzeyindeki GPU'ların ve kenar cihazların eğitim görevlerine istikrarlı bir şekilde katılmalarını sağlar ve küresel işbirliği eğitimine katılımı önemli ölçüde artırır; bu, merkeziyetsiz eğitim ağlarının inşası için kritik bir iletişim altyapılarından biridir.
#PCCL: İşbirliği İletişim Kütüphanesi
PCCL, Prime Intellect tarafından Merkeziyetsizlik AI eğitim ortamı için özel olarak tasarlanmış hafif bir iletişim kütüphanesidir. Geleneksel iletişim kütüphanelerinin heterojen cihazlar ve düşük bant genişliği ağlarındaki uyum sorunlarını çözmeyi amaçlamaktadır. PCCL, seyrek topolojiyi, gradyan sıkıştırmayı, düşük hassasiyetli senkronizasyonu ve kesinti kurtarmayı destekler, tüketici seviyesindeki GPU'larda ve istikrarsız düğümlerde çalışabilir. OpenDiLoCo protokolünün asenkron iletişim yeteneklerini destekleyen temel bileşendir. Eğitim ağının bant genişliği toleransını ve cihaz uyumluluğunu önemli ölçüde artırarak, gerçekten açık, güven gerektirmeyen bir işbirlikçi eğitim ağı oluşturmanın 'son bir mil' iletişim altyapısını sağlamıştır.
03, Prime Intellect teşvik ağı ve rol dağılımı
Prime Intellect, herkesin görevlere katılmasını ve gerçek katkılara dayalı ödüller kazanmasını sağlayan, izin gerektirmeyen, doğrulanabilir ve ekonomik teşvik mekanizması olan bir eğitim ağı oluşturdu. Protokol, üç temel rol sınıfına dayanarak çalışmaktadır:
Protokolün temel süreci, görev yayınlama, düğüm eğitimi, iz doğrulama, ağırlık birleştirme ve ödül dağıtımını içerir ve "gerçek eğitim davranışları" etrafında bir teşvik kapalı döngüsü oluşturur.
04, INTELLECT-2: İlk doğrulanabilir Merkeziyetsizlik eğitim modelinin yayımlanması
Prime Intellect, Mayıs 2025'te INTELLECT-2'yi piyasaya sürdü, bu, dünya çapında asenkron, güvene dayanmayan Merkeziyetsizlik düğümleri tarafından işbirliğiyle eğitilen ilk büyük ölçekli güçlendirme öğrenme modelidir ve parametre ölçeği 32B'ye ulaşmaktadır. INTELLECT-2 modeli, üç kıtaya yayılmış 100'den fazla GPU heterojen düğüm tarafından işbirliğiyle eğitilmiştir, tamamen asenkron bir mimari kullanılmıştır, eğitim süresi 400 saati aşmıştır ve asenkron işbirliği ağının uygulanabilirliğini ve istikrarını göstermektedir. Bu model yalnızca bir performans atılımı değil, aynı zamanda Prime Intellect tarafından önerilen "eğitim, uzlaşıdır" paradigmasının ilk sistematik uygulanışıdır. INTELLECT-2, Merkeziyetsizlik eğitim ağının ilk kez gerçekleştirilmesini simgeleyen PRIME-RL, TOPLOC ve SHARDCAST gibi temel protokol modüllerini entegre etmiştir.