Святой Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной цепочке создания ценности ИИ обучение моделей является этапом с наибольшими затратами ресурсов и самым высоким техническим порогом, что напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных затрат мощностей в больших масштабах, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, осуществляемым единственным учреждением в локальном высокопроизводительном кластере, где весь процесс обучения, от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до всех компонентов обучающего фреймворка, координируется единой системой управления. Эта глубоко синхронизированная архитектура позволяет достичь максимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает её особенно подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая высокой эффективностью и контролем ресурсов, но одновременно сталкиваясь с такими проблемами, как монополия на данные, барьеры для ресурсов, потребление энергии и риски из-за единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в том, чтобы разбить задачи обучения модели и распределить их на несколько машин для совместного выполнения, чтобы преодолеть узкие места в вычислениях и хранении на одном компьютере. Хотя в физическом плане он обладает характеристиками "Децентрализация", в целом он все еще контролируется централизованными организациями, которые управляют и синхронизируют, обычно работает в средах с высокоскоростными локальными сетями, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры совместно используются, необходимо сопоставить веса модели
Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, увеличение пропускной способности
Тензорное параллелизм: детализированное разделение матричных вычислений, повышение степени параллелизма
Распределенное обучение представляет собой комбинацию "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет несколькими "офисами", чтобы сотрудники могли совместно выполнять задачи. В настоящее время практически все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его основные характеристики заключаются в следующем: множество недоверительных узлов совместно выполняют задачи тренировки без центрального координатора, обычно через протокол, управляющий распределением задач и сотрудничеством, и с помощью крипто-стимулов для обеспечения добросовестности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Узкие места в эффективности связи: нестабильная сетевая связь,明显瓶颈 градиента синхронизации
Отсутствие доверительного выполнения: отсутствие доверительной вычислительной среды затрудняет проверку того, действительно ли узлы участвуют в вычислениях.
Отсутствие единой координации: нет центрального диспетчера, распределение задач и механизм отката ошибок сложны
Децентрализация обучения можно понять как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместного обучения модели, но "действительно осуществимое крупномасштабное децентрализованное обучение" все еще является системной инженерной задачей, охватывающей несколько аспектов, таких как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и т.д., но вопрос о том, можно ли "совместно эффективно + стимулировать честность + получить правильные результаты", все еще находится на стадии раннего прототипа.
Федеративное обучение как переходная форма между распределенной и Децентрализация, подчеркивает локальное хранение данных, централизованную агрегацию параметров модели и подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными координационными возможностями, одновременно имея преимущества распределенных данных при Децентрализация, но по-прежнему зависит от надежного координирующего лица и не обладает полностью открытыми и антицензурными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, которая относительно умеренна в задачах обучения, структуре доверия и механизмах связи, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких потребностей в ресурсах или трудностей в сотрудничестве, она изначально не подходит для эффективного выполнения на гетерогенных, недоверительных узлах. Например, обучение больших моделей часто требует высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями по конфиденциальности данных и суверенитету ограничены юридическими и этическими нормами и не могут быть открыто поделены; а задачи, у которых отсутствуют стимулы для сотрудничества, не имеют внешнего мотива для участия. Эти границы совместно составляют реальные ограничения Децентрализации обучения в настоящее время.
Но это не означает, что Децентрализация тренировки является ложной концепцией. На самом деле, в типах задач с легкой структурой, легкой параллельностью и возможностью стимулов, Децентрализация тренировки демонстрирует ясные перспективы применения. Включая, но не ограничиваясь: LoRA тонкой настройкой, задачами пост-тренировки по выравниванию поведения, задачами по обучению и аннотированию данных с краудсорсингом, обучением небольших базовых моделей с контролируемыми ресурсами, а также сценами кооперативного обучения с участием устройств на краю. Эти задачи обычно обладают высокой параллельностью, низкой связностью и допустимостью гетерогенной вычислительной мощности, что делает их очень подходящими для совместной тренировки через P2P сети, протокол Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировки классических проектов
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя текущие направления теоретических исследований; в то время как у Gensyn и Flock.io пути реализации относительно ясны, и уже можно увидеть начальные инженерные достижения. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также дополнительно обсуждены их различия и взаимодополняющие отношения в децентрализованной системе AI обучения.
Prime Intellect: проверяемая траектория обучения в сети совместного обучения
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура протокольного стека Prime Intellect и ценность ключевых модулей
02、Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного усиленного обучения с декомпозицией
PRIME-RL является рамочным решением для моделирования задач и выполнения, разработанным Prime Intellect для Децентрализация тренировочных сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного адаптивного объекта, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому узлу обучения независимо завершать цикл задач на месте и сотрудничать с механизмами проверки и агрегирования через стандартизированный интерфейс. По сравнению с традиционными процессами контролируемого обучения, PRIME-RL более подходит для реализации гибкого обучения в средах без центрального управления, снижая как сложность системы, так и закладывая основу для поддержки параллельных многозадачности и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения тренировки
TOPLOC — это основная механика верифицируемости, предложенная Prime Intellect, используемая для определения того, завершил ли узел эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные последовательности согласованности между "наблюдательными последовательностями ↔ обновлениями стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в верифицируемые объекты, что является ключевым нововведением для реализации распределения наград за обучение без доверия и предоставляет жизнеспособный путь для создания可审计,可激励的 Децентрализация协作训练网络.
#SHARDCAST:Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распределения и агрегирования весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной передачей, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронности, достигая постепенной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно увеличивает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo — это независимая реализация и открытая платформа для оптимизации связи, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально спроектирована для решения таких задач, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются в процессе децентрализованного обучения. Архитектура основана на параллельной обработке данных и использует разреженные топологии, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на связь при глобальной синхронизации, полагаясь исключительно на локальных соседних узлов для совместного обучения модели. Сочетая асинхронное обновление и механизм восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно увеличивая доступность глобального кооперативного обучения и являясь одной из ключевых инфраструктур связи для построения децентрализованной обучающей сети.
#PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, которая нацелена на решение проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повысила толерантность к пропускной способности обучающих сетей и совместимость устройств, проложив "последнюю милю" коммуникационной инфраструктуры для создания по-настоящему открытой и не требующей доверия сети совместного обучения.
03, Prime Intellect стимул сеть и распределение ролей
Prime Intellect создал обучающую сеть, не требующую разрешений, проверяемую и обладающую экономическими стимулами, позволяя каждому участвовать в задачах и получать вознаграждение на основе реальных вкладов. Протокол работает на основе трех основных ролей:
Инициатор задачи: определяет тренировочную среду, начальную модель, функцию награды и критерии валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы верификации: использование механизма TOPLOC для проверки подлинности обучающего поведения и участия в расчетах вознаграждений и агрегации стратегий
Ядро процесса протокола включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реального тренировочного поведения".
04, INTELLECT-2: Первый проверяемый Децентрализация обучающей модели.
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, не требующих доверия Децентрализация узлов. Объем параметров составляет 32B. Модель INTELLECT-2 была обучена с использованием более 100 гетерогенных узлов GPU, расположенных на трех континентах, с полностью асинхронной архитектурой, время обучения превысило 400 часов, что продемонстрировало жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель является не только прорывом в производительности, но и первой системной реализацией парадигмы "обучение равно консенсус" предложенной Prime Intellect. INTELLECT-2 интегрирует такие ключевые протоколы, как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первую реализацию Децентрализация обучающей сети.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
22 Лайков
Награда
22
9
Репост
Поделиться
комментарий
0/400
DEXRobinHood
· 07-22 13:20
Кто сможет прочитать так долго? Дайте краткое содержание.
Посмотреть ОригиналОтветить0
BlockchainBouncer
· 07-22 02:56
Не понимаю, зачем так усердствовать.
Посмотреть ОригиналОтветить0
GateUser-ccc36bc5
· 07-21 08:02
Вот это и есть настоящий ядро.
Посмотреть ОригиналОтветить0
MEVHunterZhang
· 07-19 13:57
Снова ждете, чтобы разыгрывать людей как лохов?
Посмотреть ОригиналОтветить0
GweiWatcher
· 07-19 13:57
Снова ждут, когда будут играть для лохов.
Посмотреть ОригиналОтветить0
IfIWereOnChain
· 07-19 13:54
Децентрализованное обучение, вероятно, уже следовало исследовать.
Исследование Децентрализация AI тренировки: от Prime Intellect до передовых практик Pluralis
Святой Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной цепочке создания ценности ИИ обучение моделей является этапом с наибольшими затратами ресурсов и самым высоким техническим порогом, что напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных затрат мощностей в больших масштабах, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, осуществляемым единственным учреждением в локальном высокопроизводительном кластере, где весь процесс обучения, от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до всех компонентов обучающего фреймворка, координируется единой системой управления. Эта глубоко синхронизированная архитектура позволяет достичь максимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает её особенно подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая высокой эффективностью и контролем ресурсов, но одновременно сталкиваясь с такими проблемами, как монополия на данные, барьеры для ресурсов, потребление энергии и риски из-за единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в том, чтобы разбить задачи обучения модели и распределить их на несколько машин для совместного выполнения, чтобы преодолеть узкие места в вычислениях и хранении на одном компьютере. Хотя в физическом плане он обладает характеристиками "Децентрализация", в целом он все еще контролируется централизованными организациями, которые управляют и синхронизируют, обычно работает в средах с высокоскоростными локальными сетями, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Распределенное обучение представляет собой комбинацию "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет несколькими "офисами", чтобы сотрудники могли совместно выполнять задачи. В настоящее время практически все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его основные характеристики заключаются в следующем: множество недоверительных узлов совместно выполняют задачи тренировки без центрального координатора, обычно через протокол, управляющий распределением задач и сотрудничеством, и с помощью крипто-стимулов для обеспечения добросовестности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация обучения можно понять как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместного обучения модели, но "действительно осуществимое крупномасштабное децентрализованное обучение" все еще является системной инженерной задачей, охватывающей несколько аспектов, таких как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и т.д., но вопрос о том, можно ли "совместно эффективно + стимулировать честность + получить правильные результаты", все еще находится на стадии раннего прототипа.
Федеративное обучение как переходная форма между распределенной и Децентрализация, подчеркивает локальное хранение данных, централизованную агрегацию параметров модели и подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными координационными возможностями, одновременно имея преимущества распределенных данных при Децентрализация, но по-прежнему зависит от надежного координирующего лица и не обладает полностью открытыми и антицензурными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, которая относительно умеренна в задачах обучения, структуре доверия и механизмах связи, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких потребностей в ресурсах или трудностей в сотрудничестве, она изначально не подходит для эффективного выполнения на гетерогенных, недоверительных узлах. Например, обучение больших моделей часто требует высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями по конфиденциальности данных и суверенитету ограничены юридическими и этическими нормами и не могут быть открыто поделены; а задачи, у которых отсутствуют стимулы для сотрудничества, не имеют внешнего мотива для участия. Эти границы совместно составляют реальные ограничения Децентрализации обучения в настоящее время.
Но это не означает, что Децентрализация тренировки является ложной концепцией. На самом деле, в типах задач с легкой структурой, легкой параллельностью и возможностью стимулов, Децентрализация тренировки демонстрирует ясные перспективы применения. Включая, но не ограничиваясь: LoRA тонкой настройкой, задачами пост-тренировки по выравниванию поведения, задачами по обучению и аннотированию данных с краудсорсингом, обучением небольших базовых моделей с контролируемыми ресурсами, а также сценами кооперативного обучения с участием устройств на краю. Эти задачи обычно обладают высокой параллельностью, низкой связностью и допустимостью гетерогенной вычислительной мощности, что делает их очень подходящими для совместной тренировки через P2P сети, протокол Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировки классических проектов
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя текущие направления теоретических исследований; в то время как у Gensyn и Flock.io пути реализации относительно ясны, и уже можно увидеть начальные инженерные достижения. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также дополнительно обсуждены их различия и взаимодополняющие отношения в децентрализованной системе AI обучения.
Prime Intellect: проверяемая траектория обучения в сети совместного обучения
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура протокольного стека Prime Intellect и ценность ключевых модулей
02、Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного усиленного обучения с декомпозицией
PRIME-RL является рамочным решением для моделирования задач и выполнения, разработанным Prime Intellect для Децентрализация тренировочных сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного адаптивного объекта, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому узлу обучения независимо завершать цикл задач на месте и сотрудничать с механизмами проверки и агрегирования через стандартизированный интерфейс. По сравнению с традиционными процессами контролируемого обучения, PRIME-RL более подходит для реализации гибкого обучения в средах без центрального управления, снижая как сложность системы, так и закладывая основу для поддержки параллельных многозадачности и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения тренировки
TOPLOC — это основная механика верифицируемости, предложенная Prime Intellect, используемая для определения того, завершил ли узел эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные последовательности согласованности между "наблюдательными последовательностями ↔ обновлениями стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в верифицируемые объекты, что является ключевым нововведением для реализации распределения наград за обучение без доверия и предоставляет жизнеспособный путь для создания可审计,可激励的 Децентрализация协作训练网络.
#SHARDCAST:Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распределения и агрегирования весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной передачей, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронности, достигая постепенной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно увеличивает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo — это независимая реализация и открытая платформа для оптимизации связи, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально спроектирована для решения таких задач, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются в процессе децентрализованного обучения. Архитектура основана на параллельной обработке данных и использует разреженные топологии, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на связь при глобальной синхронизации, полагаясь исключительно на локальных соседних узлов для совместного обучения модели. Сочетая асинхронное обновление и механизм восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно увеличивая доступность глобального кооперативного обучения и являясь одной из ключевых инфраструктур связи для построения децентрализованной обучающей сети.
#PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, которая нацелена на решение проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повысила толерантность к пропускной способности обучающих сетей и совместимость устройств, проложив "последнюю милю" коммуникационной инфраструктуры для создания по-настоящему открытой и не требующей доверия сети совместного обучения.
03, Prime Intellect стимул сеть и распределение ролей
Prime Intellect создал обучающую сеть, не требующую разрешений, проверяемую и обладающую экономическими стимулами, позволяя каждому участвовать в задачах и получать вознаграждение на основе реальных вкладов. Протокол работает на основе трех основных ролей:
Ядро процесса протокола включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реального тренировочного поведения".
04, INTELLECT-2: Первый проверяемый Децентрализация обучающей модели.
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, не требующих доверия Децентрализация узлов. Объем параметров составляет 32B. Модель INTELLECT-2 была обучена с использованием более 100 гетерогенных узлов GPU, расположенных на трех континентах, с полностью асинхронной архитектурой, время обучения превысило 400 часов, что продемонстрировало жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель является не только прорывом в производительности, но и первой системной реализацией парадигмы "обучение равно консенсус" предложенной Prime Intellect. INTELLECT-2 интегрирует такие ключевые протоколы, как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первую реализацию Децентрализация обучающей сети.