Инфраструктура электроснабжения высокой плотности: какие изменения произойдут при внедрении ИИ?

Сейчас серверные стойки для ИИ потребляют от 30 до 100 и более кВт каждая — уровень, на который устаревшая инфраструктура электропитания центров обработки данных никогда не была рассчитана. Такая концентрированная нагрузка требует фундаментальной модернизации системы электроснабжения, а не незначительных изменений. Внедрение ИИ, в котором электропитание рассматривается как второстепенный вопрос, столкнется с проблемами в межсетевом взаимодействии, внеплановыми простоями и дорогостоящей модернизацией.

Переход определяется тремя ключевыми изменениями: экспоненциально более высокой плотностью размещения оборудования в стойках, усовершенствованной системой электропитания на уровне стоек (включая блоки распределения питания ) и проактивной стратегией в области электросетей и энергоснабжения для устранения узких мест еще до их возникновения. Каждое из этих изменений влечет за собой прямые последствия для специалистов по планированию инфраструктуры с использованием искусственного интеллекта с точки зрения затрат, сроков и эксплуатации.

Основные выводы

• Для размещения оборудования в стойках AI требуется от 30 до 100 и более кВт мощности, что значительно превышает 5–10 кВт, характерные для традиционных корпоративных стоек. Необходимо учитывать такую ​​плотность размещения оборудования с самого начала проекта.
• Смарт, трехфазные стоечные блоки распределения питания Обеспечивает мониторинг и контроль каждой торговой точки, предотвращая перегрузки и незапланированные простои при обучении ИИ.
• В многих регионах сроки подключения к электросети могут превышать 5 лет. Необходимо заблаговременно взаимодействовать с энергоснабжающими компаниями и оценивать возможности генерации электроэнергии на месте или близость к источникам энергии, чтобы минимизировать задержки.
• Равномерное распределение нагрузки по всем трем фазам предотвращает неиспользуемую мощность и перегрев. Используйте блоки распределения питания с мониторингом каждой фазы для поддержания эффективности.
• Перед развертыванием инфраструктуры ИИ необходимо проверить прогнозы нагрузки, сроки подключения и пропускную способность блоков распределения питания (PDU), чтобы избежать дорогостоящих срывов сроков.

Почему для внедрения ИИ требуется высокоплотная энергетическая инфраструктура

Плотность мощности при подъеме стойки

Благодаря аппаратному обеспечению для ИИ плотность энергопотребления стоек значительно превысила базовые показатели традиционных центров обработки данных. По данным Uptime Institute, средняя плотность энергопотребления в центрах обработки данных без ИИ в 2024 году составит всего 8 кВт на стойку. Стойки с ИИ и ускорением на графических процессорах сейчас начинаются с ~40 кВт для обычных кластеров обучения и превышают 100 кВт для специализированных систем ИИ. Прогнозируется, что стойки с графическими процессорами следующего поколения достигнут 600 кВт.

Для сравнения: стойки, предназначенные для графических процессоров H200, потребляют 40–50 кВт каждая; стойки для графических процессоров B200 достигают ~130 кВт. Это означает, что один шкаф для ИИ может потреблять столько же энергии, сколько целая небольшая серверная комната десятилетней давности.

Проблемы базовой инфраструктуры

Эта концентрированная нагрузка создает напряжение на каждом уровне энергосистемы и инфраструктуры:

• Электрическое напряжениеПри низком напряжении распределения (110–240 В) токи достигают тысяч ампер. В отрасли происходит переход на переменный ток 380–415 В или постоянный ток 48 В для снижения тока, уменьшения потерь при передаче и уменьшения сечения кабелей. Для стоек высокой плотности требуются фидеры увеличенного сечения, шины большой емкости и резервные блоки распределения питания.
• Ограничения по охлаждениюПри мощности 300–400 кВт на стойку традиционное воздушное охлаждение больше нецелесообразно. Операторы внедряют теплообменники с задней дверцей, жидкостное охлаждение непосредственно на чип и гибридные воздушно-жидкостные системы.
• Кабельная разводка и ограничения по пространствуСиловые кабели, линии жидкостного охлаждения и оптоволокно высокой плотности должны располагаться в ограниченном пространстве стойки, не блокируя поток воздуха. Структурированная кабельная система, такая как оптоволокно MPO, может снизить загроможденность до 75%.
• Структурные ограниченияПолностью загруженные стойки для видеокарт могут весить более 2,000 фунтов и могут не поместиться в стандартные системы с фальшполом.

Ключевые компоненты энергетической инфраструктуры для центров обработки данных с использованием ИИ.

Комплексная цепочка поставок электроэнергии

Цепочка электроснабжения проходит от подстанции энергоснабжения до серверного входа, и каждый этап должен быть рассчитан на нагрузку уровня искусственного интеллекта. Типичная архитектура состоит из пяти этапов:

1. Подстанции коммунальных предприятий и трансформаторы среднего напряжения
2. Система бесперебойного питания (непрерывный режим двойного преобразования, 5–7 минут работы от батареи до запуска генераторов)
3. Низковольтные распределительные щиты
4. Блоки распределения питания (PDU) на уровне стойки
5. Шинопроводы или удаленные панели питания, подающие питание на отдельные стойки.

Кластеры графических процессоров чрезвычайно чувствительны даже к кратковременным перебоям в подаче электроэнергии, поэтому расчет мощности и резервирования ИБП имеет решающее значение. Для распределения электроэнергии на уровне стойки шинопроводы предлагают предварительно изготовленные верхние силовые шины с ответвлениями в любой точке стойки — идеально подходит для масштабируемых развертываний высокой плотности. Выносные силовые панели (RPP) используют фиксированную выделенную кабельную сеть, что обеспечивает меньшую первоначальную стоимость, но меньшую гибкость при переконфигурации.

Требования к электропитанию для традиционных и ИИ-центров обработки данных

Разрыв между устаревшей и искусственной инфраструктурой определяет каждое проектное решение:

Нагрузки ИИ предъявляют уникальные требования к цепочке: задачи обучения выполняются с почти максимальной загрузкой графического процессора в течение нескольких дней подряд без какой-либо возможности прерывания, в то время как нагрузки вывода резко меняются в зависимости от потребностей в реальном времени. Поэтапное распределенное преобразование энергии сводит к минимуму потери и падение напряжения, при этом конечный преобразователь размещается как можно ближе к нагрузке, чтобы справляться с быстрыми переходными процессами нагрузки.

Роль блоков распределения питания (PDU) в стойках для высокоплотной обработки данных в системах искусственного интеллекта.

Распределительные блоки питания в стойках являются последним звеном в цепи электропитания и первой точкой обнаружения сбоев. Учитывая, что каждая видеокарта потребляет 500–1,200 Вт, а в серверном шасси размещается 8–16 видеокарт, современные серверы с видеокартами могут потреблять 3–5 кВт каждая во время пиковых нагрузок при выполнении инференции.

Мониторинг каждой цепи предотвращает скрытые срабатывания автоматических выключателей, которые могут прервать многочасовые тренировки. Для стоек высокой плотности 42U в системах искусственного интеллекта предпочтительнее использовать трехфазные блоки распределения питания (PDU) с индикацией потребления или интеллектуальные блоки в вертикальном исполнении 0U, чем базовые неуправляемые устройства. Ключевые критерии выбора включают совместимость фаз на входе, форм-фактор монтажа и индикацию потребления на каждую розетку или только на вход. Интеллектуальные блоки распределения питания поддерживают интеграцию с SNMP/Modbus и включают локальные дисплеи или веб-интерфейсы для мониторинга тока и напряжения в реальном времени.

Как управлять энергопотреблением при развертывании систем искусственного интеллекта высокой плотности

Трехфазное распределение и балансировка нагрузки

Трехфазное питание является обязательным требованием для стоек высокой плотности для систем искусственного интеллекта, а не необходимостью модернизации. При том же общем объеме потребляемой мощности трехфазное распределение использует более тонкие и удобные в обращении провода, что снижает стоимость и сложность монтажа.

Несбалансированная фазовая нагрузка приводит к нерациональному использованию мощности и опасному перегреву. Распределительные блоки с мониторингом каждой фазы позволяют операторам обнаруживать дисбаланс и перераспределять нагрузку, повышая эффективность и предотвращая тепловые повреждения. Стойки AI часто требуют трех или более независимых линий электропитания для поддержки архитектур резервирования 2N или 2N+1, что выходит за рамки устаревших конструкций с двойным питанием A/B. Правильная установка, маркировка и организация кабелей обеспечивают безопасность и удобство обслуживания.

Планирование мощностей, сроки ввода в эксплуатацию сети и стратегия расширения.

Наибольший риск при планировании внедрения ИИ заключается в несоответствии сроков строительства центров обработки данных и сроков подключения к электросети. Гипермасштабные центры обработки данных могут быть построены за 18–24 месяца, но модернизация высоковольтных линий электропередачи занимает 7–10 лет. В многих регионах утверждение и строительство новых подключений к электросетям может занять более 5 лет.

Для решения этой проблемы необходима упреждающая энергетическая стратегия, а не реактивные модернизации. К распространенным стратегиям смягчения последствий относятся:

• Раннее вовлечение в энергосистемуОбсуждение вопросов, касающихся инженерных сетей, следует начинать на начальном этапе проекта, а не после выбора площадки.
• Расположение вблизи: Размещайте новые мощности вблизи существующих источников питания или избыточных точек подключения, чтобы снизить требования к модернизации.
• Генерация на месте: Развертывание на месте систем, работающих на природном газе, дизельном топливе, солнечной энергии, ветре или аккумуляторных батареях, для сокращения времени ожидания подключения к сети.
• Редевелопмент заброшенных промышленных зон: Перепрофилирование площадок выведенных из эксплуатации электростанций с использованием существующей сетевой инфраструктуры.
• Упрощение процедуры выдачи разрешенийИспользуйте возможности ускорения процесса регулирования, чтобы ускорить подключение к сети.

Размещение вычислительных мощностей ближе к энергетической инфраструктуре решает основную проблему несоответствия сроков: строительство сетевой инфраструктуры занимает 5–15 лет, в то время как строительство центров обработки данных — 1–3 года. Однако одной лишь близости недостаточно — даже площадка рядом с ветряной электростанцией может потребовать масштабной модернизации сети для обеспечения надежного электроснабжения.

Как выбрать блоки распределения питания (PDU) для инфраструктуры центров обработки данных с использованием ИИ

Структура отбора PDU

Структурированный процесс выбора PDU состоит из пяти этапов:

1. Составьте прогнозы нагрузки на 3–5 лет, включая запас производительности для графических процессоров следующего поколения.
2. На этапе планирования площадки необходимо заранее подтвердить сроки и пропускную способность подключения к электросети.
3. Оцените альтернативные стратегии энергоснабжения: генерацию электроэнергии на месте, размещение вблизи объекта или резервные источники питания.
4. Необходимо совместно проектировать системы распределения электроэнергии и охлаждения, поскольку одна из них не может функционировать без другой.
5. Планируйте масштабируемость, а не только текущую нагрузку.

Напряжение и ток масштабируются в зависимости от плотности. Традиционные блоки распределения питания на 30 или 60 А не могут обеспечить питание современных серверов с графическими процессорами. Блоки распределения питания для систем искусственного интеллекта высокой плотности должны выдерживать ток более 100 А с дополнительной защитой цепей ответвлений. Трехфазное распределение снижает ток на проводник и уменьшает нагрузку на проводку. Более высокое напряжение распределения также повышает эффективность: блоки питания серверов работают примерно на 3.5% эффективнее при 240 В по сравнению со 120 В, что является существенной разницей в масштабах мегаватт. На новых объектах следует рассмотреть распределение на 415 В для достижения максимальной эффективности; при модернизации существующих объектов более практичным может оказаться напряжение 480 В.

Сравнение уровней PDU

В инфраструктуре ИИ три уровня блоков распределения питания (PDU) выполняют разные функции:

Интеллектуальные блоки распределения питания (PDU) — предпочтительный выбор для стоек с оборудованием для обучения персонала: возможность отслеживания перегрузок на уровне розеток позволяет операторам выявлять перегрузки до срабатывания автоматических выключателей, предотвращая дорогостоящие перерывы в работе.

Вопросы для проверки перед покупкой

Перед окончательным выбором блока распределения питания (PDU) подтвердите следующее:

• Каков прогноз нагрузки на 3–5 лет с учетом запаса производительности для графических процессоров следующего поколения?
• Каков срок подключения к электросети, и учитывается ли эта задержка в энергетической стратегии?
• Какая архитектура резервирования необходима (A/B, 2N, 2N+1), и поддерживает ли её блок распределения питания?
• Какой запас мощности PDU необходим для будущих стоек с более плотной компоновкой?
• Интегрируется ли данное устройство с существующими платформами DCIM/BMS?
• Какие требования к соблюдению норм применяются (например, директива ЕС об энергоэффективности)?

FAQ

Какую плотность мощности в стойке следует запланировать для развертывания системы искусственного интеллекта?

Для развертывания систем искусственного интеллекта планируйте мощность от 30 до 100 кВт и более на стойку, по сравнению с 5–10 кВт для традиционных корпоративных стоек. Современные кластеры для обучения уже потребляют более 80 кВт на стойку, а специализированные системы превышают 100 кВт. Всегда учитывайте запас мощности для оборудования GPU следующего поколения, чтобы защитить свои инвестиции.

Какой тип блока распределения питания (PDU) подходит для стойки AI высокой плотности?

Интеллектуальные трехфазные блоки распределения питания (PDU) лучше всего подходят для стоек с искусственным интеллектом. Они обеспечивают мониторинг и управление каждой розеткой, а также датчики окружающей среды. Блоки с измерительными приборами подходят для шкафов смешанной плотности размещения оборудования. Базовые блоки подходят только для низкой плотности и стабильных нагрузок. Оцените варианты с точки зрения технической совместимости, соответствия стандартам и общей стоимости владения.

Сколько времени занимает подключение энергосистемы к сети, и как команды планируют свою работу с учетом этого процесса?

В многих регионах сроки подключения к электросети превышают 5 лет. Центры обработки данных могут быть построены за 18–24 месяца, в то время как модернизация линий электропередачи занимает 7–10 лет. Для минимизации задержек следует привлекать коммунальные предприятия на ранних этапах планирования и оценивать возможности размещения объектов вблизи существующих электростанций, создания собственных генерирующих мощностей или освоения заброшенных промышленных территорий.

Почему балансировка нагрузки важна для трехфазных распределительных устройств?

Несбалансированные фазы создают неиспользуемую мощность и опасный перегрев. Мониторинг каждой фазы позволяет техническим специалистам обнаруживать дисбаланс и перераспределять нагрузку. Резервные цепи питания в сочетании со сбалансированными нагрузками максимизируют время безотказной работы при высоких нагрузках на системы искусственного интеллекта. Для обеспечения полной резервируемости стойкам для систем искусственного интеллекта часто требуется три или более независимых цепи питания.

Что должны уточнить лица, принимающие решения, прежде чем принять решение о получении PDU?

Подтвердите прогноз нагрузки на 3–5 лет, график подключения к сети, архитектуру резервирования и запас мощности распределительных устройств. Также проверьте интеграцию DCIM/BMS и применимые требования соответствия. Согласуйте решения по распределительным устройствам с более широкой энергетической стратегией гипермасштабных центров обработки данных для обеспечения долгосрочной согласованности.