Американский чип AI "черный конь", чтобы убить, самый большой чип в истории

Согласно ряду сообщений зарубежных СМИ, недавно, американский стартап AI-чипов CerebrasSystems выпустил самый большой из когда-либо созданных чипов, называемый «TheCerebrasWaferScaleEngine». (в дальнейшем именуемый WSE) имеет 1,2 трлн транзисторов.

В истории микросхем, в 1971 году, первый процессор Intel 4004 имел всего 2300 транзисторов, а новейший усовершенствованный процессор для микроустройств имел только 32 миллиарда транзисторов. Samsung также построила чип флэш-памяти (чип eUFS) с 2 триллионами транзисторов, но он не подходит для вычислений с использованием искусственного интеллекта.

WSE, крупнейший чип, ставший рекордсменом, был рожден для компьютерных вычислений.

Данные показывают, что микросхема площадью 42 225 кв. Мм имеет 400 000 ядер, которые соединены между собой мелкозернистой, полностью аппаратной внутрисетевой сетью связи, которая обеспечивает 100 ПБ общей пропускной способности в секунду. Больше ядер, больше локальной памяти и архитектура с малой задержкой и высокой пропускной способностью создают лучшую архитектуру для ускорения работы ИИ. WSE в 56,7 раза больше, чем самый большой графический процессор, и имеет 18 ГБ встроенной микросхемы.

Фактически, большинство современных чипов представляют собой многочиповые интеграции на основе 12-дюймового кремния. Но чип от CerebrasSystems - это отдельный чип, в котором транзисторы соединены на монокристаллической кремниевой пластине. Взаимосвязанная конструкция позволяет всем транзисторам работать на высоких скоростях в целом.

Явно объяснил, что этот продукт полностью компьютерного обучения, больше, чем вычислительная мощность и пропускная способность хранилища, извините, уровень людей или новый словарь - битные байты (петабайты, 1PB = 1024TB = 10 ^ 6GB = 2 ^ 50bit), скорость составляет около 3000 раз это самый большой графический процессор NVIDIA (GPU, вычислительная мощность с плавающей запятой, обычно используемая в исследованиях, связанных с ИИ), и пропускная способность хранилища составляет 1000 раз.

Такая мощная возможность обеспечивается 1,2 трлн транзисторов на чипе. Известно, что процессор Intel 4004 имел в своем составе 2300 транзисторов в 1971 году. Согласно закону Мура, «каждые 18 месяцев число транзисторов в микросхеме удваивается». К этому году должно быть ровно 1 триллион транзисторов и еще один транзистор, и вычислительная мощность, которая может быть реализована, увеличивается на одну точку. Во-вторых, его архитектура микросхемы, схема межсоединения и связи микросхемы также очень продвинуты, что делает синергию между 1,2 триллионами транзисторов очень синхронной, задерживая наносекундный уровень. Во время выполнения эти 1,2 триллиона транзисторов похожи на то, что транзистор синхронизирован.

В области искусственного интеллекта размер чипа очень важен. Поскольку большие чипы обрабатывают информацию быстрее, время для генерации ответов сокращается. Сокращение времени наблюдения или «времени обучения» позволяет исследователям проверять больше идей, использовать больше данных и решать новые проблемы. Google, Facebook, OpenAI, Tencent, Baidu и многие другие считают, что фундаментальное ограничение развития искусственного интеллекта сегодня заключается в том, что обучение модели занимает слишком много времени. Таким образом, сокращение времени обучения устранит серьезное препятствие в развитии отрасли.

Конечно, производители чипов обычно не выпускают крупные чипы по какой-то причине. На одной пластине некоторые примеси обычно появляются в процессе производства. Небольшая примесь может привести к поломке микросхемы и даже серьезно сломать несколько микросхем. Если только одна микросхема изготовлена ​​на одной пластине, вероятность того, что она содержит примеси, составляет 100%, и примеси определенно приведут к отказу микросхемы. Но конструкция чипа CerebrasSystems является маргинальной, гарантируя, что одно или небольшое количество примесей не сделает недействительным весь чип.

Генеральный директор Cerebras Systems Фельдман сказал в своем заявлении: «Чип WSE компании разработан для искусственного интеллекта и содержит базовые инновации, которые решают технические проблемы, ограничивающие размер чипа в течение десятилетий, такие как кросс-соединение *, выход, выходная мощность. И упаковка. Каждое архитектурное решение заключается в оптимизации работы искусственного интеллекта. В результате, микросхема WSE предоставляет сотни или тысячи раз существующих решений в зависимости от рабочей нагрузки, с небольшим потреблением энергии и места. . Характеристики & Quot;

Эти улучшения производительности достигаются за счет ускорения всех элементов обучения нейронной сети. Нейронная сеть представляет собой многоуровневую вычислительную петлю обратной связи. Чем быстрее вход проходит через цикл, тем быстрее цикл изучает или «обучает». Способ получить ввод через цикл быстрее - это ускорить вычисления и связь внутри цикла.

В архитектуре связи архитектура связи кластера пробивает полосу пропускания и задержку, вызванную частью энергопотребления в традиционной технологии связи из-за использования релейного процессора на WSE. Используя двумерную структуру массива для соединения 400 000 процессоров на основе WSE, кластерная архитектура обеспечивает низкую задержку и высокую пропускную способность с общей пропускной способностью до 100 ударов в секунду (1017 байт в секунду). , Даже если дополнительное программное обеспечение не установлено, такая структура кластера может поддерживать глобальную обработку информации, и полученная информация обрабатывается соответствующим процессором.

Для этого продукта массовое производство и рассеивание тепла могут быть основными проблемами. Тем не менее, с появлением WSE, его собственных основных моментов вполне достаточно.

Главный аналитик Linley Group Линли Гвеннап сказал в своем заявлении: «CerebrasSystems добилась больших успехов в технологии пакетного масштабирования, а производительность обработки на кремниевом чипе намного превосходит все ожидания. Достигнув этого подвига, компания решила ряд инженерных задач, которые преследовали отрасль на протяжении десятилетий, включая обеспечение высокоскоростной передачи данных от матрицы к моде, устранение производственных дефектов, упаковку таких крупных чипов, обеспечение высокоплотных источников питания и охлаждения системы. CerebrasSystems Объединение лучших инженеров из разных дисциплин, создание новых технологий и поставка продукта всего за несколько лет - это впечатляющее достижение. & Quot;

Главный аналитик и основатель TiriasResearch Джим МакГрегор сказал в своем заявлении: «До сих пор реконфигурированный графический процессор удовлетворял огромную потребность в искусственном интеллекте для вычислительной мощности. Сегодняшнее решение будет иметь сотни этих перенастроенных графиков. Процессоры соединены вместе, и их установка занимает месяцы, потребляет сотни киловатт энергии и значительно модифицирует программное обеспечение для искусственного интеллекта, даже месяцы для достижения функциональности. Напротив, однокристальный WSE Абсолютный размер чипа обеспечивает больше вычислений, более высокую производительность памяти и большую пропускную способность. Чипы WSA позволяют избежать слабых соединений, медленной памяти, кэширования и интеграции с помощью методов интеграции пакетов в масштабе пластины. Традиционные ограничения производительности присущи графическим процессорам.

Основанная в 2016 году, CerebrasSystems была загадочной и неброской в ​​отрасли с момента своего основания, специализирующейся на предоставлении продуктов данных для обучения в центрах обработки данных. Он был назван «100 самых ожидаемых в мире компаний по производству чипов». CBInsights. Согласно данным, в 2016 году компания завершила финансирование серии A на сумму 25 миллионов долларов США. Инвестором был известный Benchmark венчурного инвестора, а позднее он получил несколько раундов финансирования. По состоянию на сентябрь 2017 года он получил в общей сложности 112 млн. Долл. США на сумму 860 млн. Долл. США.

Фон команды основателей компании также очень сильный. Соучредитель и генеральный директор Эндрю Фельдман, который основал компанию по производству микросхем SeaMicro, был приобретен AMD в 2012 году за 334 миллиона долларов. После того, как SeaMicro был приобретен AMD, первоначальные одноклассники в основном вступали в AMD, чтобы продолжить свою работу, поэтому, когда Эндрю Фельдман взял на себя инициативу продолжить свой бизнес, многие старые коллеги решили последовать этому примеру, и большинство других основных членов команды были в основном вместе с основателем. Андрей Фельдман

Стоит упомянуть Гэри Лаутербаха. В 1990-е годы, когда Sun была в разгар дня, Гари Лаутербах работал старшим разработчиком чипов в компании. Позже, в SeaMicro, он в основном занимался проектированием серверов с низким энергопотреблением. Можно сказать, что компания накопила большое количество потребления низкой мощности в начале создания. Ветеран дизайна чипов, это, несомненно, выигрыш для среднего стартапа.

Затем, в 2018 году, к Celebras Systems присоединился еще один супертяжеловес, а бывший вице-президент CTO по архитектуре и дата-центрам Дирай Мэллик официально занимал должность вице-президента по проектированию и бизнесу. За время его работы в Intel выручка во втором квартале 2018 года выросла на 1 млрд долларов в годовом исчислении. В первой половине 2018 года выручка дата-центра компании была увеличена до 10 миллиардов долларов. Это признанный гений технологий и бизнеса. Он также является старым коллегой Эндрю Фельдмана в SeaMicro и AMD. В настоящее время в компании работает 194 человека.

У CerebrasSystems долгий путь в будущем, но нетрудно представить, что ИИ принесет волну компьютерной архитектуры и технологии упаковки чипов. Мы можем ожидать, что станем свидетелями более интересных и даже неожиданных AI-чипов.