- русский
-
EnglishDeutschItaliaFrançais한국의русскийSvenskaNederlandespañolPortuguêspolskiSuomiGaeilgeSlovenskáSlovenijaČeštinaMelayuMagyarországHrvatskaDanskromânescIndonesiaΕλλάδαБългарски езикGalegolietuviųMaoriRepublika e ShqipërisëالعربيةአማርኛAzərbaycanEesti VabariikEuskeraБеларусьLëtzebuergeschAyitiAfrikaansBosnaíslenskaCambodiaမြန်မာМонголулсМакедонскиmalaɡasʲພາສາລາວKurdîსაქართველოIsiXhosaفارسیisiZuluPilipinoසිංහලTürk diliTiếng ViệtहिंदीТоҷикӣاردوภาษาไทยO'zbekKongeriketবাংলা ভাষারChicheŵaSamoa日本語SesothoCрпскиKiswahiliУкраїнаनेपालीעִבְרִיתپښتوКыргыз тилиҚазақшаCatalàCorsaLatviešuHausaગુજરાતીಕನ್ನಡkannaḍaमराठी
E-mail:Info@YIC-Electronics.com
Исследователи MIT разрабатывают новые «фотонные» чипы
Несколько дней назад исследователи из Массачусетского технологического института разработали новый «фотонный» чип, который использует свет вместо электричества и при этом потребляет относительно мало энергии. Чип используется для обработки крупномасштабных нейронных сетей с эффективностью, в миллионы раз превышающей эффективность существующих компьютеров. Результаты моделирования показывают, что фотонный чип работает в 10 миллионов раз эффективнее, чем электронный чип. Нейронные сети - это модели машинного обучения, которые широко используются для распознавания целей роботов, обработки естественного языка, разработки лекарств, медицинской визуализации и управления беспилотными транспортными средствами. Новые оптические нейронные сети, использующие оптические явления для ускорения вычислений, могут работать быстрее и эффективнее, чем другие электронные аналоги. Но поскольку традиционные нейронные сети и оптические нейронные сети становятся более сложными, они потребляют много энергии. Чтобы решить эту проблему, исследователи и крупнейшие технологические компании, в том числе Google, IBM и Tesla, разработали «Ускорители искусственного интеллекта», специализированный чип, который повышает скорость и эффективность обучения и тестирования нейронных сетей.
В 10 миллионов раз ниже предела энергии традиционных ускорителей электронов
Обучение моделированию нейронной сети на основе набора данных классификации изображений MNIST показывает, что ускоритель теоретически может обрабатывать нейронную сеть, которая в 10 миллионов раз ниже предела энергии традиционного ускорителя электронов и в 1000 раз ниже предела энергии фотонного ускорителя , Исследователи сейчас работают над прототипом чипа, чтобы проверить результаты.
«Люди ищут технологию, которая может рассчитывать за пределы базового энергетического предела», - сказал Райан Хамерли, научный сотрудник лаборатории электронных исследований. «Ускоритель фотонов обещает ... но наша мотивация заключается в создании (ускорителя фотонов), расширенного до больших нейронных сетей».
Практическое применение этих технологий включает снижение энергопотребления в центре обработки данных. «Спрос на центры обработки данных, работающие с большими нейронными сетями, растет, и с ростом спроса его становится все труднее вычислять», - сказал Александр Слуддс, соавтор и аспирант в лаборатории исследования электроники. Сетевое оборудование удовлетворяет вычислительные потребности ... для устранения узких мест в энергопотреблении и задержке. "
В соавторстве со Слудсом и Хамерли: аспирант RLE, соавтор Лиана Бернштейн; Профессор физики Массачусетского технологического института Марин Солячич; MIT доцент кафедры электротехники и информатики Дирк Энглунд; исследователь RLE и заведующий лабораторией квантовой фотоники.
Положитесь на более компактное, энергоэффективное «фотоэлектрическое» решение
Нейронная сеть обрабатывает данные через ряд вычислительных слоев, содержащих взаимосвязанные узлы (называемые «нейронами»), чтобы найти закономерности в данных. Нейрон получает входные данные от своего «соседа» вверх по течению и вычисляет выходной сигнал, который отправляется другим нейронам вниз по течению. Каждому входу также присваивается «вес», значение, основанное на его относительной важности для всех других входов. По мере того как данные «углубляются» по уровням, сеть изучает более сложную информацию. Наконец, выходной слой генерирует прогноз, основанный на расчете всего слоя.
Целью всех ускорителей искусственного интеллекта является снижение энергии, необходимой для обработки и перемещения данных в конкретном линейном алгебраическом шаге в нейронной сети, называемой «умножение матриц». Там нейроны и веса кодируются в отдельные строки и списки, которые затем объединяются для расчета выходных данных.
В обычном ускорителе фотонов импульсный лазер кодирует информацию о каждом нейроне в слое, а затем поступает в волновод и через светоделитель. Полученный оптический сигнал подается в квадратную сетку оптических элементов, называемую «интерферометр Маха-Цендера», которая запрограммирована для выполнения умножения матриц. Интерферометр кодирует с каждым весом информации и использует метод помех сигнала, который обрабатывает оптический сигнал и значения веса, чтобы вычислить выход каждого нейрона. Но есть проблема масштабирования: для каждого нейрона должен быть волновод, а для каждого веса должен быть интерферометр. Поскольку количество веса пропорционально количеству нейронов, эти интерферометры занимают много места.
«Вскоре вы поймете, что количество входных нейронов никогда не будет превышать 100 или около того, потому что вы не можете установить на чип столько компонентов», - сказал Хамерли. «Если ваш фотонный ускоритель не может обрабатывать более 100 слоев на слой». Нейроны, трудно применить большие нейронные сети к этой структуре ".
Чипы исследователей полагаются на более компактную, энергоэффективную «фотоэлектрическую» схему, которая использует оптические сигналы для кодирования данных, но использует «сбалансированное обнаружение гомодина» для умножения матриц. Это метод генерации измеримого электрического сигнала после вычисления произведения амплитуды (высоты волны) двух оптических сигналов.
Оптические импульсные кодированные входные и выходные нейроны каждого слоя нейронной сети, используемые для обучения сети, проходят через один канал. Отдельные импульсы, закодированные со всей строкой весовой информации в матричной таблице умножения, передаются по отдельным каналам. Данные о нейроне и весе передаются на оптический сигнал гомодинной фотоприемной сетки. Фотодетектор использует амплитуду сигнала для расчета выходного значения каждого нейрона. Каждый детектор вводит электрический выходной сигнал для каждого нейрона в модулятор, который преобразует сигнал обратно в световой импульс. Световой сигнал становится входом для следующего слоя и так далее.
Эта конструкция требует только одного канала на каждый входной и выходной нейрон и требует столько же гомодинных фотоприемников, сколько нейрон, без необходимости в весе. Поскольку количество нейронов всегда намного меньше веса, это экономит много места, поэтому чип можно расширить до нейронной сети с более чем одним миллионом нейронов на слой.
Найти лучшее место
С фотонным ускорителем в сигнале неизбежен шум. Чем больше света попадает в чип, тем меньше шума и выше точность, но это может быть очень неэффективно. Чем меньше входной свет, тем выше эффективность, но это негативно скажется на производительности нейронной сети. Но есть «лучшая точка», сказал Бернштейн, которая использует наименьшую оптическую мощность при сохранении точности.
Оптимальное положение ускорителя искусственного интеллекта измеряется тем, сколько джоулей требуется для выполнения одной операции умножения двух чисел (например, умножения матрицы). Сегодня традиционные ускорители измеряются пикоджоулями или тераджоулями. Ускоритель фотонов измеряется в аттджоулях и в миллион раз эффективнее. При моделировании исследователи обнаружили, что их ускорители фотонов могут работать с энергией меньше, чем в аттоджоулях. «Прежде чем потерять точность, вы можете отправить некоторую минимальную оптическую мощность. Основные ограничения наших чипов намного ниже, чем у традиционных ускорителей… и ниже, чем у других фотонных ускорителей», - сказал Бернштейн.
Для электронных чипов, включая большинство ускорителей искусственного интеллекта, существует теоретический предел минимального энергопотребления. Недавно исследователи MIT начали разработку ускорителей фотонов для оптических нейронных сетей. Эти чипы на несколько порядков эффективнее, но они полагаются на громоздкие оптические компоненты, которые ограничивают их использование в относительно небольших нейронных сетях.
В статье, опубликованной в Physical Review X, исследователи из Массачусетского технологического института описали новый тип ускорителя фотонов, который использует более компактную оптику и методы обработки оптического сигнала, чтобы значительно сократить энергопотребление и площадь кристалла. Это позволяет микросхеме масштабироваться до нейронной сети, которая на порядки больше, чем соответствующая микросхема.
В статье, опубликованной в Physical Review X, исследователи из Массачусетского технологического института описали новый тип ускорителя фотонов, который использует более компактную оптику и методы обработки оптического сигнала, чтобы значительно сократить энергопотребление и площадь кристалла. Это позволяет микросхеме масштабироваться до нейронной сети, которая на порядки больше, чем соответствующая микросхема.
В 10 миллионов раз ниже предела энергии традиционных ускорителей электронов
Обучение моделированию нейронной сети на основе набора данных классификации изображений MNIST показывает, что ускоритель теоретически может обрабатывать нейронную сеть, которая в 10 миллионов раз ниже предела энергии традиционного ускорителя электронов и в 1000 раз ниже предела энергии фотонного ускорителя , Исследователи сейчас работают над прототипом чипа, чтобы проверить результаты.
«Люди ищут технологию, которая может рассчитывать за пределы базового энергетического предела», - сказал Райан Хамерли, научный сотрудник лаборатории электронных исследований. «Ускоритель фотонов обещает ... но наша мотивация заключается в создании (ускорителя фотонов), расширенного до больших нейронных сетей».
Практическое применение этих технологий включает снижение энергопотребления в центре обработки данных. «Спрос на центры обработки данных, работающие с большими нейронными сетями, растет, и с ростом спроса его становится все труднее вычислять», - сказал Александр Слуддс, соавтор и аспирант в лаборатории исследования электроники. Сетевое оборудование удовлетворяет вычислительные потребности ... для устранения узких мест в энергопотреблении и задержке. "
В соавторстве со Слудсом и Хамерли: аспирант RLE, соавтор Лиана Бернштейн; Профессор физики Массачусетского технологического института Марин Солячич; MIT доцент кафедры электротехники и информатики Дирк Энглунд; исследователь RLE и заведующий лабораторией квантовой фотоники.
Положитесь на более компактное, энергоэффективное «фотоэлектрическое» решение
Нейронная сеть обрабатывает данные через ряд вычислительных слоев, содержащих взаимосвязанные узлы (называемые «нейронами»), чтобы найти закономерности в данных. Нейрон получает входные данные от своего «соседа» вверх по течению и вычисляет выходной сигнал, который отправляется другим нейронам вниз по течению. Каждому входу также присваивается «вес», значение, основанное на его относительной важности для всех других входов. По мере того как данные «углубляются» по уровням, сеть изучает более сложную информацию. Наконец, выходной слой генерирует прогноз, основанный на расчете всего слоя.
Целью всех ускорителей искусственного интеллекта является снижение энергии, необходимой для обработки и перемещения данных в конкретном линейном алгебраическом шаге в нейронной сети, называемой «умножение матриц». Там нейроны и веса кодируются в отдельные строки и списки, которые затем объединяются для расчета выходных данных.
В обычном ускорителе фотонов импульсный лазер кодирует информацию о каждом нейроне в слое, а затем поступает в волновод и через светоделитель. Полученный оптический сигнал подается в квадратную сетку оптических элементов, называемую «интерферометр Маха-Цендера», которая запрограммирована для выполнения умножения матриц. Интерферометр кодирует с каждым весом информации и использует метод помех сигнала, который обрабатывает оптический сигнал и значения веса, чтобы вычислить выход каждого нейрона. Но есть проблема масштабирования: для каждого нейрона должен быть волновод, а для каждого веса должен быть интерферометр. Поскольку количество веса пропорционально количеству нейронов, эти интерферометры занимают много места.
«Вскоре вы поймете, что количество входных нейронов никогда не будет превышать 100 или около того, потому что вы не можете установить на чип столько компонентов», - сказал Хамерли. «Если ваш фотонный ускоритель не может обрабатывать более 100 слоев на слой». Нейроны, трудно применить большие нейронные сети к этой структуре ".
Чипы исследователей полагаются на более компактную, энергоэффективную «фотоэлектрическую» схему, которая использует оптические сигналы для кодирования данных, но использует «сбалансированное обнаружение гомодина» для умножения матриц. Это метод генерации измеримого электрического сигнала после вычисления произведения амплитуды (высоты волны) двух оптических сигналов.
Оптические импульсные кодированные входные и выходные нейроны каждого слоя нейронной сети, используемые для обучения сети, проходят через один канал. Отдельные импульсы, закодированные со всей строкой весовой информации в матричной таблице умножения, передаются по отдельным каналам. Данные о нейроне и весе передаются на оптический сигнал гомодинной фотоприемной сетки. Фотодетектор использует амплитуду сигнала для расчета выходного значения каждого нейрона. Каждый детектор вводит электрический выходной сигнал для каждого нейрона в модулятор, который преобразует сигнал обратно в световой импульс. Световой сигнал становится входом для следующего слоя и так далее.
Эта конструкция требует только одного канала на каждый входной и выходной нейрон и требует столько же гомодинных фотоприемников, сколько нейрон, без необходимости в весе. Поскольку количество нейронов всегда намного меньше веса, это экономит много места, поэтому чип можно расширить до нейронной сети с более чем одним миллионом нейронов на слой.
Найти лучшее место
С фотонным ускорителем в сигнале неизбежен шум. Чем больше света попадает в чип, тем меньше шума и выше точность, но это может быть очень неэффективно. Чем меньше входной свет, тем выше эффективность, но это негативно скажется на производительности нейронной сети. Но есть «лучшая точка», сказал Бернштейн, которая использует наименьшую оптическую мощность при сохранении точности.
Оптимальное положение ускорителя искусственного интеллекта измеряется тем, сколько джоулей требуется для выполнения одной операции умножения двух чисел (например, умножения матрицы). Сегодня традиционные ускорители измеряются пикоджоулями или тераджоулями. Ускоритель фотонов измеряется в аттджоулях и в миллион раз эффективнее. При моделировании исследователи обнаружили, что их ускорители фотонов могут работать с энергией меньше, чем в аттоджоулях. «Прежде чем потерять точность, вы можете отправить некоторую минимальную оптическую мощность. Основные ограничения наших чипов намного ниже, чем у традиционных ускорителей… и ниже, чем у других фотонных ускорителей», - сказал Бернштейн.