Mryntu

ШІ-прискорювач (англ. AI accelerator) — це (станом на 2016 рік) перспективний клас мікропроцесорів, розроблених для прискорення штучних нейронних мереж, машинного зору та інших алгоритмів машинного навчання для робототехніки, інтернету речей, та для інших інформаційно ємних або керованих сенсорами задач.^[1] Вони часто є надбагатоядерними^[en] розробками (віддзеркалюючи масивно-паралельну природу біологічних нейронних мереж). Вони орієнтовані на практичне застосування вузького ШІ^[en], радше ніж на дослідження штучного розуму. Для пристроїв у цьому просторі існує багато термінів, залежних від постачальника.

Вони відрізняються від ГП (які часто використовують в тій же ролі) тим, що не мають жодних вузлів фіксованого призначення^[en] для графіки, й загалом фокусуються на арифметиці низької розрядності.

Зміст

1 Історія
- 1.1 Ранні спроби
- 1.2 Різнорідні обчислення

2 Схід ГПЗП

3 Застосування ПКВМ

4 Мотивація за новий процесор
- 4.1 Схема доступу до пам'яті
- 4.2 Точність
- 4.3 Термінологія
- 4.4 Уповільнення закону Мура
- 4.5 Майбутнє

5 Потенційні застосування

6 Приклади

7 Примітки

8 Посилання

Історія |

ЦП комп'ютерних систем часто доповнюють прискорювачами особливого призначення для напружених задач, у першу чергу графіки, але також і звуку, відео тощо. З часом з'явилися різні прискорювачі, які були застосовними для робочих навантажень ШІ.

Ранні спроби |

Ранніми роками як прискорювачі нейронних мереж, наприклад, для прискорення програмного забезпечення оптичного розпізнавання символів, використовувалися процесори цифрової обробки сигналів (такі як AT&T DSP32C),^[2] і були спроби створення паралельних систем із високою пропускною здатністю для робочих станцій (наприклад, TetraSpert у 1990-х роках, яка була паралельним векторним процесором з нерухомою комою^[3]), спрямованих на різні застосування, включно з моделюванням нейронних мереж.^[4] ANNA була КМОН-прискорювачем нейронних мереж, розробленим Яном ЛеКуном.^[5] Була й інша спроба побудувати нейромережеву робочу станцію, яка називалася Synapse-1^[6] (не слід плутати з поточним проектом IBM SyNAPSE^[en]).

Різнорідні обчислення |

Архітектури, такі як мікропроцесор Cell (у свою чергу натхнений векторними вузлами PS2, один з яких було тісніше прив'язано до ЦП для роботи загального призначення), продемонстрували ознаки, які істотно перекриваються з ШІ-прискорювачами — в їхній підтримці упакованої арифметики низької точності, архітектурі потоку інформації^[en], та наданні «пропускній здатності» вищого пріоритету, ніж затримці й «розгалужувально-цілочисленому» кодові. Це був крок у бік різнорідних обчислень, з рядом орієнтованих на пропускну спроможність прискорювачів, призначених допомагати ЦП з областю напружених задач: моделювання фізики, ШІ, кодування/декодування відео, та деяких графічних задач за межами його споріднених ГП.

Фізичний процесор був ще одним прикладом спроби заповнити прогалину між ЦП та ГП в апаратному забезпеченні ПК, проте фізика схильна вимагати точності 32 біт і вище, в той час як набагато нижча точність може бути кращим компромісом для ШІ.^[7]

ЦП й самі набули все ширших вузлів SIMD (рухомі робочим навантаженням відео та ігор) та збільшили кількість ядер у спробі усунути потребу в іншому прискорювачеві, а також для прискорення прикладного коду. А вони мають тенденцію підтримувати упаковані типи даних низької точності.^[8]

Схід ГПЗП |

Після появи новаторського програмного забезпечення, яке використовувало вершинні та фрагментні шейдери для обчислень загального призначення через ППІ рендерингу^[en] шляхом зберігання неграфічних даних у вершинних буферах та картах текстур (включно з реалізаціями згорткових нейронних мереж для оптичного розпізнавання символів^[9]),^[10] постачальники графічних процесорів побачили цю можливість, і узагальнили свої шейдерні конвеєри з особливою підтримкою для ГПЗП, здебільшого будучи вмотивованими вимогами фізики відеоігор, але також і з прицілом на наукові обчислення^[en].^[11]

Це винищило ринок виділених фізичних прискорювачів, і замінило Cell в консолях відеоігор,^[12] у кінцевому підсумку призвівши до їхнього застосування для виконання згорткових нейронних мереж, таких як AlexNet^[en] (яка продемонструвала передову продуктивність у Широкомасштабному випробуванні з візуального розпізнавання ImageNet^[en]).^[13]

Таким чином, станом на 2016 рік ГП є популярними для роботи ШІ, і вони продовжують розвиватися в напрямку полегшення глибинного навчання, як для тренування,^[14] так і для отримання висновків у пристроях на кшталт самокерованих автівок.^[15] — і отримання додаткової з'єднувальної спроможності для того типу робочих навантажень потоку інформації^[en], від якого отримує переваги ШІ (наприклад, NVidia NVLink^[en]).^[16]

Застосування ПКВМ |

Microsoft використовувала мікросхеми ПКВМ для прискорення отримування висновків.^[17]^[18] Це спонукало Intel купити компанію Altera з метою включення ПКВМ до складу серверних ЦП, які стали би здатними до прискорення ШІ, а також і до інших задач.^{[джерело?]}

Мотивація за новий процесор |

Хоча ГП й працюють набагато краще за ЦП для цих задач, за допомогою специфічнішої конструкції все ще можна отримати порядку десятикратного приросту ефективності.^[19]

Схема доступу до пам'яті |

Схема доступу до пам'яті^[en] обчислень ШІ відрізняється від графіки: все передбачуванішому й передбачуванішому, але глибшому потоку інформації^[en] більше користі приносить здатність зберігати більше тимчасових змінних на кристалі (тобто в блокнотній пам'яті^[en], а не в кешах); на відміну від цього, ГП виділяють кремній для ефективного обходження з високо нелінійною адресацією збирання-розкидання^[en] між картами текстур і кадровими буферами^[en], та фільтрування текстур^[en], як і треба для їхньої головної ролі в тривимірному рендерингу.

Точність |

Дослідники ШІ часто знаходять мінімальними втрати точності при зниженні до 16 або навіть 8 біт,^[7] що наводить на думку, що більший об'єм арифметики нижчої точності є кращим використанням тієї ж пропускної спроможності. Деякі дослідники навіть пробували застосовувати 1-бітову точність (тобто, ставити акцент в задачах бачення виключно на просторовій інформації).^[20] Розробка IBM є радикальнішою, обходячись взагалі без скалярних значень, і накопичуючи хроновані імпульси для представлення активацій стохастично, вимагаючи перетворення традиційних представлень.^[21]

Термінологія |

Станом на 2016 рік ця галузь усе ще перебуває в русі, й постачальники просувають свій власний ринковий термін для того, що вкладається в поняття «ШІ-прискорювач», в надії, що їхня розробка та ППІ домінуватимуть. Консенсусу немає ані в межах між цими пристроями, ані в точній формі, якої вони набудуть, проте кілька прикладів явно прагнуть заповнити цей новий простір, із неабияким перекриттям у потенційних можливостях.

В минулому, коли виникли споживацькі графічні прискорювачі, промисловість у кінцевому підсумку прийняла самостійно призначений термін компанії NVidia, англ. GPU (ГП),^[22] як узагальнювальний іменник для «графічних прискорювачів», які набували різних форм, перш ніж зупинитися на загальному конвеєрі, який реалізує модель, представлену Direct3D.

Уповільнення закону Мура |

Станом на 2016 рік, уповільнення (і, можливо, неминучий кінець) закону Мура^[23] змушує декого пропонувати перефокусуваня зусиль галузі на розробку кремнію під застосування,^[24] тоді як у минулому мікросхеми загального призначення все більшої потужності використовувалися для різноманітних застосувань за допомогою програмного забезпечення. За такого сценарію диверсифікація спеціалізованих ШІ-прискорювачів має більше сенсу, ніж продовження розтягування ГП та ЦП.

Майбутнє |

Проте ще належить з'ясувати, чи буде в кінцевому підсумку форма ШІ-прискорювача докорінно новим пристроєм, як TrueNorth^[en], чи процесором ще загальнішого призначення, який просто робиться оптимізованим для правильного поєднання точності й потоку інформації.^[4] На обрії є деякі навіть ще екзотичніші підходи, наприклад, застосування мемристорів, спроби застосування мемристорів як синапсів.

Потенційні застосування |

Автономні автівки, NVidia націлила свої плати Drive PX-series^[en] у цей простір.^[25]

Сільськогосподарські роботи, наприклад, безхімічна боротьба з бур'янами.^[26]

Контроль голосу, наприклад, у мобільних телефонах, ціль для Qualcomm Zeroth^[en].^[27]

Машинний переклад

Безпілотні літальні апарати, наприклад, навігаційні системи, наприклад, було показано, як Movidius Myriad 2^[en] успішно водить автономні безпілотні літальні апарати.^[28]

Промислові роботи, розширення спектру задач, які можливо автоматизувати, шляхом додавання пристосовності до мінливих ситуацій.

Допомога з діагнозами в охороні здоров'я

Пошукові системи, підвищення енергетичної ефективності^[en]центрів обробки даних, і можливість використовувати все складніші запити.

Обробка природної мови

Приклади |

Зорові процесори
- наприклад, Movidius Myriad 2^[en], який у своєму серці є надбагатоядерним^[en] ШІ-прискорювачем VLIW, доповненим вузлами фіксованого призначення^[en] для відео.

Тензорний процесор — представлений як прискорювач для системи Google TensorFlow, яка широко застосовується для згорткових нейронних мереж. Сфокусований на великому об'ємі арифметики 8-бітової точності.

SpiNNaker^[en], надбагатоядерна розробка, яка поєднує ядра традиційної архітектури ARM з вдосконаленою мережною структурою, спеціалізованою для моделювання великої нейронної мережі.

TrueNorth^[en], найнезвичніший приклад, надбагатоядерна розробка на основі імпульсних нейронів, а не традиційної арифметики. Частота імпульсів представляє інтенсивність сигналу. Станом на 2016 рік серед дослідників ШІ немає консенсусу, чи є це правильним шляхом для просування,^[29] але деякі результати є багатообіцяючими, з продемонстрованою великою економією енергії для задач бачення.^[30]

Zeroth NPU^[en], розробка Qualcom, спрямована безпосередньо на привнесення можливостей розпізнавання мовлення та зображень до мобільних пристроїв.

Eyeriss, розробка, явно спрямована на згорткові нейронні мережі, із застосуванням блокнотної пам'яті та мережевої архітектури в межах кристалу.

Adapteva epiphany^[en] призначена як співпроцесор, включає модель блокнотної пам'яті^[en]мережі на кристалі, підходить до моделі програмування потоком інформації, яка повинна підходити для багатьох задач машинного навчання.

Kalray^[en] показала MPPA^[en]^[31] і повідомила про підвищення ефективності для згорткових нейронних мереж у порівнянні з ГП.

Індійський технологічний інститут у Мадрасі^[en] розробляє прискорювач на імпульсних нейронах для нових систем RISC-V, спрямованих на аналітику великих даних у серверах.^[32]

Nvidia DGX-1^[en] ґрунтується на технології ГП, хоча використання декількох процесорів, які формують тканину через NVLink, спеціалізує його архітектуру пам'яті^[en] особливо слушним для глибинного навчання чином.

Примітки |

↑ Google розробляє процесори ШІ. (англ.) Google використовує свої власні прискорювачі ШІ.

↑ Показ згорткової нейронної мережі 1993 року із застосуванням прискорювача DSP32. (англ.)

↑ Розробка зв'язницького мережевого суперкомп'ютера. (англ.)

↑ ^а^б The End of General Purpose Computers (Not). (англ.) Ця презентація охоплює минулі спроби прискорювачів нейронних мереж, відзначає схожість із сучасною процесорною системою SLI^[en]GPGPU, і стверджує, що векторні прискорювачі загального призначення є шляхом вперед (по відношенню до проекту RISC-V hwacha. Стверджує, що НМ є просто щільними та розрідженими матрицями, одним із рекурентних алгоритмів)

↑ Application of the ANNA Neural Network Chip to High-Speed Character Recognition (англ.)

↑ SYNAPSE-1: a high-speed general purpose parallel neurocomputer system. (англ.)

↑ ^а^б Deep Learning with Limited Numerical Precision. (англ.)

↑ Improving the performance of video with AVX. (англ.)

↑ Microsoft Research/pixel shaders/MNIST. (англ.)

↑ How GPU came to be used for general computation. (англ.)

↑ NVIDIA Tesla microarchitecture. (англ.)

↑ End of the line for IBM’s Cell. (англ.)

↑ ImageNet Classification with Deep Convolutional Neural Networks. (англ.)

↑ Nvidia driving the development of deep learning. (англ.)

↑ NVIDIA Introduces “Supercomputer” For Self Driving Cars. (англ.)

↑ How NVLink Will Enable Faster, Easier Multi-GPU Computing. (англ.)

↑ Microsoft Extends FPGA Reach From Bing To Deep Learning. (англ.)

↑ Accelerating Deep Convolutional Neural Networks Using Specialized Hardware. (англ.)

↑ Google boosts machine learning with TPU. mentions 10x efficiency (англ.)

↑ XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks. (англ.)

↑ Conversion of Artificial Recurrent Neural Networks to Spiking Neural Networks for Low-power Neuromorphic Hardware. (англ.)

↑ NVIDIA launches he Worlds First Graphics Processing Unit, the GeForce 256,. (англ.)

↑ Intel’s former chief architect: Moore’s law will be dead within a decade. (англ.)

↑ More-than-Moore. (англ.)

↑ Drive PX. (англ.)

↑ Design of a machine vision system for weed control. (англ.)

↑ Qualcomm Research brings server-class machine learning to everyday devices. (англ.)

↑ Movidius powers worlds most intelligent drone. (англ.)

↑ Ян ЛеКун про IBM TrueNorth. (англ.) стверджує, що нейрони з потенціалами дії ніколи не дають результатів передової якості, і що точність 8-16 біт є оптимальною, просуває конкурентну розробку «neuflow»

↑ IBM cracks open new era of neuromorphic computing. «TrueNorth is incredibly efficient: The chip consumes just 72 milliwatts at max load, which equates to around 400 billion synaptic operations per second per watt — or about 176,000 times more efficient than a modern CPU running the same brain-like workload, or 769 times more efficient than other state-of-the-art neuromorphic approaches» (англ.)

↑ Kalray MPPA. (англ.)

↑ India preps RISC-V Processors - Shakti targets servers, IoT, analytics. «The Shakti project now includes plans for at least six microprocessor designs as well as associated fabrics and an accelerator chip» (англ.)

Посилання |

http://www.nextplatform.com/2016/04/05/nvidia-puts-accelerator-metal-pascal/ (англ.)

[1] Google розробляє процесори ШІ. (англ.) Google використовує свої власні прискорювачі ШІ.

[2] Показ згорткової нейронної мережі 1993 року із застосуванням прискорювача DSP32. (англ.)

[krste-3] Розробка зв'язницького мережевого суперкомп'ютера. (англ.)

[krste_general_purpose-4] а^б The End of General Purpose Computers (Not). (англ.) Ця презентація охоплює минулі спроби прискорювачів нейронних мереж, відзначає схожість із сучасною процесорною системою SLI^[en]GPGPU, і стверджує, що векторні прискорювачі загального призначення є шляхом вперед (по відношенню до проекту RISC-V hwacha. Стверджує, що НМ є просто щільними та розрідженими матрицями, одним із рекурентних алгоритмів)

[5] Application of the ANNA Neural Network Chip to High-Speed Character Recognition (англ.)

[6] SYNAPSE-1: a high-speed general purpose parallel neurocomputer system. (англ.)

[lowprecision-7] а^б Deep Learning with Limited Numerical Precision. (англ.)

[8] Improving the performance of video with AVX. (англ.)

[9] Microsoft Research/pixel shaders/MNIST. (англ.)

[10] How GPU came to be used for general computation. (англ.)

[11] NVIDIA Tesla microarchitecture. (англ.)

[12] End of the line for IBM’s Cell. (англ.)

[13] ImageNet Classification with Deep Convolutional Neural Networks. (англ.)

[14] Nvidia driving the development of deep learning. (англ.)

[15] NVIDIA Introduces “Supercomputer” For Self Driving Cars. (англ.)

[16] How NVLink Will Enable Faster, Easier Multi-GPU Computing. (англ.)

[17] Microsoft Extends FPGA Reach From Bing To Deep Learning. (англ.)

[18] Accelerating Deep Convolutional Neural Networks Using Specialized Hardware. (англ.)

[19] Google boosts machine learning with TPU. mentions 10x efficiency (англ.)

[20] XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks. (англ.)

[21] Conversion of Artificial Recurrent Neural Networks to Spiking Neural Networks for Low-power Neuromorphic Hardware. (англ.)

[22] NVIDIA launches he Worlds First Graphics Processing Unit, the GeForce 256,. (англ.)

[23] Intel’s former chief architect: Moore’s law will be dead within a decade. (англ.)

[24] More-than-Moore. (англ.)

[25] Drive PX. (англ.)

[26] Design of a machine vision system for weed control. (англ.)

[27] Qualcomm Research brings server-class machine learning to everyday devices. (англ.)

[28] Movidius powers worlds most intelligent drone. (англ.)

[29] Ян ЛеКун про IBM TrueNorth. (англ.) стверджує, що нейрони з потенціалами дії ніколи не дають результатів передової якості, і що точність 8-16 біт є оптимальною, просуває конкурентну розробку «neuflow»

[30] IBM cracks open new era of neuromorphic computing. «TrueNorth is incredibly efficient: The chip consumes just 72 milliwatts at max load, which equates to around 400 billion synaptic operations per second per watt — or about 176,000 times more efficient than a modern CPU running the same brain-like workload, or 769 times more efficient than other state-of-the-art neuromorphic approaches» (англ.)

[31] Kalray MPPA. (англ.)

[32] India preps RISC-V Processors - Shakti targets servers, IoT, analytics. «The Shakti project now includes plans for at least six microprocessor designs as well as associated fabrics and an accelerator chip» (англ.)

搜尋此網誌