Денис Ларионов. Обзор нейроморфных систем ИИ
ฝัง
- เผยแพร่เมื่อ 30 พ.ย. 2023
- 21 ноября 2023 года «Лаборатория Касперского» провела ежегодную конференцию Kaspersky Neuromorphic AI, посвященную актуальным вопросам развития систем искусственного интеллекта (ИИ) на основе импульсных (спайковых) нейронных сетей.
Спикерами конференции выступили представители «Лаборатории Касперского», «Мотив-НТ», МФТИ, ЧУ «Цифрум» (ГК «Росатом»), AIRI, НТЦ «Модуль», АЦ Технологии, ЧГУ имени И.Н. Ульянова, Ульяновского филиала Института радиотехники и электроники им. В.А. Котельникова РАН, Института системного программирования им. В.П. Иванникова РАН
Страница конференции: kas.pr/62q2
Сайт Kaspersky Machine Learning: kas.pr/m783
#Цифрум, #РОСАТОМ, #NeuromorphicComputing, #SpikingNeuralNetwork, #DynamicVisionSensor - วิทยาศาสตร์และเทคโนโลยี
Дендриты, аксон, телодендрии - это локальные переменные конденсаторы (вариконды). Весь нейрон глобально тоже конденсатор (вариконд), но уже побольше. Нейрон ничего не вычисляет. В задачу нейрона входит создание в своей структуре связей (варикондов) своего собственного резонанса к патерну (комбинации) принимаемых (стекаемых) зарядов на входе дендритов. Так как конденсатор при определенной частоте может становиться индуктивностью. Место где конденсатор является минимальной индуктивностью и минимальной емкостью и есть собственная резонансная частота нейрона, так сказать "не рыба не мясо". Для изменения структуры и достижения собственного резонанса всех элементов нейрона служат химические нейромедиаторы - автоподстройка всех узлов (элементов) нейрона. Сама структура, то есть параметры всех элементов у нейрона и есть память. В итоге нейрон становится селективным фильтром к определенной группе сигналов (патернов), обладая при этом небольшим диапазоном пластичности и избирательности, в зависимости от количества и частоты спайков. Ключевое слово здесь собственный резонанс, а не вычисления. То есть минимум затрат энергии ионов и максимум избирательности (результата). Другими словами смотря на изображение или слушая звук мы узнаём комбинацию резонансов данного внешнего явления на своих сенсорах, а не биты. Для этих целей служит неокортекс как база данных различных резонансов. То же самый принцип используется и для выходной информации (моторных нейронов) - короткий код (намерение), разворачивается в большой (например движение руки). Собственно входные и выходные патерны в неокортексе физически находятся рядом. И забыл добавить нейрон имеет не один выход, а дерево емкостно-индуктивных выходов итоговая комбинация которых на синапсах тоже изменчива. Использовать один выход и сигнал проходящий по аксону это уже автоматически ошибка и заблуждение. Вы спросите почему резонанс? Потому что мозг это частный случай нервной системы для адаптации всего организма к среде, то есть по итогу резонанс тела к внешней среде. Своего рода преализация дуализма частица-волна во всех физических проявлениях.
Первое, H100 = 25*V100 по производительности на задачах ИИ из-за архитектурных улучшений, так что данные в цифрах по плотности неадекватны (сравнение, что H100 впятеро хуже, когда V100 в 25 раз хуже). Второе, данные по невозможности масштабирования систем ИИ на GPU некорректны. Они параллелизуемы, а время на коррекцию весов в том или ином слое одинаково и пренебрежимо по сравнению с самой вычислительной нагрузкой на GPU, поэтому синхронизация не является препятствием к масштабированию и такие системы также можно увеличивать бесконечно, пока не упрется в плотность упаковки по другим технологическим причинам (охлаждение, задержки передачи данных в случайном порядке, и так далее). Счёт пошёл на триллионы нейронов и ничего, работает и растёт без признаков снижения темпов. Так что этот момент ограничением не является, хотя асинхронность в принципе более адекватна на таких задачах и, я бы сказал, может привести к более простым техническим решениям, распределяющим систему в пространстве. Однако не могу сказать, насколько такие системы будут страдать от возникающей диффузии прибытия результата в нужной точности. Бесплатно это не будет в силу физики этого мира.
Здравствуйте! Спасибо за комментарий, мы передали его автору доклада Денису Ларионову. Вот его ответ:
> Первое, H100 = 25*V100 по производительности на задачах ИИ из-за архитектурных улучшений, так что данные в цифрах по плотности неадекватны (сравнение, что H100 впятеро хуже, когда V100 в 25 раз хуже).
«Сравнение, что H100 впятеро хуже, когда V100 в 25 раз хуже» указано не по плотности размещения транзисторов, а по количеству фреймов на единицу энергии. По плотности приведено сравнение лишь с V100 (в 5 раз). Вот ссылка на первоисточник: www.science.org/doi/full/10.1126/science.adh1174
Тот факт, что это превосходство обеспечено архитектурными улучшениями, которые по мнению авторов заимствованы из биологического мозга, никак не влияет на корректность сравнения, более того, подчеркивает его состоятельность.
> Второе, данные по невозможности масштабирования систем ИИ на GPU некорректны.
Это действительно сложный и глубокий вопрос, но вот пример, который демонстрирует превосходство вычислительной системы, в которой нет явной синхронизации, над HPC и GPU: royalsocietypublishing.org/doi/10.1098/rsta.2019.0160 В лекции об этом сказано пару слов на 08:22.