Гетероассоциативная память
ฝัง
- เผยแพร่เมื่อ 5 ต.ค. 2024
- На простейшем примере показана работа гетероассоциативной памяти.
Четыре вектора длиной 4 ассоциируются с векторами длиной 3
(это уменьшение размерности можно использовать для сжатия информации).
Формируется матрица сети.На вход сформированной сети подается еще один вектор.
Определяется вектор, ассоциированный с ним. За рамками лекции остались вопросы реализации итеративного процесса
и проблемы сходимости. Так что это только простейшее введение в теорию.
Михаил Николаевич, огромное спасибо за вашу работу. Очень важно, что Вы показываете как считать, на мой взгляд и опыт (тоже когда-то преподавал в ВУЗе) - так человеку легче "обучить" свою "нейронную" сеть :) . Возможно я ошибаюсь, но на 8:53 (и раньше), вектор у4 = 1,-1,-1, в тоже время на 8:28 - у4 = 1, -1, 1, что повлияло на расчет, но не изложение логики метода и формирование понимания метода у зрителей. Еще раз спасибо Вам !
Товарищ Профессор, у Вас ошибка на 7:58 секунде во время умножения y_1транспонированого на x_1. В результате, третий столбец матрицы w_1 - не верный и как следствие, в конце видео странные результаты с числом 7.
С уважением и наилучшими пожеланиями, ваш подписчик!
Подсчитал при функции -1 == (
Думал что из-за неверного написания первой матрицы в 3-м столбце получился такой результат, потом почитал комменты, там ещё ошибки оказались, суммарная матрица 1-й столбец, 3-я строка не 2 а 4 должно быть. Хорошие уроки, но хотелось бы без отвлечения на отрывки истории, её можно либо в описании, либо в самом начале как вводную. Ну и без ошибок с такими простыми примерами ( Спасибо большое за труд.
Ошибка при вычислении четвертой матрицы памяти - W[4]
Пропущен минус в вектор-столбце. У вас записано [1 -1 1], а должно быть [1 -1 -1] т.к. в двоичной системе счисления 4 это 100. Но возможно это не повлияло на результат.
Stupid headcrab Это просто переписывал на доску с ошибкой. А сначала все в системе Maple просчитал
Да, в W1 опечатка
Получается, у нас в матрице на 17:40, полученные значения меняются в биполярную кодировку? То-есть если число 0, то это 1? Если это глупый вопрос, извините) Я школьник, но очень нравится вся эта тема про нейронные сети)
да.
Кажется при вычислении W1 у вас ошибка. Там вектор [1,-1,1,-1]. А при умножении на Y1 вы умножаете на [1,-1,-1,-1]. Те при умножении [-1,-1,1]T x [1,-1,1,-1] получилось бы
|-1 1 -1 1|
|-1 1 -1 1|
|1 -1 1 -1|
Здравствуйте! Огромное спасибо за видео. С одним из образцов возникла проблема, осуществляю итерации, но каждый раз в результате получается одно и то же число, которого нет в списке образцов. Нормально ли что возникла зацикленность и можно ли с этим что-то сделать?
Очень интересная лекция, Товарищ Профессор, а есть ли тоже, только не с дискретными величинами, а с натуральными числами?
Это очень просто. Просто будет длиннее вектор. Любое число можно представить в виде 0 и 1. Компьютер справится!
Спасибо за лекцию. Однако мне не понятно, как здесь осуществлять итерации? В случае с автоассоциативной памятью вроде всё просто: выходной вектор подаём снова на вход, и так повторяем процесс до сходимости. Однако здесь у нас выходной вектор имеет меньшую размерность, а значит в чистом виде на вход его уже не поставишь! Буду признателен за объяснение.
За счет транспонирования можно умножить.
Правильно ли я понимаю -
после обучения,
образцы, представленные к распознаванию,
могут содержать до 50% некорректной
информации и при этом моут быть
устойчиво распознаны?
У меня в программе так получается.
Почему же 50? Бывает и хуже, но распознает, бывает и лучше, но - нет..
Я программно создал сеть из единственного образца - 1000 x 1,
тысяча единиц, построил матрицу, а затем для распознавания
подавал на вход образцы, в которых всякий раз на 1 увеличивал
количество разрядов, отличающихся от эталона.
Образцы от 0 до 498-го распознавались,
499, в котором была 501 единица и 499 минус единиц, не распознался.
А где можно посмотреть информацию об итеративном процессе
и проблемах сходимости
см. книгу Саймона Хайкина "нейронные сети"
Михаил Николаевич!
Большое спасибо, изумительная лекция!
Очень полезно!
Ответ на свой вопрос я нашел в книге
Дж.Ф.Люгер. Искуственный интеллект.
Стратегии и методы решения сложных проблем.
Еще раз спасибо!
Видео не загружается, где можно посмотреть?
+Павел Борисевич У меня там была глупая оговорка. Попробую восстановить... Не сразу... Надо поискать оригинал.