Нейронная сеть. Часть 5. Простые эксперименты.
ฝัง
- เผยแพร่เมื่อ 30 ต.ค. 2024
- Четыре простых эксперимента с нейросетью, которую написал с нуля. Целью экспериментов является проверка, что код работает, желание "пощупать" нейронную сеть на низком уровне, понять её возможности и ограничения. Никаких прикладных задач не ставилось, эксперименты
just for fun.
Начал писать статьи для Яндекс Дзен канал ТехноШаман.
Выражаю благодарность тем, кто поддерживает меня финансами.
Реквизиты для финансовой поддержки можно найти в
/ foo52ru
Эта гадина просто запомнила узор XD Прям какой то студент во время сессии :"D
Ор
@@ВасилийПоветьев, это не смешно, к сожалению. Потому что во многих случаях сети проще запомнить или вывести какую-то странную зависимость, не имеющую к данным никакого отношения.
@@ОлегСотов-ю9с Все, как у людей: Птицы низко летят - к дождю.
@@ОлегСотов-ю9с ммм, сеть с узором могла сработать, если узор был нарисован по правилам, а не рандомные кружки как здесь. Например кружки в в столбце идут через 5 пикселей, а на следущем столбце порядок кружков меняется на +1 пикселей по вертикале (идет смещение, но расстояние между ними прежнее). Тогда бы была законмерность, и за место кружков можно было подсунуть ещё что-то. А так сеть просто не поняла, что от неё хотят. Но это мои имхо и то, только в теории, прошу ногами не бить.
@@russovolante не все, а только, кажется, ласточки, так как они охоться за насекомыми, а насекомые чувствуют дождь и лезут на поверхность.
"...и умирает последний нейрон"
На этом моменте я чуть не расплакался
Есть работа художницы одной, там показаны рисунки которые выдавала постепенно "умирающая" нейросеть. Очень интересно.
@@-Cool_Fish- можно ссылочку?
@@thzeroucken вот th-cam.com/video/fICrE5-fD7c/w-d-xo.html
Порою, будто Кровосток слушаешь. Великолепно. Есть свой стиль, а главное, очень интересно.
Ура! Искренне рад возвращению. Смотрю с больший удовольствием данный канал. Автору выражаю благодарность и всех благ за его труд. Чести и удачи!
Абсолютно солидарен, очень рад возвращению..
Здорово я зашел! Спать откладывается на 14 минут 😊
Ошибаешься, дальше ты заходишь на канал и пропадаешь..))
Я человек простой. Вижу новое видео от foo52ru обязательно ставлю лайк, а потом с удовольствием смотрю.
Ура, наконец-то выпуск!
данил?
@@ЕкатеринаВеликая-о6щ Катя?
@@Skreepan лол
@@Skreepan вроде
Отличная визуализация. Интересные эксперименты. Понятная интерпретация. Спасибо!
Огромное спасибо за новый выпуск ваших исследований!
6:25 переживал за нейроны больше чем за себя..
Есть идея для эксперимента. Что-то типа симулятора деградации. Например обучить нейросеть какой-то задаче с помощью правильных ответов, потом создать новую нейросеть и обучить ее используя ответы первой нейросети, таким образом обучать каждую следующую по ответам предыдущей. Интересно, как будет выглядеть график ошибок, насколько долго нужно обучать каждую нейросеть, чтобы деградация вообще не происходила и т.д
Этот канал - находка. Продолжайте делать видео
Ну что сказать, очень КРУТО! Очень редкое качество и понятность.
Несколько раз открывал и переоткрывал ваш канал (разные эл.почты). Редко заходил на канал, но всегда смотрел много видео. Интересно смотреть и очень затягивает, даже если мало что смыслишь
Посмотрел ваши видео и кажется выбрал профессию.
Помимо крутости содержания очень нравится атмосфера на канале) Какое-то ощущение ретро-гиковости)
Обожаю канал, и тема нейросетей меня давно будоражит! :)
Боже, вы живой, как же я безумно рад!
Невероятно! БРАВО! Очень интересно и познавательно.
Это реально офигенно и завораживающе. Ты красавчик. Респект тебе.
Посмотрел видео на одном дыхании! Спасибо за то, что вдохновляете людей.
Люто про кружочки мне понравилось!
Как всегда - шикарно. Спасибо автору.
вот, кто заслуживает место в трендах ютуба!!!!
Наш лучший друг вернулся и будет показывать нам как нужно делать
Давно не было. С возвращением!
Вы живы! Ура!
"и эта г*@ина просто запомнила рисунок" by Техношаман. 😭😂😭😂😭😂😭😂👍👍👍👍👍
Нужен человек который хорошо разбирается в нйросетях для крупного проекта с высоким коммерческим потенциалом
Спасибо за видос, делай чаще очень интересно, а то приходится пересматривать старые видосы и ждать)
Спасибо за познавательное видео. Здоровья, творческих идей, с нетерпением ждём ещё )
Когда машины захватят этот мир, они оставят тебя в живых )
Новая Марка «Батя»
@YaKefir Терминатор, не смотрели да? Всё время так начинается: какая прелестная программа, ути-пути.
А потом - бац!!! Гоп-стоп, эй, человечек, дай закурить... Есть боеголовки? А если найду?!
Лучшие видео на ютубе у вас!
Тоже игрался с нейронной сетью. Сделал, чтобы она запоминала цвета пикселей картины в зависимости от их координат. Фактически получилась функция f(x,y) = Мона Лиза
Thanks for that video
Привет, попробуй инвертировать процесс преобразования изображение в чёрное белое. То есть наоборот из ЧБ в цветное. Интересно посмотреть на результат
результат будет очень кривым и всратым, ибо это всё равно, что давать дальтонику срисовать фотографию. Под одним и тем же оттенком чёрного может быть несколько цветов, и в итоге нейросеть будет просто угадывать цвета.
@@Мопс_001 нет, есть нейросети которые превращают разные черно-белые фото/фильмы в цветные и делают это довольно реалистично, они не угадывают каким будет цвет, а различают объекты, и окрашивают их в разные цвета. Посмотри видео по ссылке на таймкоде 2:30
th-cam.com/video/3eM6hRlqcwE/w-d-xo.html
Nik Rub там сеть на порядки сложнее. Классификация + раскрашивание + ?. Даниил говорил про текущую сеть.
Только ради Вас стал пользоваться Дзеном!
Это Волшебник!!!!
Отлично и очень интересно! С нетерпением жду новых выпусков.
не пропадайте блогеры
вы зрителям еще нужны
Особенно интересен эксперимент с узором, жду продолжения
1к лайков и 0 дизлайков, первый раз такое вижу. Можете гордиться такой аудиторией.
Больше нейросетей и генетических алгоритмов. Жду нейросеть с комплексными весами связей и реккурентную сеточку.
Есть же способы борьбы с переобучением. Dropout, регуляризация, или следить за контрольной выборкой и если ошибка на ней начинает увеличиваться при продолжающемся уменьшении ошибки по обучающей выборки, то это признак начала переобучения и надо прекращать обучение.
Кстати, убийство нейронов это же и есть механизм дропаута. Только убивать надо в процессе обучения.
Всегда жду твои эксперименты
давно тебя не было, но я хитрый, нажал колокольчик заранее)
твоя нейросеть очень хорошо обучена)
Спасибо за труды! Очень интересно. Вспомнил одну из дипломных работ в институте с распознаванием цифр нарисованных «от руки» (правда исходные данные были всего 10х10 пикселей и сложность была не высокой, но на тот момент выглядело впечатляюще)
К эксперименту с убийством нейронов напрашивается обратный - с их оживлением: скормить полумёртвую сетку другой нейросети, которая по ещё живым нейронам и соседним слоям должна будет восстановить значения мёртвых.
Ураааа новая серия по ИИ. Моя любимая тема. Я уж думал что ты забил на это.
Класс! Супер контент! АлексГайвером и Игорем Белецким вы захватите мир!)))
Спасибо! Не забрасывай канал, у тебя очень интересные видео.
Господи, рад, что вы живы)
Просто, БРАВО!
Бро у тебя у самого голос как у нейросети))
Классные видосы крафтишь, хотя конечно бывают и не в кассу.
Лично мне больше всего понравился про изменение пространственных осей.
Вы неплохо обращаетесь с нейронной сетью, продолжайте в том же духе
Оба на, как интересно!
ЕЩЁ! про нейросети, т.к. это интересно и хочется понять их на примере таких видео, да и вопросов много...
С возвращением! Ждал с нетерпением!
Попробуйте сделать "обратную" съёмку сдвига во времени движущихся или вращающихся элементов природы. Например Волны океана, модели вращения солнечной системы или наиболее достоверную симуляцию вращения галактики. Т.е. скрученные элементы должны превратиться в стационарные полосы. Может мы найдём в этом что то интересное.
К примеру, не исключено, что в результате перемещения планет в солн.сист. или в галактике может наблюдаться неожиданный результат построения каких либо нам известных символов. Согласитесь, планеты движутся не хаотично а по строгим алгоритмам магнитного поля. Это не одно и тоже, если бы человек запустил шарики по кругу.
Ещё интересно посмотреть на вращающийся глобус с материками. Как выстроятся материки?
В который раз - Молодец. Жирный царский лайк однозначно! Сделай видео, где детально описывается процесс создания нейронов на cpp и обучалки для них. Не всем интересно будет, но кому интересно - еще и полезно. Некое пособие с наглядными примерами.
С возвращением. Вас заждались :)
Классные ролики! Продолжай и не уходи так надолго.
Милорд нужно больше золота! Точнее больше выпусков.
Несколько странное подобие автоэнкодеров
Советы:
- Регуляризация
- Conv слои (все таки dense слои для изображений будут переобучаться, так как предполагают корелляцию всех пикселей со всеми, что, конечно же, не так)
- Bottleneck архитектура (дополнительная регуляризация, которая будет заставлять сеть выделять самые важные фичи, а не просто копировать вход на выход)
Сейчас, если вы имели бы test set, увидели бы, что текущие варианты не имеют ничего общего с "генеративностью" и будут выдавать результат чуть лучше, чем полный рандом. Все сети просто запоминают train set и воспроизводят его в последствии
Еще, експеременты, обучающие уроки, книгу в студию.
Память нейросети это же круто.
Можно использовать в качестве архиватора для сжатия чего либо или шифрования.
Оставляешь начальный кусочек, и конфигурацию нейросети, а потом при необходимости нейросеть разворачивает весь весь фрагмент.
Начальный кусочек кодовое - слово, конфигурация - ключ.
После слова - "Гадина". Ролик приобрёл новый смысл)))
Спасибо! Очень интересно
Довольно занятная вещь в рекомендациях. Лайк и подписка)
Очень интересно смотреть твои видео
Закономерно было бы увидеть сверточные нейросети, Раз уж разговор зашёл про обработку изображений😁
Пол года не было! Молодец)
Чувак ты вернулся, респект тебе!! Заслуженный лойсик!
То что я не очень понимаю как это сделать меня не очень беспокоит.
Меня восхищает то, до чего я в принципе не смог бы додуматься - деградация нейронов.
Нейросеть-алкоголик это прекрасно!
Супер! Интереснее чем игровые стримы!))) Продолжай! Буду ждать)
Он живой! ЖИВОЙ!!!
Очень жду подробного разбора NEAT algorithm
Честно нихрена не понял - но было интересно.
Не понял потому что ютуб выдало это видео. Я думал тема про нейросеть мозга. Но тут про что-то другое. Надо разбираться с начала. Но я рад увидеть такое видео.
Михаил Львович как всегда на высоте.
Как всегда интересно и информативно. С возвращением! Надеюсь, дальше будешь выпускать ролики не по 4 месяца) Попробуй разбавить канал более простыми рубриками, если есть свободное время, чтобы он не пустовал во время работы над сложными проектами. И подписчикам хорошо и ютуб рекомендовать видео активнее будет.
Них.. не понятно но очень интересно. Это поражает!
на яндекс я конечно не пойду , но видео интересное ))) спасибо )) ух нейросеть, зубрилка !
Да! Пора самому уже уметь, а не ходить по Яндексам
Ураа новый видос))
Спасибо тебе. Очень увлекательно.
УРАААА!
С возвращением!
Спасибо за новое видео! Только в слове "пиксель" ударение на первый слог.
Бро, было бы интересно посмотреть создание нейронной сети для торговли на форексе или фондовом рынке. Тут заодно и заработать можно, а не только развлечься:)
Ну когда же новые выпуски?!?! Так классно делаете и так редко(((
Ooo живой!!!)
9:26 нейросеть выдала хоть и не тот результат, но он в РАЗЫ лучше. Реально атмосферно вышло.
+AionXIV Просто цвета побледнеел и всё)))
Жалко что выпуски редко, и людям не интересно хоть даже я понимаю)))
Попробуйте сделать нейросеть или генетический алгоритм на принцыпах открытых систем. Гуглить по запросу Open-endedness, т.е. системы открытые незавершенные. Думаю это прямой путь к ИИ
Про танчики классная идея, а можно чтобы попавший получал нейрон и дообучался?
Я пробовал на частично обученную сеть добавлять нейрон - никак не влияет. Сеть как будто не видит его и продолжает в своём темпе.
@Поэт Лучник, возможно, сеть придётся переучивать после добавления этого нейрона.
@Поэт Лучник Если будешь реализовывать, пожалуйста, сними видео и оставь здесь ссылку!
@Поэт Лучник Подписался и поставил колокольчик! Очень жду самообучающихся танчиков. Не подведи )
Мужик, продолжай
Блин, я тут буквально вчера делал (прикола ради) нейронку которая решала задачку с работы (предварительно я эту задачу уже решил простым попиксельным сравнением) угадывал цифру на картинке, размер цифры - 4х5 пикселей.
Там значит картинка может быть любого цвета, но отступы от края к цифрам заранее известны. Цифры не крутятся и не искажаются.
Ну и я просто брал картинку, смотрел сколько пикселей одного цвета, сколько другого, считал что если какого-то цвета больше всего то это фон.
Фон приводил к белому, текст к чёрному.
И уже потом совал это дело в нейронку, если пиксель чёрный - то 1, если белый то 0.
И тут смотрю видос и понимаю, что мог просто собрать датасет побольше, в нейронку заложить на каждый пиксель 3 нейрона с RGB и обучить на практически сырых данных.
И почему я сам к этому не пришёл? В общем спасибо, может когда-то пригодится знание что можно и так было)
как всегда супер!
Отличное видео!
Это офигенно круто!
УРА, ТЫ ЖИВ!
ура вернулся