Создаём мозг для "змейки". Часть 2.
ฝัง
- เผยแพร่เมื่อ 12 ก.ย. 2024
- Создание простейшего мозга для змейки из классической игры.
В первой части было обучение змеек змеек вручную.
В этой части, обучение с помощью естественного отбора и выставление весов сети вручную.
Естественно с проведением чемпионатов.
Хотел бы сделать полноценную нейронную сеть для змейки, но пока не определился с оптимальной конфигурацией, так что, если есть идеи - пишите.
Исходники проекта(Pixilang)
yadi.sk/d/_fNx...
Моя группа ВКонтакте electro...
Выражаю благодарность тем, кто поддерживает меня финансами.
Реквизиты для финансовой поддержки можно найти в
/ foo52ru
Теперь нужно научить змеек загонять врагов в ловушки :)
а может нейронка путем эволюции научиться загонять в ловушки?
@ZYEV а чем меньше врагов, тем больше еды, ловушки, или зажимы, самое то
Это дельное дополнение. Но пока что в коде(геноме) нет возможности анализировать не несколько ходов вперёд.
@@boriskopeykin3209 нет Гена отвечающего за это. Змейка принимает решение в последний момент, считай. Змейка не видит всего поля.
Сами научиться через 20 миллионов естественный отбором
дарвин вообще говоря был оптимизирован не под чемпионат, а под жизнь с размножением и прочим )
Всё верно. Но условия близки. Эта одна из причин, почему естественный отбор мало где можно применить на практике. Зато он завораживает. :)
Обучать боями нужно было :)
foo52ru, что значит мало где можно применить на практике ? по сути все нейронные сети и являются естественным отбором. только условие отбора меняется. всё остальное схоже - сформировать нейроны таким образом, чтобы было выбрано лучшее действие в меняющихся условиях не приводящее к провалу.
AS , вообще в видео афтор сказал, что ваш вариант - искусственный отбор, а почти свободная жизнь в клетке - естественный.
id13, разницы не вижу. есть цель, есть входные условия и есть условия провала. мне кажется, что в любом случае будет естественный отбор. можно, конечно, "искусственно" отбирать, но опять же, это получится, что мы всего лишь меняем условия отбора. так же, как это было с человеком.
Смотрю я на это шедевральное видео,
и с грустью понимаю что мы и есть эти "змейки"...
А я с гордостью. Если бы система хотела бы убить тебя, она бы убила. А это всего лишь препятствие в жизни, чтоб усовершенствовался = стал быстрее/умнее/сильнее.
у меня тоже такая мысля промелькнула. И ктото параметры выставляет, чтобы сильно не размножались, но и не вымерли совсем
С гордостью осознаю, что являюсь представителем углеводородной формы жизни на планете Земля =)
Мы можем пойти путем гуманизма, помогая друг другу, а не животной конкуренции без контроля разума.
Заметил, что Адам убивался чаще, чем Дарвин. Если это за большое количество повторений не исчезает, значит выживаемость у Дарвина как-то реализована в его весах. Может он больше боится подходить к стенам, что статистически снижает запутывание? Жаль этот параметр в "небольшой статистике" не был представлен.
И поддержу идею, что Дарвин был заточен под выживание и размножение, а Адам только под обжорство.
"Адам" "был заточен" "под обжорство"
А ведь в змейке обычно в качестве еды делают яблоки. Получается, что Адам больше заточен на поедание яблок, т.е. грешить?
@FlyMaster гений конспирологии…
@@FoxSlyme но при этом Адам-змей... Змей_ка
@@FoxSlyme очень сложный культурно-мифологический концепт
@@user-qi6pv9jh7o а ведь точно
Обожаю когда речь идет о каких-либо искусственных мозгах которые надо учить посредством эволюции, и не только эволюции. По-больше бы таких видео.
Плз начни эволюцию с кода адама сможет ли естественный отбор усовершенствовать адама???
И Еву ему для полового отбора
он деградировал :(
Скажу по секрету, Бог поручил Адаму дать имена всем животным и определить их назначение. Как думаете мог Адам деградировать? Думаю вы деградируете. Библию надо читать а не слушать
@@ДмитрийДавыдов-е3ю во дурачьок
@@ДмитрийДавыдов-е3ю сам читай эту дрянь!
12:43 Ну, добавление нелинейности позволяет сделать более сложную модель (линейный классификатор с любым количеством слоёв может быть "упрощён" до однослойного, а с нелинейными функциями это невозможно).Более сложная модель - не панацея. Гарантии никто не даст, что она сможет избежать самоубийства методом "сходить под себя" ^____^ Но чем сложнее модель, тем, теоретически, более сложному поведению она может обучиться. Как-то так.Скажем, если подавать на вход достаточное количество информации об окружающей среде, нейронка сможет предсказать на несколько шагов вперёд возможные ходы и их последствия... И чем больше слоёв/нейронов/входов, тем сложнее могут быть предсказания. Но, проблема в том, что обучение ест. отбором - это мееееедленно. Крайне медленно... Сейчас нейронки на практике так не обучают. Используют метод обратного распространения ошибки (градиентного спуска) и его усовершенствованные разновидности, которые быстрее сходятся. Ну а ест. отбор - это скорее удел вот таких вот исследовательско-развлекательных сред just for fun :)
ЗЫ: не пробовали тренировать амёб с помощью программы проекта amebas.ru/downloads/ ? Там используется несколько иной подход: исполнимое ДНК (executable DNA) вместо нейросети. Т.е. геном амёбы представляет собой некое подобие программы на своеобразном ассемблере. При выполнении некоторых условий срабатывают триггеры, которые вызывают на исполнение определенные участки генома, что заставляет амёбу совершать какие-то движения... А так, тоже естественный отбор с мутациями и половым размножением. Но проект, к сожалению, автором фактически заброшен. Раньше велись соревнования, была движуха на форуме, а сейчас тишина...
Спасибо, посмотрю
Это нечто совершенно новое для меня! Подпишусь на Вас!
Осторожно молодой человек вы играете в бога
Нашел этот канал случайно, но очень заинтересовался. Заинтересовался так что тоже решил заняться изучением нейросетей. Что касается того можно ли считать Это нейросетью - думаю что да. Это не жесткий код, а гибкий и адаптирующийся, можно сказать самообучающийся для поставленной цели.
Благодаря этому каналу я начал немного разбираться в этой теме. Все доступно и понятно. Ну а дальше - время покажет.
Особо понравилось - подача материала и эмоциональное состояние автора. Так держать. Ждем продолжения. Даже спустя год от последней активности есть люди которым эта тема интересна. Тем более что все сводится к тому что за нейросетями будущее.
Привет! Классные видео, очень мало такого контента в сети, делай больше) Хочу отметить что Дарвин тренировался в Мире - где оне не вырастает больше 16 и в этот момент отбрасывает хвост. А в Чемпионате он часто дох когда становился длинным, его естественный отбор к такому не готовил. Вторая мысль - попробуй запусти Адама в мир - и среди них отбери Креационисткого Дарвина)))
Думаю, что надо дать змейке осознание самой себя. Врезаются в основном из-за того, что голова не знает где находится тело. Сразу пропадут замкнутые спирали. Дарвиновские змейки учились выживать в других условиях и сравнивать с Адамом не совсем корректно. Пробовали выпускать адамов и дарвинов в те же условия и в том же количестве в которых обучались дарвиновские? Насколько я понял у дарвиновских слабая боязнь стенок из-за большого поля при самообучении.
Мне кажется, для змеек что другая змейка, что стена - одно и то же.
Всё верно, змейка "видит" препятствие, не разделяя их на тела или стены.
Ура, новое видео
Дарвин против Адама. победил компуктер
Группа поддержки этих змеек - бомба! =)
Хороший пример, иллюстрирующий, что сети это весело, но не эффективно. На обычных ифах с помощью десятка строк кода можно добиться лучших результатов, в том числе и что бы змейка себя в тупик не загоняла.
Опять интересно! И опять мне сложно уловить все налету. Но круто! Спасибо
Удивительное видео! Спасибо! Физматы всегда умняшками были! :)
Как круто о.о
О, тришка! Я твой подписчик
Динаху 🤮🤮
Твой алгоритм хорошо подойдет для игры в качестве врага, который видит препятствия, обходит и идет за игрокам. Да, есть поиски пути, но тут же он будет как живой, а точнее как тот, кто был его учителем)
Ой. Уже был фильм про то как, в детские игрушки по ошибке вставили военные чипы, способные к обучению. Ахах. Фантасты плохие идеи подают для реализации. Без них ученые тоже догадалась бы. У нас у всех мозги все же имеют много общего в мышлении.
Стиль подачи материала - огонь!
Можно добавить "ощущение в пространстве" -- при равнозначном выборе направления двигаться в ту сторону, где меньший вес тела.
+ конечно просчитать хоть один ход вперед. Хотя бы такой: если в результате текущего хода следующий ход причинит смерть - то не двигаться туда ни в коем случае )
+ неплохо добавить несколько видов на дарвиновскую площадку. Например добавить Адама, но не изменять его,- чтобы Дарвин приспособился убивать Адамов ))))
а если Адама пустить в эволюционный процесс?
Толя Батон, он испортится, станет грешным и несовершенным.
@@user-ln5uj7wy1u ты оказался прав
@@user-ln5uj7wy1u Ахах. XD
Можно алгоритм выхода из лабиринта прикрутить, по ближайшему пути - он простой. рекурсией. на колво шагов не меньше длины змейки, сможно даже учесть длину змейки и движение соперниц. Будет мега змейка!
Было бы интересно, если бы змейки видели все поле, видели головы друг друга, обучение было бы команда на команду и мутировали бы победившие команды, ну и такую змейку запустить соревноваться с Адамом и Дарвином
можешь адам поставить в стимуляцию с мутациями как дарвина , но уже адама и он прокачается на макс посмотрим что получается (люди пролайкайте пост что бы он увидел этот комент, плиз)
"Попа превращается в голову" хахахаха
Ваши видео вызывают у меня желание тоже поэкспериментировать с генетическими алгоритмами. Спасибо)
Интересно имеет ли смысл на этом этапе внедрение полового размножения для снятия генетического груза?
А так-же добавить фактор старения. Прополз 800 клеток - смерть (последние 200 клеток замедлять червя в 2 раза). Размножение только в интервале между 200 и 400 клетками проползания. Ну и не забыть поделить на самок и самцов. А заодно почему бы не добавить разнообразия и внести "гомочервей" которые будут только хавать и умирать. А под занавес заставить родительских гетеро-червей таскать корм детям-червям не достигшим 100 ходов (которые перемещаются к примеру в 3 раза медленнее половозрелых особей).
@@happer2009 Ну ты замутил, и еще влюбляться у кого приоритет, и спариваться,
@@panda_gty Согласен. Сделать цветовую дифференциацию по RGB и чем ближе положим B тем больше шансов на спаривание. :-) Ползающий бессмертный коронавирус добавлять пока не будем ?
Статистика классная! Интересно очень!
Отличное музыкальное сопровождение
Сделай на безе игры Mini Metro игру где, будет нейросеть выбирать как соединять станции что бы получить наиболее большею выгоду, она будет как нейросеть--босс, а также есть рабочие-нейросети которые будут машинистами поездов, там будет система решать на какой станции поезду задерживаться, и на сколько будет задерживаться. И также будут нейронки-пассажиры которые должны выбрать наикратчайший путь до нужный им станции, даже если придётся выбирать путь между несколькими пересадочными пунктами. Надо будет добавить систему интервала поездов, расписание которому надо придерживаться и светофоры. Пусть ещё боссу будет поступать сигнал где показывается сколько пассажиров на станции, от чего он должен выбирать поезд. На пример есть 3 проезда разных длин и стоимости. Первый поезд самый дешёвый, но и в нём меньше мест для пассажиров и в нём хуже управление... От чего нейросети-машинисту будет сложнее ориентироваться. Сделай ещё 3D-мир в котором можно будет только следить за поездами и пассажирами, там будет можно выбирать рандомный поезд и переключать на него камеру, или на пассажира. Пусть и это будет не достаток мир - что в нём можно только наблюдать, но за то можно будет проследить за нейросетью, на пример почему некоторые нейросети-пассажиры не садятся в поезд . Ответ прост - и сразу же ответов два. 1 - Это поезд заполнен. 2 - этот поезд не едет на станцию где можно пересаживаться на другую линию (на пример так в маршруте написано) и 3 или 0 - это то что сам поезд едет по другому пути который вообще ведёт в другую сторону. Думаю что остальное ты сам можешь додумать, либо в попросить меня придумать, просто дальше я уже устал писать.
10:06 какой напряжённый бой!
(За музыку отдельный респект)
был пример в англоязычном сегменте с нейросетью, там змейка достаточно эффективно научилась не заходить в тупик, сеть была 24х6х4, многослойный перцептрон. Видела в 8-и направлениях еду, стену и себя.
Хочу предложить идею! Нужно добавить возможность поедать умерших змеек. Чтобы змейка врезавшаяся в стену, или в себя, или в тело другой змейки своей головой умирала, а ее тело оставалось на поле в качестве еды. Тогда вполне могут появиться виды в геномах. Например хищники одиночки, хищники колективисты, падальщики и просто травоядные. Но для поведения охотников нужно существенно усложнять сеть (добавить несколько слоев, реккурентность) Хотя, скорее всего, без обеспечения инвариантности восприятия окружающего пространства хороших хитрых хищников не выйдет))
Всё супер!
Я еще после прошлого видео подумал, что можно создать "адама" именно примерно так, как ты сейчас сделал, и это будет наверняка лучше "дарвина", если только дарвину не делать очень долгую эволюцию, тогда может сравняется.
Прошу, отобрази матрицы "дарвина" в сравнении с матрицами "адама" в цветографическом виде, типа как в экселе есть такое "условное форматирование" со шкалой цветов в зависимости от значений ячеек. Думаю, будет наглядно видно, где "дарвин" промахнулся =)
Осенило, пишу экспромтом, не обессудь.
1. Веса на препятствия вообще не нужны. Ибо препятствие в соседней клетке - это верная смерть, а в дальних клетках бесполезны, по такому алгоритму пожалуй не вычислить закнутую область. Нужно просто запретить змейкам ходить под себя и в стену. Это не интеллект, это инстинкт.
2. Ввести вес "свободности клетки". Алгоритм такой:
а)для каждой клетки рассчитать коэффициент А, равный кол-ву свободных клеток вокруг неё (0-8) (но скорее всего считать только в "крест", т.е. 0-4)
б)для каждой клетки рассчитать коэффициент Б, равный сумме коэффициентов А восьми клеток вокруг неё (наверно тоже только четырех клеток)
в)аналогично В, Г, Д....
г)Змейка смотрит своим челом на коэффициент Д ближайших трех клеток.
Коэффициенты коэффициентов должны быть подобраны так, чтоб самоубийства не свершилось, даже если хавка будет у самого носа.
но тут опять Адам-2 получается, т.е. матрично-линейное программирование...
Угу, я как-то решил забабахать нейросеть, начал обучать и... постепенно понял что матрично-линейное для тех целей намного эффективнее.
Ухты как интересно. Спасибо, что не поскупились на комментарий. Такие, как я, в этом плохо смыслят, но хотят хоть что-то понять.
Качественно и интересно супер спасибо класс
Всегда появляется кто-то новый более сильный. Остановитесь, животные! Ни один "геном" вечно не протянет даже в одних и тех же природных условиях, если будет появляться новый вид. Ни один вид тогда навсегда не сможет остаться, даже мутируя или эволюционируя.
Эта конструкция - тупик. Всего не предусмотришь. Я считаю, что будет больше благополучия, если все, если не помогать, то хоть лишнее и чужое брать не будут, а еще перестанут пытаться выжить других. Если беда придет, только близкие помогут. Не надо только на себя рассчитывать. Если есть возможность помогать, то помогай. Чужого не бери ни силой, ни хитростью. В идеале все бы начали брать пример друг с друга.
А так берем пример только с плохого, с войны и всяких убийц. Если своя жизнь дорога, то уважай и жизнь других. Хотя бы не порть намеренно и не ломай, не лезь, если не просят. Но нет же. Без тормозов.
Эти IT-модели тормошат похороненные переживания.
Эволюция, тоже мне. Я против.
Мне не нравится, что я тут в какой-то моральный бред ударилась.
Пожалуйста, не пропагандируйте насилие! Это бесит!
Можно использовать чётные дорожки - для движения в одном направлении и нечётные - для движения в противоположном направлении, таким образом будет оставаться "лазейка" для выхода в случае тупиковой ситуации.
Прикинул, нет не получается.
Для меня видео было очень полезно. В плане понимания, что генетический метод не панацея и даже далеко не оптимальный вариант получения AI во многих случаях.
Уважаемый автор, возможно, уже немного поздно комментировать, но я нашёл это видео только сейчас. То, как вы обучали самых первых змеек - это фактически современные методы обучения без учителя, которыми тренируют нейросетки для шахмат, старкрафта и прочих игр. Единственное отличие - там это делают автоматически следующим образом. Пока змейка жива, запоминаются все её ходы и все датчики, которые были активны на каждом ходу. Затем, если змейка подбирает еду, всем датчикам выдаётся "вознаграждение": их веса увеличиваются, а когда змейка умирает, датчики "наказываются" уменьшением весов. Можно хранить не все ходы, а лишь сколько-то последних, и чем дальше отстоит ход от текущего момента, тем меньше делать вознаграждение и наказание для его датчиков (например, для последнего хода +1, для предпоследнего +0.5, потом +0.25 и так далее). Таким образом, после множества циклов жизни змейки её мозг оптимизируется идти по пути с наибольшей наградой и наименьшим наказанием, то есть жить как можно дольше и есть как можно больше.
Кроме того, за смерть можно наказывать сильнее, чем награждать за яблоко. Например, награда +1, а наказание -10, тогда она будет стараться избегать смерти даже ценой потери яблока.
Огромное спасибо за труд !
Классный сериал. Смотрим Рэмбо-2.
9:47 - так странно, что один из сиреневых запутался и напоролся на себя.
Зелёные на фоне фиолетовых кажутся более хаотичными и медленнее собирают еду.
Какие интересные раунды! Надеюсь, они останутся только в виде моделей.
Отличный контент! Ждём не хуже)
Добавление скрытых слоев с нелинейностью позволит аппроксимировать более сложные функции, т.е. нейронка сможет научится "замечать" более сложные закономерности во входных данных. Правда, ее стоит обучить классическим методом обратного распространения ошибки (я описал примерную схему в комментарии к предыдущему видео). Но в любом случае она будет ограничена датчиками и тем, что каждое решение применяется только на основе текущей ситуации, не учитывая предыдущие. Я думаю, что стоит разделить датчик препятствия на два - датчик стены и датчик змейки. Добавить память о прошлом можно с помощью рекурентной нейронной сети (напр. LSTM).
Также можно попробовать метод, называемый обучением с подкреплением (англ. reinforcement learning). Сейчас это очень трендовый и перспективный метод. С помощью алгоритма Deep Q-learning нейронная сеть научилась играть в старые Atari-игры. Есть и более сложные методы, когда и состояние, и действия представляются не дискретным, а непрерывным множеством, но в Вашем случае, я думаю, хватит и простого Deep Q-Learning. Хороший цикл уроков на эту тему: medium.com/emergent-future/simple-reinforcement-learning-with-tensorflow-part-0-q-learning-with-tables-and-neural-networks-d1a95264329d0, перевод: habr.com/company/newprolab/blog/343834/. Тем не менее, обучение с подкреплением является весьма неустойчивым, может не сходится или требовать очень много итераций.
Чтобы змейка не заходила в тупик: когда змейка коснется головой препятствия, даже по диагонали, нужно чтобы змейка выпускала своего рода заливку из своей головы. То есть появляются 2-3 заливки. затем нужно повернуть в заливку с большей площадью. Заливка может совершатся не на весь уровень а скажем на квадрат со стороной 20
для избежания самостолкновения можно применять рекуррентную нс, например lstm
и сколько слоёв придётся делать ? )
@@nRADRUS правда, сколько?
Оценивать своё и чужое место относительно всего поля.
Создавать группы, которым присваиваются одинаковые "роли". Змейкам надо дать возможность считать много ходов вперёд и передавать информацию о запланированных ходах внутри группы. Это может привести к таким удивительным событиям, как например, организованные нападения, захват территории, контроль численности...
Можно попытаться научить змейку как можно более эффективно заполнять пространство, как мы обычно и пытаемся сделать играя в нее. Например, можно использовать способ тренировки мультика, только сделать больше препятствий и указывать ей направления, в которые желательно идти чтобы не оказаться в ловушке. Ещё, чтобы змейка правильно выбирала куда ей идти, можно сделать так, чтобы змейка высчитывала количество клеток без препятствий, в которые может добраться, и с той стороны где их было бы больше, туда она бы и шла. В этом случае она тоже может ошибиться, выбрав большое ограниченное пространство вместо узкого коридора, выход из которого лежит за пределами поля зрения, но это тоже можно исправить, если учитывать доступные клетки на границе ее поля зрения. Это змейка может начать проверять, когда препятствия находятся по углам в радиусе 1 клетки, те когда змейка может сделать роковую ошибку и пойти не в ту сторону
Круто было бы увидеть эту программу, да и как ты программируешь
Мне кажется, это видео немного разжигает)) Боюсь даже ставить лайк)
В таком случае смотреть также не стоило
Тут скорее оскорбление чувств атеистов. За это нет статьи, можешь смело ставить лайк ;)
Поставил, спасибо!) Мой - 348-й, если что, - вы уж берегите его)
Сделай не случайную еду, а конечное количество, и умирающая змейка даёт не препятствие, а еду на некотором расстоянии. Также можно регулировать выход еды от умирающих змеек и из вне, по сезонам. Летом больше еды зимой меньше, и посмотреть как в такой ситуации сработает естественный отбор
Чтобы не загонять себя в тупик, нужно научить змеек определять замкнутый контур и точку выхода из него.
Если голова находится в замкнутом контуре с точкой выхода, то точка выхода должна становится приоритетной целью.
Если голова находится в 1 клетке от замкнутого контура, то нужно сменить направление на клетку вне этого контура.
Если голова находится в замкнутом контур без точки выхода, то нужен дополнительный бит состояния (0 - свободен / 1 - заперт). Если 1, то приоритетной целью становится поиск точка выхода, а не еда.
Разумеется всё это проверяется только в обозримой области.
Спасибо Вам, за Ваше видео, очень интересно и позновательно!
Первое правило чемпионата змеек - никому не рассказывай о чемпионате змеек, второе правило чемпионата змеек - никогда никому не рассказывай о чемпионате змеек, третье правило чемпионата змеек - в схватке участвуют только две команды... ))
мое видение решения проблемы самоубийства змейки: тело змейки - препятствие с разными весами, чем ближе сегмент к хвосту, тем меньше его вес, таким образом если змейка окружена самой собой с нескольких сторон, она с большей вероятностью повернет к хвосту, который к моменту гипотетического столкновения уже сдвинется
я делал змейку которая не врезается, и даже их может быть большое количество. Принцип рассчитать ходы на перед на столько сколько сама змейка. Если расчет расчет попадает в тупик. Расчет происходит заново. Даже если выбраться из лабиринта нужно 1000 попыток, для пк это микросекунды.
Я раньше и не думал, что такие штуки можно с помощью программирования сделать)
Я тоже :) чудо технологий!
Что касается конкретно данной задачи, то думаю надо расширить объем памяти "мозга" - увеличить дальность видения змейки (хуже точно не будет). И возможно добавить способность различать стены и змей и себя еще отдельно. Так можно отдавать предпочтение тому яблоку где меньше народу крутится.
Ну я реально ничего не понимаю, очень прикольно. Анимация огонь 🔥
Очень!!! Интересное видео, совершенно интересное направление, Автор ты только не оставь это
13:18 Еще на первом видео подумал, почему так спокойно меняется поле, ведь оно является основополагающей составляющей весов для такого интеллекта, иначе их вычисленные значение перенесены на иную карту нивелируется. Ну или если не вносить веса в анализ всей карты игры, на которой учтены другие
игроки, или хотя бы что бы змейка имела весы на собственное ощущение тела и своего пространственного положения, что бы иметь возможно корректировать или планировать свои хода исходя из ее окружения
13:19 эпичный звук умирающий змейки)))
Примени к Адаму естественный отбор. Видео суперкрутое.
8:12 а если бы ты всегда поворачивал угол обзора вместе с головой змейки (как в первой серии), т.е. оставил только влево/вправо/вперёд, то осталось бы 3 значения. А если ещё смещать все числа так, чтобы "вперёд" было всегда 0 (как сейчас ты и сказал), то хранить можно уже 2 значения. Таким образом, можно:
1) исключить возможность мгновенного самоубийства;
2) хранить ещё на одно число меньше.
Таким образом, мы храним уже не 4 (как изначально), не 3 (как ты сказал), а уже 2 числа.
Очень залипательно и интересно)))
вау, ты реально нереально крут
Тебя бы в президенты, порядок в стране навести))))
Вообще как вариант можно в генетическом алгоритме делать некоторое минимальное количество особей, начиная с которого они становятся бессмертными, но чаще мутируют. Допустим 20 особей бессмертны. Вместо смерти, змейка укорачивается до 4 пикселей и мутирует, отключается временно штраф за голод. Вероятно рано или поздно в такой среде начнут появляться успешные особи, которые будут живучими, независимо от костыля, и самим фактом своего существования вызывать вымирание наиболее неприспособленных.
Дарвин не написал в консоль: "оО Какого хрена хвост не отваливается??"
У ютюба странные алгоритмы рекомендаций. То рекомендует идиотские видосы ранга "Режем раскаленным ножом говно" или "Укуси/лизни челлендж", то вот такую годноту. Видимо тоже боты неоптимизированы. Подписался.
Здравствуйте, а вы не могли бы сделать видео с полным разбором кода?
Чтобы бы не было проблем по поводу ЯП, предлагаю псевдокод?
Надеюсь на вашу отзывчивость :D
Опа нна
опа нна
Нанананнананананнананананан
Спасибо за отличное видео!
я хуею
проводить турниры собственно выведенных видов "животных" на компе
достойно больше,чем заслужий пьюдипай и Т-сериис
Настоящая эволюция это прикольно, но даже здесь не эффективна, если веса устанавливаемые человеком оказываются круче эволюционированных. Вообще тут следовало дать змеям перебор на определенную глубину, чтоб они хотя бы в себя не закручивались. Либо обучить настоящую нейронку, на вход которой подавать заданную видимую область, в нее навешать сверток, а на 4 выхода вероятности направлений.
нужно усовершенствовать сеть. ввести длину змеи. режим голода включать, чтоб не сильно длинная была. нужно придерживаться оптимальной длины, чтоб не сдохла, пока ищет похавать, но и чтобы длинный шланг не вырос. а то когда у змеи вырастает длинный шланг...)) ...не все могут справиться со своим длинным шлангом))
Ахха, я в восторге!
Как вариант позволить змейке иметь выбор куда повернуть. Скажем, если веса определились как [1,2,3,4], то есть 1 шанс из десяти, что змейка повернет в первом направлении, 2/(1+2+3+4) во втором и т.д.
По поводу 'попасть в ловушку'. Для этого как минимум нужно менять площадь обзора в сторону увеличения.
По поводу естественного отбора. Стоит следить какая из змеек наиболее часто подбирает еду и размножать именно ее, так как в чемпионате залог победы это именно скорость поедания
"..Стоит следить какая из змеек наиболее часто подбирает еду и размножать именно ее, .."
Получиться как раз классический генетический алгоритм.
Запускаем кучку змеек. Фитнес-функция отбирает лучших по какому-нибудь параметру.
Всё останавливаем. Создаём на основе отобранных змеек новое поколение. И опять запускаем по кругу.
Благодарствую за обновление код к обучению эволюцией. Чуток переделал и получаю быстрый рост численности:
В файле 00_ga_main:
view=1
again:
//view=1 //-1
т.е. вынес за цикл, чтобы каждый раз после гуфа всех змеек отключенная анимация не включалась. Если рестарт долго не происходит - можно включить анимацию - будет куча жрущих тварей.
Чуть ниже добавил два настроечных параметра
mutation_force=5 //сила мутации
mutation_rate=2 //частота мутаций
Чуть изменил исходные значения
FEED = 10000//140 // еды на поле
ENERGY=50//24 // шагов даётся на поиск еды
В файле ga_step вставил добавленные параметры:
$SS=mod(rand(),mutation_rate) // генерируем случайное число от 0 до 3
{ snake[$SSS,$newSN*2] = snake[$SSS,$newSN*2] + mod(rand(),2*mutation_force+1)-mutation_force } // на случайное число от -5 до 5
snake[$SSS,$newSN*2+1] = snake[$SSS,$newSN*2+1] + mod(rand(),2*mutation_force+1)-mutation_force
Вроде больше ничего не менял.
з.ы. Этот язык ппц неудобный. Я нашёл как загружать txt файл, но читается он настолько криво. Почему-то читает только первую строку.
Я даже придумал выгружать веса НС через картинку. Мадкад умеет делать bmp файлы из матрицы в оттенках серого. Точность получается не очень, но терпимо. А Pixilang не умеет загружать bmp!!! Умеет jpeg, но при конвертировании в Pixilang вижу какие-то левые цифры. Морока жуткая. А через код вводить таблицу - не по феншую.
Ещё в файле 00_ga_main:
if step_count0==1000
{
step_count0=0
step_count1=step_count1+1
//отображение поля при достижении 999 шага
paintField()
frame()
Не очень, что еда спавнится плотными рядами. Сделал чуток разряжение:
if field[$x,$y] == EMPTY
{
if (field[$x-1,$y] == EMPTY && field[$x,$y-1] == EMPTY)||
(field[$x+1,$y] == EMPTY && field[$x,$y+1] == EMPTY)
{
field[$x,$y] = FOOD
Хотябы один дарвин в любом раунде с мультиком обязательно отправлялся отдыхать
Чтоб змейка не заводила себя в тупик, она должна видеть на два шага вперёд.
Вот ты читер Сам создал , сам сломал)
2:08 понимаю, пытался последние пару дней сделать свой проект с эволюцией, там тоже рандомные веса не выживали или тупили
Есть одна мысль как исправить возможность фотальнной ошибки с учётом радиуса обзора. Одной из первых моих задач в ходе обучения программированию была "раскраска" или как ещё называют "заливка". После выставления значений можно производить так раз эту раскраску в качестве первого элемента брать каждый из 3 возможных направлений и если раскраска имеет границы, то меньшать данное направление на какой-то коэффициент. Если применишь данный алгоритм к своей змейка, то это должно модифицировать ее. Буду рад ещё помочь.
Если добавить 3-е измерение и погонять программу подольше, получится не мультик - пультик, а Агент Смит, и замучает автора, как Морфиуса. Вы балуйтесь аккуратнее, Нео просил передать.
13:19 мне нужна 10 часовая версия
Двенадцать безмозглых змеек поставили дизлайки.
Столько же змеек поставили лайк твоему комменту, а может это они🤔😁😁
уже 25 гулых "змейки", а по факту не понявших школьников, поставили дизлайки
о нет!, они размножаются и ставять дизлайки, следую по стопам своих пердков))
очень надеюсь что тупым быть эволюционно не выгодно чтоб они все померли без потомства и дизлайков
Теперь все встало на свои места, а то я по первому видео был в недоумении - как криво настроенный фильтр (обучение) может эффективно работать на поле еды. Адам показывает, что тут не нужны никакие хитрые веса - от головы змеи сделай градиентное уменьшение значений для еды, а для препятствий достаточно только одного "слоя" вокруг головы. Сейчас Адама ты сделал близоруким по еде и при этом относительно дальнозорким по препятствиям, а нужно наоборот - избегать только препятствия которые перед носом, а еду видеть всю на максимальную дальность с весами пропорциональными затрачиваемой энергии.
Во время эволюции нужно каждое следующее поколение окрашивать в иной цвет.
Будет нагляднее и залипательнее.
Спасибо.
Это надо отправить Александру Маркову с биол. факультета МГУ )) заценит
Мужик ты голова!
интересно было бы посмотреть на это в трёхмерном измерении)
Можно было начинать эволюцию не со случайных мутаций, а с Адама. Тогда получилось бы эффективней.
Райан Купер да было бы интересно превзойти адама
@@artemk6096 Не превзошел бы, так как у Адама максимально возможно эффективный алгоритм
А что если сделать прогнозирование перед очередным ходом на основе анализа имеющихся данных. Например, змейка определилась с ходом на основе данных с датчиков. Далее, мы кэшируем данные с датчиков(только по препятствиям, еду ингорируем) в той области, которую видит змейка на данный момент. Создаем как бы новый мир, ограниченный этим закэшированным полем, по которому и будет перемещаться наша виртуальная змейка с первым ходом, который мы рассматриваем как приоритетный. Дадее смотрим. Если после i-хода(ограниченного размером поля) змейка умерла - значит изначальный ход неверный и нужно проанализировать 3 других направления на предмет выживания. Если змейка упирается в край кэша, но при этом там нет стены, т.е. уходит с локации выжившей, изначальный ход принимается как правильный. В случае смертей по всем 4-м направлениям из точки начала - выбирать то, где больше всего ходов. Понятное дело возрастут расчетные нагрузки, однако так мы избежим нелепых смертей от среднесрочной слепоты.
Спасибо)
Буду ждать след видео и пытаться повторить что увидел
Как же охеренно интересно!
С этими турнирами, ну просто интриган! а ты не учитель часом?)
Пили видосы больше!))
Ну и на будущее, может быть поработаешь со своей дикцией? Ты достоин миллионов подписчиков!
Дикция хорошая. Наш преподаватель информатики точно также разговаривал.
Спасибо за видео очень интересно и полезно
Спасибо
Соревнования змеек круче чем наш футбол