Танцующая змейка игрушка как работает

Обновлено: 06.05.2024

Мне её посоветовала подруга. Я как-то не обращала внимания. Но подруга удивилась, как так?! Я часто хожу в этот магазин и до сих пор не купила эту игру, в которую её семья играет уже целую неделю и которая стала очень популярной у всех кого она знает. (?)

Купила . В очереди к кассе заметила еще двух девчушек, лет 13-14 с этой игрой. Стоимость 199 рублей . На коробке правила:

В коробке были картонные листы, из которых следовало соорудить конструкцию. И инструкция для сборки:

Картон достаточно качественный. НО! это всего лишь картон. Поэтому лучше собрать конструкцию вместе с ребенком. Если неаккуратно согнуть ребра, то устойчивость и функционал немного пострадают.

В принципе, собирается легко. Все логично. Но минут 30-40 на это понадобится.

Помните, в СССР были такие игры-ходилки в коробках с фишками и кубиком для отсчета ходов? По-сути это тоже самое. Кидаешь кубики и ходишь. Но модернизировано и больше интриги . Диаметр отверстий меньше чем у шарика и он стоит в лунке. Но если шарик попадает на квадрат с отверстием бОльшего диаметра, то он проваливается и может оказаться где угодно, как в начале игры, так и на квадрате с лестницей и тогда можно оказаться выше уровнем. Цель - первым оказаться на верху, на ячейке с номером 100.

Знаете, увлекает. Даже если не хочешь играть, то вовлекаешься и начинаешь получать удовольствие от игры, а ГЛАВНОЕ - от интересного общения.

Недостатки: 1)картон он есть картон, надо стараться не смять конструкцию при сборке.

2)Шарик, при падении в лунку иногда попадает не в нужную ячейку, а выкатывается из конструкции. В этом случае надо шарик снова опустить в эту же лунку, ибо довольно сложно просчитать где он должен был оказаться. НО! опустить аккуратно, потихоньку.

Достоинства: игра яркая, увлекательная. Подойдет как для игры с детьми, так и для игры подростков и даже взрослых. БЕСЦЕННО - время проведенное с детьми и полные счастья глаза детей, от того что родители (родитель, бабушка, дедушка, брат, сестра. ) играют с ним и ИМ НРАВИТСЯ. Это время БЕЗ Интернета. Живое общение, при котором не скучно - что может быть лучше?!

Ну и ещё, подобные игры в других магазинах стоят гораздо дороже, чем в Фикс Прайс:

В отличие от кубика, змейка-головоломка Рубика позволяет каждый раз создавать новую фигурку. Мало кто знает, но их существует уже более сотни. И постоянно появляются новые схемы того, какие фигуры из змейки реально можно создать.

Стандартная головоломка имеет 24 части. Но существуют и более длинные варианты, например, с 36 или 48 детальками.

Модели, которые из нее создаются, делятся на двухмерные и трехмерные. Часть из них довольно проста, особенно из первой группы. С ней справятся даже младшие школьники. Но есть фигуры, над которыми поломает голову даже человек, имеющий опыт в ее сборке.

Интересно, что в общем смысле назвать ее головоломкой нельзя. Потому что она, скорее, конструктор, который нужно собрать по заранее продуманному плану. Или придумать что-то свое, особенное. А потом научить этому других.

Такая головоломка Рубика помогает развивать пространственное воображение и творческие способности. Она окажется неоспоримым помощником в формировании логики у того, кто ее собирает.

Как читать схемы по сборке фигур?

Для начала нужно правильно расположить змейку. Ее исходное положение таково: все части образуют прямую линию. Если посмотреть на нее сбоку, то темные треугольники оказываются снизу. Соответственно, светлые — сверху.

Все темные треугольники нумеруются от 1 до 12. Слева направо, естественно. Эти темные части в процессе сборки фигуры из змейки остаются неподвижными. Вращаться будут светлые детали. С этой цифры и будет начинаться очередной пункт инструкции по сборке фигуры из змейки.

Если нужен поворот того треугольника, который находится слева, то в инструкции будет стоять буква «Л». Правая деталь вращается, если присутствует буква «П».

Число поворотов ограничивается цифрой 3. Поскольку четвертый вернет деталь в исходное положение. Количество поворотов стоит после буквы, указывающей левую или правую часть. Движение осуществляется по часовой стрелке.

Таким образом, каждая часть инструкции по сборке фигуры из змейки Рубика образуется из трех составляющих:

номер треугольника (1-12);
сторона поворота (Л или П);
число поворотов (1-3).

Например, 10Л1. Она говорит, что повернуть нужно светлый треугольник слева от 10 темного один раз.

Помня это правило, легко собрать любую фигуру. И даже написать свой алгоритм, если придумать что-то особенное. И он будет понятен всем. Для того чтобы технология сборки была понятна иностранцам, принято заменять русские буквы Л и П на латинские L и R.

Фигура под названием «Лук»

Эта игра - змейка-головоломка. Фигуры порой имеют название, которое не совсем понятно, откуда появилось. Так и с этой. Многим она, скорее, напоминает цветок. Алгоритм сборки состоит из таких действий:

1П3; 2Л1; 2П3; 3Л3; 4П1; 4Л3; 3П3; 5Л3; 5П3; 6Л1; 6П3; 9Л3; 8П1; 8Л3; 7П3; 7Л3; 9П3; 10Л1; 12П1; 12Л3; 11П3; 11Л3; 10П3.

правая от первой поворачивается 3 раза;
левая от 2-й — 1 раз;
от нее же правая — 3;
правая от 3-й — 3 раза;
1 поворот правой от 4-й;
от нее же левая — 3;
возврат к третьей и поворот правой на 3;
около пятой сначала левая на 3, а потом и правая тоже на 3;
от шестой вращаются — левая на 1, правая на 3;
возле девятой левый треугольник повернуть 3 раза;
около восьмой правая 1 раз, а левая делает 3 поворота;
от седьмой симметрично слева и справа по 3;
у десятой слева один поворот;
возле двенадцатой вращаются правая 1 раз и левая 3;
от одиннадцатой опять симметрия слева и справа по 3 поворота;
правая часть от 10-й делает 3 поворота.

Далее таких подробных объяснений не будет.

Инструкция для фигурки «Жираф»

Еще одна трехмерная модель. На этот раз животное. Как и предыдущую фигурку, его можно оценить со всех ракурсов. Алгоритм для сборки модели:

2П1; 3Л3; 3П1; 4П3; 5Л3; 4Л2; 6Л3; 6П3; 8П1; 8Л3; 7П1; 7Л2; 12П2.

Как сделать из змейки компактный треугольник?

Настал черед фигур, которые обозначают неодушевленные предметы. Один из примеров - это объемная треугольная призма. Для ее создания пригодится такая инструкция:

1П3; 3Л2; 4П3; 3П2; 5П1; 5Л2; 6П3; 7Л2; 7П3; 6Л2; 8П1; 8Л2; 9П3; 11Л2; 12П1; 9Л2.

Как сделать шар?

Это самая известная фигура из этой головоломки. Алгоритм ее создания такой:

1П1; 2Л3; 2П3; 3Л1; 3П1; 4Л1; 4П1; 5Л3; 5П3; 12П3; 12Л3; 11П3; 11Л3; 10П1; 10Л1; 9П1; 9Л1; 8П3; 8Л3; 7П1; 6П3; 6Л3; 7Л1.

Один из множества вариантов жгутов

Всевозможных плетений существует большое количество. Этот пример сильно напоминает толстую косичку. Для того чтобы его сплести потребуется выполнить такую последовательность поворотов:

1П3; 2Л1; 2П3; 3Л1; 3П3; 4Л1; 4П3; 5Л1; 5П3; 6Л1; 7Л1; 7П1; 8Л3; 8П1; 9Л3; 9П1; 10Л3; 10П1; 11Л3; 11П1; 12Л3; 12П3; 6П1.

Фигурка «Утка»

Большая часть всех предметов, которые можно сделать из головоломки — это животные и птицы или транспорт. Этот пример фигуры из змейки, которая напоминает уточку. Ее алгоритм:

1П2; 3П1; 4П1; 6Л1; 8П1; 7Л3; 6П2; 9П3; 9Л2; 11Л3; 12Л3.

Как собрать фигуру «Страус»?

Еще одна птичка, для создания которой потребуется змейка (фигуры). Инструкция по его сборке:

1П2; 3Л1; 2П2; 3П3; 4Л1; 4П1; 5Л1; 6Л3; 5П1; 6П3; 7Л3; 8Л1; 7П3; 8П1; 9Л2; 10Л2; 12П2.

Его даже можно поставить и рассматривать со всех сторон. Настоящая трехмерная модель.

Модель для романтиков «Сердце»

Позволит выразить свои чувства без слов. Чем не валентинка на день влюбленных? И алгоритм довольно простой, по крайней мере, короткий:

7Л2; 9П1; 4П3; 3П3; 10П1; 12Л2; 2Л2.

В качестве заключения

После создания нескольких фигур по заранее продуманному алгоритму обязательно захочется создать что-то свое. Возможно, оно уже было когда-то кем-то придумано. Но для того, кто до этого додумался сам, модель будет самым настоящим открытием. А что может быть большим стимулом к развитию?

Сегодня очень популярна игрушка пушистик Байла, инструкция к которой считается секретной, хотя никакой тайны давно не существует. Это очередной раз доказывает истинность тезиса о том, что все гениальное — просто. Маленькая змейка кажется живой в умелых руках продавцов-демонстраторов, поэтому те, кто впервые видит этот фокус, бывают удивлены и поражены милым шустрым зверьком.

Что это за чудо такое?

Подвижного червячка производят в Китае, и он уже не является новинкой на рынке игрушек. В США эта забава продается под именем Magic Worm с 2005 года. А в 2012 году и в нашей стране стал активно рекламироваться пушистик Байла (РФ). Инструкция по применению преподносится продавцами как тайна, постичь которую смогут лишь купившие игрушку. Точки продажи змейки, на которых продавцы демонстрируют удивительно подвижного и послушного зверька, всегда окружены восхищенными зрителями. На все их вопросы хитрые рекламщики неизменно отвечают, что только своему хозяину раскроет секрет пушистик Байла, инструкция к которому находится внутри упаковки. Так что же это на самом деле: обыкновенный развод или чудо-игрушка?

В чем секрет подвижности забавной игрушки

Рекламщики утверждают, что пушистик Байла способен:

проползать между пальцами;
прыгать с ладони на ладонь;
пользоваться карандашом как турником;
вертеться в прозрачном бокале;
демонстрировать эмоции, например пугаться и радоваться, целовать своего хозяина.

И все же пушистик Байла как работает? Инструкция подсказывает, что на самом деле все это делается с помощью нити, привязанной к пуговице фокусника. Достаточно немного потренироваться для того, чтобы оживить волшебного червячка.

Из чего сделана змейка

Материалы, которые используются в производстве: полиэстер и нейлон (туловище зверька и нитка или леска), бумага, пластик — вот и весь пушистик Байла (РФ). Инструкция в комплекте дает понимание того, что все фокусы основываются на простом натяжении невидимой нити, длину которой можно отрегулировать так, чтобы было удобно выполнять любые трюки. Оптимальной считается длина, равная расстоянию от локтя до кончиков пальцев человека. Чтобы виртуозно двигаться, прыгать и вертеться, пушистику не требуется механизмов и батареек.

Пластиковые глазки и кончик лески могут быстро оторваться. Рекомендуется сразу приклеить эти элементы. Цвет игрушки можно подобрать на любой вкус. В продаже есть несколько ярких расцветок: желтый Байла, оранжевый, голубой, синий и зеленый. Пластиковые глазки при исполнении фокусов смешно скользят по кругу.

В сети можно встретить жалобы на качество игрушки. Токсичные материалы, которые использовали в создании пушистика недобросовестные производители, привели к появлению аллергии у детей. Поэтому, делая покупку в магазине или заказ в интернете, стоит убедиться, что продавец предлагает оригинальную игрушку, а не дешевую подделку.

Где купить и сколько стоит

Нужна ли игрушка детям

Поможет ли детям легко понять, как играть с пушистиком Байла, инструкция? Надо честно сказать, что родителям будет необходимо на пару с малышом просмотреть видеоруководство и мастер-классы, а после этого совместно учиться фокусам, которые сделают змейку подвижной и занимательной. Если набраться терпения, то результат оправдает ожидания, а восторгу и гордости ребенка не будет предела. В будущем он сможет демонстрировать свое умение не только дома, но также похвалится виртуозным управлением милой игрушкой в детском саду, в школе и перед своими друзьями во дворе. Проявив находчивость, реально устраивать веселые соревнования между детьми, победителями которых станут обладатели самых послушных и артистичных змеек.

Кроме этого, пушистик Байла оказывает положительное влияние на развитие детей:

формирует мелкую моторику;
способствует социализации, потому что тем, кто освоил все манипуляции, неминуемо грозит бешеная популярность;
развивает воображение и фантазию малыша в процессе изобретения новых фокусов.

Родители вместе с детьми могут сочинить волшебную историю о Байла и его родном племени пушистиков, которые живут на затерянном острове, находящемся в Тихом океане. Развлекаясь с игрушкой, ребенок будет разыгрывать эту сказку, придумывая новые приключения со своим подвижным другом в главной роли.

Трудно ли научиться управлять пушистой змейкой

На первый взгляд кажется, что управление змейкой — чрезвычайно сложный процесс. Искусство управления требует постепенного совершенствования простейших манипуляций руками и невидимой леской или ниткой. Секрет пушистика в том, что он двигается только вместе с хозяином, от скорости и ловкости рук которого зависит успех трюков. Не стоит расстраиваться, если после нескольких попыток так и не удалось научиться красиво исполнять фокусы, ведь профессионалы месяцами тренировались, оттачивая свое мастерство. Необходимо запастись терпением и продолжать уроки. Успех зависит от того, насколько велико желание научиться быстро и виртуозно управляться с игрушкой. Если очень хочется добиться мастерства и стать выдающимся фокусником, то эта игрушка способна дать толчок к исполнению мечты.

Как двигается пушистик Байла. Инструкция по применению

Итак, один конец лески привязан к поясу фокусника, а другой закреплен на кончике носика Байла. Чтобы создать иллюзию того, что змейка двигается к своему хозяину, надо:

Расположить руки перед собой так, чтобы леска находилась на ладонях.
Перебирать руками, попеременно переставляя их одну перед другой.

Взять Пушистика за носик и расположить его так, чтобы его мордочка свисала из сжатой ладони.
При движении руки вперед Байла уползает в ладонь, создавая впечатление, что он убегает и прячется, стесняясь зрителей.

Игрушка прыгает из бокала в бокал:

Поместить Байла в прозрачный бокал.
Расположить бокалы так, чтобы один находился немного выше другого.
Попеременно поднимать вверх то одну, то другую емкость. За счет натяжения нити Пушистик прыгает из бокала в бокал.

Отзывы покупателей

Главное условие — правильно учесть возраст ребенка. Детали игрушки довольно мелкие и не подходят для игры детям младше четырех лет. Хотя это общеизвестно, однако именно маленькие дети с таким восторгом и любопытством относятся к моделям Байла. Детям школьного возраста уже нет необходимости объяснять на пальцах, из чего сделан пушистик Байла, как работает инструкция. Основные претензии покупателей:

ребенок не проявил интереса;
игрушка слишком быстро надоела;
сложно обучиться фокусам;
исключена самостоятельная игра, родителям приходится обучать всем фокусам малыша;
никого, кроме кошки, не заинтересовала.

Игрушка слишком проста, хотя искусно проделываемые фокусы с ней выглядят волшебством и имеют огромный успех, поэтому тем, у кого стал ручным пушистик Байла, инструкция оказалась ясна и понятна. Они отмечают:

ребенок увлечен игрушкой, снова и снова отрабатывает разученные фокусы;
вся семья заразилась освоением забавы с магической змейкой;
волшебство подвижного Байла вносит разнообразие, ребенок увлечен им и забыл об играх на компьютере.

Пушистик Байла может стать любимой игрушкой всей семьи. За причудливыми движениями червячка с удовольствием часами наблюдают не только маленькие дети и коты, но и взрослые люди. Терпение, внимание и фантазия помогут любому желающему стать настоящим дрессировщиком яркого игрушечного зверька и развлекать родных и друзей своим искусством на досуге.

Танцующая змея – символ Индии, а также Египта и некоторых других африканских стран. Здесь нередко можно увидеть, как кларнет заклинателя завораживает опасную рептилию своей гипнотической мелодией.

Такое необычное представление очень увлекает туристов. Однако, данное животное широко известно своенравным и неукротимым характером. Что же заставляет змей подчиняться звукам флейты, иными словами танцевать?

Глухой танцор

Змеи от природы слабослышащие . Музыка и речь им недоступны по причине отсутствия у них наружного уха. По сути, они могут различать лишь колебания воздуха, производимые звуками инструмента.

Также змеи реагируют на постукивания факира, когда тот пытается извлечь ее из корзины. Ей доступны и низкочастотные звуковые волны. Но они точно не в состоянии оценить, насколько хорошо играет на дудке их хозяин.

И уж тем более рептилия не способна двигаться под ритм издаваемой мелодии. Другими словами, к музыкальному искусству это животное совершенно безразлично.

Почему же змея все-таки показывается из корзины и даже порой “танцует”? Может в этом есть заслуга ее дрессировщиков?

Талантливые дрессировщики змей?

Наиболее часто заклинатели в своем представлении используют кобр. Но это не потому что они лучше всего поддаются дрессировке. Скорее, змеи вообще не способны к такого рода учениям .

Хотя змея может привыкнуть к близости человека и со временем позволит брать себя и кормить с рук, по натуре она остается такой же дикой . Единственная дрессировка, к которой прибегают недобросовестные факиры – это удары змеи кларнетом.

В результате таких действий змея начинает бояться инструмента. Поэтому во время представления она будет всячески стараться увернуться от него, чем создаст иллюзию танца. Так почему же факиры больше всего предпочитают кобр?

Опасный танец

Со зрением у змей тоже не все хорошо. И потому, даже если факир не прибегает к издевательствам, змея может инстинктивно бояться “палки” в руке человека.

Таким образом, весь воображаемый “танец” змеи под звуки флейты – не что иное, как проявление ее инстинктов самосохранения. Она демонстрирует свою готовность напасть на обидчика и потому уклоняется и извивается всем телом.

Именно по этой причине заклинатели так часто используют кобр в своих представлениях. Помимо зрелищного капюшона, которая та раздувает для устрашения врага, кобра имеет еще одну важную особенность. В отличие от других змей, она не нападает сразу. Потому зрелище выглядит эффектно.

Напоследок стоит отметить, что жизнь заклинателей не находится под угрозой, чего нельзя сказать о рептилиях. Факиры заранее выпускают весь яд, а также удаляют у ядовитых змей зубы.

Рассказываем о нейросети, которая применяет глубокое обучение и обучение с подкреплением, чтобы играть в Змейку. Код на Github, разбор ошибок, демонстрации игры искусственного интеллекта и эксперименты над ним вы найдете под катом.

С тех пор, как я посмотрела документальный фильм Netflix об AlphaGo, я была очарована обучением с подкреплением. Такое обучение сравнимо с человеческим: вы видите что-то, делаете что-то и у ваших действий есть последствия. Хорошие или не очень. Вы учитесь на последствиях и корректируете действия. У обучения с подкреплением множество приложений: автономное вождение, робототехника, торговля, игры. Если обучение с подкреплением вам знакомо, пропустите следующие два раздела.

Обучение с подкреплением

Принцип простой. Агент учится через взаимодействие со средой. Он выбирает действие и получает отклик от среды в виде состояний (или наблюдений) и наград. Этот цикл продолжается постоянно или до состояния прерывания. Затем наступает новый эпизод. Схематично это выглядит так:

Цель агента — получить максимум наград за эпизод. Вначале обучения агент исследует среду: пробует разные действия в одном и том же состоянии. С течением обучения агент исследует всё меньше. Вместо этого он, основываясь на собственном опыте, выбирает действие, приносящее наибольшую награду.

Глубокое обучение с подкреплением

Глубокое обучение использует нейронные сети, чтобы из входных данных получать выходные. Всего один скрытый слой — и глубокое обучение может приближать любую функцию. Как это работает? Нейронная сеть — это слои с узлами. Первый слой — это слой входных данных. Скрытый второй слой преобразует данные с помощью весов и функции активации. Последний слой — это слой прогноза.

Как следует из названия, глубокое обучение с подкреплением — это комбинация глубокого обучения и обучения с подкреплением. Агент учится прогнозировать лучшее действие для данного состояния, используя состояния как входные данные, значения для действий как выходные данные и награды для настройки весов в правильном направлении. Давайте напишем Змейку с применением глубокого обучения с подкреплением.

Определяем действия, награды и состояния

Чтобы подготовить игру для агента, формализуем проблему. Определить действия просто. Агент может выбирать направление: вверх, вправо, вниз или влево. Награды и состояние пространства немного сложнее. Есть много решений и одно будет работать лучше, а другое хуже. Одно из них опишу ниже и давайте попробуем его.

Если Змейка подбирает яблоко, ее награда 10 баллов. Если Змейка умирает, отнимаем от награды 100 баллов. Чтобы помочь агенту, добавляем 1 балл, когда Змейка проходит близко к яблоку и отнимаем один балл, когда Змейка удаляется от яблока.

У состояния много вариантов. Можно взять координаты Змейки и яблока или направления к яблоку. Важно добавить расположение препятствий, то есть стен и тела Змейки, чтобы агент учился выживать. Ниже резюме действий, состояний и наград. Позже мы увидим, как корректировка состояния влияет на производительность.

Создаем среду и агента

Добавляя методы в программу Змейки, мы создаём среду обучения с подкреплением. Методы будут такими: reset(self) , step(self, action) и get_state(self) . Кроме того, нужно рассчитывать награду на каждом шаге агента. Посмотрите на run_game(self) .

Агент работает с сетью Deep Q, чтобы найти лучшие действия. Параметры модели ниже:

Если интересно посмотреть на код, вы найдёте его на GitHub.

Агент играет в Змейку

А теперь — ключевой вопрос! Научится ли агент играть? Понаблюдаем, как он взаимодействует со средой. Ниже первые игры. Агент ничего не понимает:

Первое яблоко! Но по-прежнему выглядит так, будто нейросеть не знает, что делает.

Находит первое яблоко… и чуть позже ударяется о стену. Начало четырнадцатой игры:

Агент учится: его путь к яблоку не самый короткий, но он находит яблоко. Ниже тридцатая игра:

После всего 30 игр Змейка избегает столкновений с самой собой и находит быстрый путь к яблоку.

Поиграем с пространством

Может быть, возможно изменить пространство состояний и достичь похожей или лучшей производительности. Ниже возможные варианты.

Без направлений: не сообщать агенту направления, в которых движется Змейка.
Состояние с координатами: замени положение яблока (вверх, вправо, вниз и / или влево) координатами яблока (x, y) и змеи (x, y). Значения координат находятся на шкале от 0 до 1.
Состояние «направление 0 или 1».
Состояние «только стены»: сообщает только о том, есть ли стена. Но не о том, где находится тело: внизу, наверху, справа или слева.

Ниже графики производительности разных состояний:

Найдем пространство, ускоряющее обучение. График показывает средние достижения последних 12 игр с разными состояниями.

Понятно, что когда пространство состояний имеет направления, агент учится быстро, достигая наилучших результатов. Но пространство с координатами лучше. Может быть, можно достичь лучших результатов, дольше тренируя сеть. Причиной медленного обучения может быть число возможных состояний: 20⁴*2⁴*4 = 1,024,000. Поле 20 на 20, 64 варианта для препятствий и 4 варианта текущего направления. Для исходного пространства вариантов 3²*2⁴*4 = 576. Это более чем в 1700 раз меньше, чем 1,024,000 и, конечно, влияет на обучение.

Поиграем с наградами

Есть ли лучшая внутренняя логика награждения? Напоминаю, Змейка награждается так:

Первая ошибка. Хождение по кругу

Что, если изменить -1 на +1? Это может замедлить обучение, но в конце концов Змейка не умирает. И это очень важно для игры. Агент быстро учится избегать смерти.

На одном временном отрезке агент получает один балл за выживание.

Вторая ошибка. Удар о стену

Изменим количество баллов за прохождение около яблока на -1. Награду за само яблоко установим в 100 баллов. Что произойдет? Агент получает штраф за каждое движение, поэтому двигается к яблоку максимально быстро. Так может случиться, но есть и другой вариант.

ИИ проходит по ближайшей стене, чтобы минимизировать потери.

Нужно только 30 игр. Секрет искусственного интеллекта — опыт предыдущих игр, который учитывается, чтобы нейросеть училась быстрее. На каждом обычном шаге выполняется ряд шагов переигрывания (параметр batch_size ). Это так хорошо работает потому, что для данной пары действия и состояния разница в награде и следующем состоянии небольшая.

Ошибка №3. Нет опыта

Опыт действительно так важен? Давайте уберём его. И возьмём награду за яблоко в 100 баллов. Ниже агент без опыта, сыгравший 2500 игр.

Хотя агент сыграл 2500 (!) игр, в змейку он не играет. Игра быстро заканчивается. Иначе 10 000 игр заняли бы дни. После 3000 игру у нас только 3 яблока. После 10 000 игр яблок по-прежнему 3. Это удача или результат обучения?

Действительно, опыт очень помогает. Хотя бы опыт, учитывающий награды и тип пространства. Как много нужно переигрываний на шаг? Ответ может удивить. Чтобы ответить на этот вопрос, поиграем с параметром batch_size. В исходном эксперименте он установлен в 500. Обзор результатов с разным опытом:

200 игр с разным опытом: 1 игра (опыта нет), 2 и 4. Среднее за 20 игр.

Даже с опытом в 2 игры агент уже учится играть. В графе вы видите влияние batch_size , та же производительность достигается на 100 игр, если вместо 2 используется 4. Решение в статье дает результат. Агент учится играть в Змейку и достигает хороших результатов, собирая от 40 до 60 яблок за 50 игр.

Внимательный читатель может сказать: максимум яблок в змейке — 399. Почему ИИ не выигрывает? Разница между 60 и 399, в сущности, небольшая. И это верно. И здесь есть проблема: Змейка не избегает столкновений при замыкании на себя.

Интересный способ решить проблему — использовать CNN для поля игры. Так ИИ может увидеть всю игру, а не только ближайшие препятствия. Он сможет распознавать места, которые нужно обойти, чтобы победить.

Получить востребованную профессию с нуля или Level Up по навыкам и зарплате, можно, пройдя онлайн-курсы SkillFactory:

Читайте также: