Лего робот из аватара
Обновлено: 02.05.2024
В данной статье хочу рассказать о нашем опыте подготовки и выступления на полуфинале 4-летнего соревнования $10M XPRIZE ANA Avatar по созданию аватар-систем, а также о планах на финал. Конкурс посвящен созданию удаленно-управляемых аватаров, позволяющих человеку физически присутствовать в любой точке пространства, где есть интернет.
Оценку делают двое судей: оператор и реципиент, которые находятся в разных комнатах. Оператор присутствует в комнате реципиента через аватар. В рамках разных тестовых сценариев оператор и реципиент общаются друг с другом, и оператор может полноценно взаимодействовать с предметами из пространства реципиента.
Полуфинал соревнований состоялся в сентябре 2021 года в Майами, по итогам выступления наша команда Dragon Tree Labs по баллам занимает 2-е место среди 15-ти команд, прошедших в финал. Ожидаем, что сам финал пройдет в начале ноября в США.
На этом этапе мы готовим несколько экспериментальных улучшений относительно модели, представленной в полуфинале, и настроены на призовые места. Нам интересно привлечь к проектной работе над аватаром инженеров с опытом в областях:
audio engineering: stereo live streaming (in/out) of dynamic scene
(задачу можно решать как захватом реального стерео, так и синтезом из моно через локализацию положения головы);
ultra–low latency WebRTC: streaming 4k (in/out), wifi tuning;
realtime video editing: имитация фовеального зрения (no-headset virtual monitors).
За выход в финал наша команда получила 133 тыс. долл. призовых, которые сейчас мы используем на подготовку к финалу. Призовые за победу в финале составят 8 млн. долл., которые будут распределены между 3-мя командами-победителями.
Что ожидаем в финале конкурса?
Из описания потребностей понятно - мы хотим отказаться от VR шлема как от интерфейса управления оператора и передавать единое (merged) панорамное звучание и видео изображение пространства, усиливая для оператора ощущение присутствия в удаленном пространстве со своим собеседником.
Проходя полуфинальные тесты, мы увидели большой trade-off, который делает команда, используя VR-headset:
С одной стороны, оператору удобно пространственно ощущать себя в удаленном месте за счет того, что вращения головой синхронизировано с перемещением стереокамеры;
С другой - реципиент в этом случае не может видеть лицо оператора, теряется eye-contact, потому как лицо закрыто шлемом. В результате реципиент вынужден воспринимать оператора через статичное фото изображение.
В результате реципиент может фокусироваться лишь на том, как выглядит и двигается аватар, а не человеке, находящемся “позади” аватара. Поскольку целью конкурса является улучшение human-to-human remote interaction (а не human-machine), то, на наш взгляд, путей два: либо средствами CV синтезировать взгляд глаз оператора, либо убирать шлем и стримить реальный взгляд.
Facebook Reality Lab экспериментирует с первым подходом, а мы выбрали второй путь, и для нас это смелый и решительный шаг. Вопросы и ваши мысли по названным темам - welcome в комментариях.
Помимо перечисленных областей мы приглашаем к коллаборации industrial designers (и студии), которым интересно заявить о себе на международной арене. Мы планируем делать “панцирь” на плечевой пояс, грудь, руки-манипуляторы и голову, так чтобы это не было похоже ни на робота, ни на человека, а воспринималось как симбиоз человека (оператора) и его универсального электронного тела. Например, так:
Как мы это видим: по запросу мы готовы прислать эскизы корпуса-рамы аватара с размерами, и далее, изготовив прототипы по вашему скетчу/модели, сравнить и выбрать тот, который больше всего понравится. Мы будем рады нанести имя/сайт автора на одну из заметных частей аватара. Пишите на почту.
Базово сама система уже создана, но для выступления в финале мы хотим еще многое успеть. Мы внедряем качественно новые элементы передачи ощущений присутствия в удаленном пространстве, а также стремимся к тому, чтобы реципиент верил в живое общение с оператором. Консультации и мнения экспертов в области телеуправления (телеприсутствия) и, особенно, в области передачи силомоментной обратной связи - приветствуем, и приглашаем провести предварительные испытания в лаборатории в Москве, усилить виртуальную команду.
Каким был Джонни в полуфинале конкурса
Итак, расскажу о том, как мы создавали Джонни и что поняли про разработку таких новых систем. Идеологическую работу над аватаром мы начали в середине 2019-го года, когда успели заскочить в последний вагон, подав заявку на участие в конкурсе и оплатив взнос участника. Тогда наш сформированный концепт базировался на продвинутых платформах и манипуляторах (Spot от Boston Dynamics, манипуляторы Universal и тд), где наш основной вклад заключался в разработке дата-костюма для управления этой системой. Но быстро стало понятно несколько вещей:
Такие платформы сложно (а некоторые невозможно) приобрести, особенно с учетом доступных энтузиастам бюджетов,
а во-вторых: перевозить такие системы на конкурс и обратно - очень сложная задача.
После того, как организаторы озвучили возможные сценарии для сравнения аватар-систем разных команд, мы приняли решение с нуля собрать аватара из доступных нам компонентов, способного выступить в полуфинале конкурса. Организаторы предложили 100-бальную шкалу оценки систем во время выступлений, и мы принялись максимизировать баллы в каждом сценарии выступления. Предложенные сценарии были направлены на аспекты передачи физических действий человека через интернет, а также эмоциональный аспект взаимодействия через аватара:
Игра в собирание детского пазла с реципиентом:
Совместный осмотр музейного экспоната, обсуждения веса и материала:
Совместное празднование сделки, нужно поднять бокал и отметить событие привычным нам «cheers»:
На первый взгляд, тривиальная задача, соединить радионяню, манипулятор и колесную базу и управлять всем через интернет.
В одной из студенческих лабораторий была найдена колесная база с шеей на ременном приводе, экспериментально соединенных с VR–шлемом, которую автор шутливо называл Джонни. Далее несколько раз менялось тело Джонни, а торс - робот Reachy с одной рукой - мы смогли приобрести у французской компании Pollen Robotics, которая также принимает участие в конкурсе $10M XPRIZE ANA Avatar, и была рада, что ее продукт интересен и другой команде. Везти пришлось поездом(!) в ручной клади, чтобы успеть оттестировать и заинтегрировать за 3 месяца до финала.
Процесс интеграции двух изначально несовместимых систем был сложным, результатом которой стала наша собственная система управления роботом Reachy, его головой и рукой. Мы создали свой собственный интерфейс передачи стерео-видео, которое созерцал Reachy, в VR шлем и соединили с VR-контроллерами Oculus для управления манипуляторами в реальном времени.
Еще до покупки Reachy мы вели разработку собственного манипулятора, который должен был выдерживать нагрузку в несколько килограмм, но при этом оставаться в режиме consumer electronics, а не industrial типа UR. За 3 месяца до выступлений мы еще игрались с фанерным прототипом данного манипулятора :) естественно это приводило к дикому тремору.
В итоге лишь на несколько дней до вылета в Майми к телу Джонни мы добавили еще один стабильно работающий / управляемый манипулятор. На выступлении Джонни имел 2 руки, которые обладали разной функциональностью, от взвешивания предметов и переноса тяжелых объектов, до приятного помахивая «hello» собеседнику. За 3 месяца тестов моторы Reachy “устали”, и добиться стабильной передачи движений стало совсем непросто, поэтому вторая рука нас спасла.
Стоит отметить, что судьи оценивали не только техническую составляющую и безупречность выполнения сценариев и надежность системы. Эстетический аспект, удобство управления и простота обучения сыграли огромное значение в получении высоких оценок. Для Джонни мы сшили кастомный смокинг с бабочкой, в котором он и выступил в Майми.
О команде, которая сделала ЭТО
В нашей команде не было экспертизы по многим областям разработки, поэтому мы привлекали проектные студии. Нас спасло то, что мы смогли найти и объединить людей, которые не были знакомы еще 3 месяца назад. Но также это наш огромный фейл. Более 2/3 команды работало на подряде и было очень непросто донести цели, оцифрованные критерии оценки сценариев, к которым мы стремились как команда.
В прошлом году нашу разработку можно сравнить с яхтой, которой управляет сразу несколько капитанов со своими командами, которые предпочитают сначала выбрать направление, настроить паруса, а потом уже обсуждать с другими капитанами «А куда же хочется приплыть, что максимизируем?» Не скрою, это было стрессово.
Для проектных студий обычно необходимо привычное ТЗ, четкое описание входящих данных и ожидаемого результата. Доработки и внесение изменений после тестирования негативно влияли на их мотивацию. Также у студий обычно несколько проектов и, несмотря на уникальность задачи, нам было сложно конкурировать за дополнительное внимание к нашему проекту. Весь процесс усложняется тем, что команды находились в разных городах, не сидели рядом друг с другом. Мы устраивали съезд раз в две недели, чтобы в лаборатории провести тесты, аналогичные тем, что будут в полуфинале. Это очень помогло сблизить позиции, хоть тесты и имели не только формальную оценку “получилось/нет”, но и качественную “удобнее/запутаннее”; они давали понимание что сделано и как надо переделывать. В итоге, накал эмоций дал хороший результат в плане самоотдачи и эмоции удавалось свести в конструктивное русло. Но, в то же время, на мой взгляд, за это второе место мы заплатили слишком высокую цену: как говорится, “осадочек остался” и после полуфинала ребятам было тяжело общаться.
Вся интеграция уперлась в экспертизу пары человек in-house команды, а эффект был ожидаемый: у каждой команды разработчиков все работало, но вместе не запускалось. Из-за разницы часовых поясов, мы ночами запускали и тестировали Джонни в удаленном режиме, параллельно создавая мануалы для судей. Из полученных призовых, полученных за выход в финал, мы выделили сумму на премии тем, кто особенно сильно себя проявил и сделал наше участие в финале возможным. Мы очень благодарны всей команде, и in-house, и проектной, что полуфинал случился и ребята это вытянули.
Подготовка к финалу
Полуфинал случился и по scoring points мы заняли 2-е место! Сегодня мы иначе подходим к разработке. Проектом по конкурсу управляет очень опытный разработчик, которого мы встретили уже после полуфинала. Он ранее участвовал в Google Lunar X Prize и далее будет являться техническим лидером в проекте. Он привлекает к проекту тех, кто хорошо знаком с разработкой сложных систем и обладает опытом интеграции новых людей в актуальные задачи проекта.
Сегодня мы активно готовимся к финалу, хотя кейсы финальных тестов еще не объявлены. Организаторы планируют опубликовать тестовые задания для финала в конце мая (за 6 месяцев до финала).
Немного о том, что такое Human-to-Human communication. На первый взгляд, тривиальная вещь, мы все знаем как общаться :) а еще лучше можем объяснить другим то, как общаться правильно и как неправильно). Но наделить машину такими характеристиками, чтобы, общаясь через нее, мы могли не замечать роботизированную конструкцию, а фокусироваться на живом общении с человеком - это уже задача следующего порядка. Для этого очень важно распознать и передать эмоции от живого общения и транслировать их в дизайн, способы передачи видео и звука, натуральное движение манипуляторов, формы пальцев, скорости движения и поворотов платформы и многое другое. Сделать это так, чтобы взаимодействие больше воспринималось естественным проявлением жизни человека и меньше кибер–панком.
По итогам полу-финальных тестов судьи XPRIZE достаточно четко суммировали вопросы, по которым можно оценить реалистичность взаимодействия. Я не стал их переводить на русский, чтобы не потерять заложенный смысл:
how we communicate with one another;
how to bring 2 people into a shared physical space;
do i feel like you are here?
in order to be successful at Finals, we need to get to levels, where we are building relationships;
are we achieving emotional connections?
it’s not about interacting with a robot, but interacting with a person;
it’s about connecting people;
a lot of teams are focusing on human factors, the other are difficult to operate;
you can access avatar from anywhere in the world and feel as if you where that avatar is.
В конце мая, на ICRA, мы ожидаем от организаторов анонс описаний тестовых сценариев, о чем расскажем в отдельной статье. Сегодня наша команда готова к новым свершениям. Пишите мне напрямую (i@dtlabs.tech), если вам интересна тема аватаров и вы знаете кого-то, кто хотел бы усилить нашу команду в этом международном соревновании.
PS: Также, можно присоединиться и к разработке продукта, который создает компания в сфере аватара. К моменту завершения соревнований мы планируем перевести разработку аватара как продукта в Стамбул и в Austin, штат Texas, так что в нашей лабе в Москве можно попробовать себя в работе над аватаром примерно до конца 2022 года.
Тимофей, я знаю я имею ввиду что нет проблем с пастью у него надеюсь и есть ли вероятность того что сделают импалу по сверхъестественному?
Тимофей Руднев ответил Ghost
Ghost, ну и на коробке и на фотке она открытая, но мне кажется это просто совпадение, и она будет нормально закрываться
Тимофей Руднев ответил Ghost
Тимофей Руднев ответил Ghost
Игорь Иванов
Я только сейчас обратил внимание на коня. Он углубляется в 3 пина? Или у фигурки ноги в 2 пина? Я просто смотрю и в голове путаница.
Стефан Сытов
Игорь Иванов ответил Стефану
Тимофей Руднев ответил Игорю
Тимофей Руднев
Марк Яшин
Егор Евстафиев
Алексей Каширский
Егор Евстафиев ответил Алексею
Как сказали бы сейчас: здесь нет гендерного разнообразия лишь голобые , нет негров и лесбиянок
Геи. Они везде!
Искандер Кешубаев
Егор Винегар
Влад Володин
Хоть фильм и не люблю этот, но набор потрясающий ! Обязательно бы купила, если б это было возможно у нас.
Андрей Диголь
ебатория которая будет стоит пол ляма когда были более менее похожие эльфы без лицензии все всем пока
Лёша Павлов
Алексей Каширский
Эммет Кубиков
Всё на русском языке о роботах LEGO MINDSTORMS EV3 и NXT: различные инструкции к конструкторам разных версий, информация о версиях, скриншоты готовых моделей, фото и видео занятий по робототехнике. Также мы выкладываем пошаговые инструкции по созданию и программированию разных видов роботов лего из конструктора версии 8547. У нас можно скачать поурочное планирование факультатива робототехники для учеников 6-8 классов. Планируем добавить всю необходимую для роботехника-любителя информацию. Всё будет доступно всегда и бесплатно!
DARPA разработало программу улучшения военных роботов
Про то, как робот обед готовил
Рубрика: Робот LEGO MINDSTORMS EV3 и NXT инструкции
На первой странице мы с Вами познакомимся с внешним видом конструкторов lego mindstoms ev3 и инструкциями (інструкциї lego) на русском языке для них.
Сейчас доступны к скачиванию статьи с готовыми пошаговыми инструкциями по сборке различных моделей роботов из конструктора лего ев3 версии 313313 и 45544 (робот lego mindstorms ev3).
Руководство пользователя (EV3 Home) для домашней версии, артикул 31313 - инструкция на русском языке для lego mindstorms ev3.
Элементная база (из каких деталей состоит набор), как выглядит содержимое коробки лего 31313.
Базовый набор LEGO MINDSTORMS Education EV3 (артикул 45544).
Версия набора - образовательная (для школ).
Элементная база набора.
Инструкция lego mindstorms ev3:
руководство пользователя (EV3 education) для учебной версии, артикул 45544.
лего EVO 3 презентация pptx с описанием и возможностями набора.
Имеются две модификации: HOME и EDUCATIONS (Домашняя и образовательные версии). Каждая версия имеет свои особенности. Но в каждой можно собрать отличные модели роботов из лего! Домашняя попроще и подешевле, а образовательная версия с лицензионным ПО LABVIEW для рабочей группы от NATIONAL INSTRUMENS, естественно, подороже.
Купить набор в Зеленогорске (Красноярский край) можно в компании "Компас". Скачивайте, ознакамливайтесь с ПО, внешним видом и способом соединения, настройки и программирования новой модели от лего!
Робота можно использовать для соревнования "Шорт трек" категории "Hello, robot!". Инструкция (презентация) содержится 45 слайдов, многие слайды являются повторами с разных углов обзора.
Возраст обучающихся: 4 – 8 классы. УМК любой. Презентация выполнена при помощи ПО Lego Digital Designer ver.4.3.:
полная инструкция по сборке в pptx
Бонусные модели 6 роботов EV3 на одной платформе (6 роботов в 1):
Avatar: The Last Airbender - тематические наборы конструкторов от известной кампании LEGO, основанные на мультсериале «Аватар: Легенда об Аанге». Было выпущено всего два набора и только на территории США и Канады. Они поступили в продажу летом 2006 года.
Содержание
Храм Воздуха [ ]
Конструктор в сборе
Набор под номером 3828 предназначен для детей от 7 до 12 лет и включает в себя четыреста элементов. Из них можно собрать одну из башен Северного Храма Воздуха, катапульту, планер Аанга и танк Народа Огня, который может запускать огненные диски. В наборе есть фигурки Аанга, Сокки, Момо, солдата-мага огня и простого солдата Народа Огня.
Тематикой набора стала серия « Северный Храм Воздуха ».
Храм Воздуха изнутри
- Внутри Храма находится оружейная со стойкой с мечами, хотя в серии у Механиста и его людей не было холодного оружия. намного меньше по размерам, чем в мультсериале, а вот планер Аанга - намного больше.
- В наборе Аанг творит магию воздуха, летая на планере, но в мультсериале такое ни разу не было показано.
- Согласно задумке создателей набора, катапульта являлась оружием защитников Храма, поэтому её снаряды - прозрачно-зелёные, то есть имелись в виду зловонные бомбы.
- Ворота в Храм заперты специальным магическим замком. Однако такие двери были в Южном Храме Воздуха. В Северном Храме же такие ворота запирали одно из внутренних помещений.
Корабль Народа Огня [ ]
Конструктор в сборе
Набор под номером 3829 предназначен для детей от 8 до 12 лет. Он больше предыдущего набора и состоит из 722 элементов. Из них можно собрать сам корабль, который включает четырёхэтажную башню корабля (может использоваться отдельно) и палубу с тюремной камерой и катапультой, запускающей красные кирпичики, и небольшой катер. В наборе есть фигурки Аанга, Катары, Зуко, солдата-мага огня и простого солдата Народа Огня. Одна из комнат башни оформлена в стиле той, где Зуко держал Аанга в серии « Возвращение Аватара », а в самом низу башни находится котельная, которую можно увидеть в серии « Шторм ».
Мы обожаем LEGO и Crazy Circuits [LEGO-совместимая электроника / прим. перев.], поэтому решили скомбинировать их в простого и интересного робота, умеющего обходить препятствия. Мы покажем, как собрать такого робота и подробно опишем этот процесс. Ваша версия робота может не полностью совпадать с нашей.
Приводим список необходимой электроники и деталек LEGO. Не бойтесь экспериментировать с ними.
Комплектующие
Электроника
- 1 x плата Robotics Board от Crazy Circuits
- 2 x совместимый с LEGO сервомотор полного вращения
- 1 x ультразвуковой датчик расстояния HC-SR04
- 4 x джампер-кабеля «мама-мама»
- 1 x внешний источник питания с USB
Мы использовали различные детальки, а вам рекомендуем сделать так, как вы считаете нужным, и из того, что есть у вас на руках. Важно, чтобы у вас был способ приделать сервомоторы снизу, ультразвуковой датчик – так, чтобы он смотрел вперёд, и каким-то образом закрепить плату и источник питания. Для этого можно использовать двусторонний скотч, резинки, липучку. Приводим ссылки на наши детальки в магазине BrickOwl, однако вы можете купить их где угодно, где продаётся LEGO и совместимые наборы.
- 2 x LEGO Wedge Belt Wheel (4185 / 49750)
- 1 x LEGO EV3 Technic Ball Pivots Set 5003245
- 1 x LEGO Technic Cross Block Beam 3 with Four Pins (48989 / 65489)
- 1 x LEGO Technic Brick 1 x 6 with Holes (3894)
- 2 x LEGO Axle 4 with End Stop (87083)
- 4 x LEGO Half Bushing (32123 / 42136)
- 4 x LEGO Brick 2 x 2 Round (3941 / 6143)
- 1 x LEGO Plate 6 x 12 (3028)
Шаг 1: строим шасси из LEGO
Мы начали с пластинки LEGO 6×12, это был минимальный размер, который нас устроил. Можно использовать более крупную, однако мельче уже будет сложнее.
Ширина робота определялась имеющимся у нас в наличии внешним источником питания, поскольку нам была нужна возможность вставлять его на место. Для аккумулятора большего размера потребуется робот большего размера.
Шасси должно быть достаточно высоким, чтобы на нём разместилась и батарея, и плата сверху.
Шаг 2: добавляем колёса
Каждый сервомотор нужно разместить снизу шасси. В итоге нам понадобились следующие комплектующие:
- Ось 4 LEGO со стопором (87083)
- Втулка LEGO (32123 / 42136)
- Круглый кирпичик LEGO 2 x 2 (3941 / 6143)
Как и с другими модельками LEGO, вариантов тут масса! У нас получилось с теми комплектующими, что мы перечислили, а вы можете попробовать что-нибудь другое.
Шаг 3: добавляем ролик
Наш ролик позволяет роботу кататься по плоскости на двух моторизованных колёсах, играя роль третьего колеса – так роботу легче поворачивать и двигаться.
Для его закрепления потребовались следующие детали:
- LEGO EV3 Technic Ball Pivots Set 5003245
- LEGO Technic Cross Block Beam 3 with Four Pins (48989 / 65489)
- LEGO Technic Brick 1 x 6 with Holes (3894)
Шаг 4: добавляем датчик расстояния
Ультразвуковой датчик расстояния нужно закрепить на передней части робота, чтобы он «видел», куда едет, и понимал, когда нужно остановиться, чтобы не столкнуться с препятствием.
Если 3D-принтера у вас нет, придумайте, как удержать датчик при помощи деталек LEGO, клейкой ленты, резинок, хомутов и т.п. Важно, чтобы он смотрел прямо – туда, куда едет робот, когда движется вперёд.
Шаг 5: добавляем плату
Плата – мозг всей операции. Она размещается наверху кубиков LEGO, поэтому её крепить легко.
Обычно плата Robotics Board используется совместно с проводящей плёнкой, позволяющей мастерить электрические цепи прямо поверх LEGO, но поскольку у нас тут всего лишь два мотора и датчик расстояния, их можно подключить напрямую к штырькам на плате.
Плату размещаем так, чтобы USB-кабель питания было легко воткнуть. Нам повезло найти в коробке с кабелями очень короткий USB-кабель.
Теперь можно подключать датчик и моторы!
По датчику: разъём echo нужно подключить к контакту 3 на плате, разъём trigger – к контакту 5, VCC – к 5 В, Gnd – к GND. Таким образом датчик будет получать питание и общаться с платой.
Затем нужно подключить каждый из моторов. Это сделать легко – коричневые провода на GND, красные – на 5 В, оранжевые – к контакту D6 для левого мотора и D9 для правого.
Шаг 6: программируем Robotics Board
Перед тем, как робот сможет работать, нужно загрузить код в микроконтроллер. Перед этим убедитесь, что у вас на компьютере установлена последняя версия Arduino IDE.
Свой код мы выложили в репозиторий на GitHub:
Код простой, в нём много комментариев, чтобы было понятно, что за что отвечает.
Вам также потребуется библиотека NewPing
Шаг 7: пускаем робота погулять
Построив робота и загрузив в него код, можно переходить к испытаниям!
Проще всего подключить внешний источник питания и дать роботу возможность ехать вперёд. Если выставить перед ним руку, он должен отодвинуться назад, повернуться и снова поехать вперёд (смотрите, чтобы он не съехал со стола!)
Мы построили простую шестиугольную «арену» из картона, чтобы роботу было где поездить. Не бойтесь экспериментировать с тем, что есть у вас.
Шаг 8: дальнейшее развитие
Если вам интересно развивать этот проект, вот вам вопросы:
— что вы узнали, собирая робота?
— что повлияло на ваш выбор деталей?
— поедет ли робот быстрее, если увеличить ему колёса?
В коде есть две переменных, исправив которые, вы измените время отката робота назад при обнаружении препятствия, и время, которое он будет поворачиваться. Попробуйте поменять goBackwardTime и turnRightTime и посмотреть, как это повлияет на поведение робота.
Читайте также: