Сканер лего для сборки

Обновлено: 25.04.2024

Моё детство примерно на 20% состояло из Dungeons & Dragons (D&D) и на 80% — из LEGO. Эти два занятия очень сильно пересекались. Мне, по разным причинам, не разрешали всё время играть в D&D. Но я, привлекая на помощь воображение, и достигнув в этом деле успехов, достойных плута 15 уровня, понял, что создание персонажей AD&D игрой не считается. Воссоздание вселенной DragonLance средствами LEGO очень хорошо помогало мне быть ближе к игре, которая мне очень нравилась.

Поэтому одним из моих любимых направлений в LEGO были замки. Я тратил многие часы, выдумывая подземелья для моих героев. Для того чтобы не терять свои находки, и из-за того, что я видел, как мои друзья в школе чертят карты подземелий, я составлял планы своих LEGO-моделей на миллиметровке. Кроме того, я пытался сохранить и сведения о том, как именно были устроены модели. Использование миллиметровки казалось логичным для изображения того, что, в основном, состояло из прямоугольных блоков. Но меня, в итоге, сгубило недостаточно хорошее понимание правил изометрической проекции.

Теперь, хоть я и стал старше, моя любовь к LEGO не угасла. И хотя я и не могу сказать, что очень уж горжусь своими моделями (их называют MOC-моделями), я почувствовал, что просто должен разобраться с тем, как мне документировать то, что создаю. Я никогда не умел очень уж хорошо рисовать. Поэтому я решил обратиться к компьютеру.

CAD для LEGO

Несколько лет я работал в сфере виртуального 3D-моделирования (а в сфере обычного 3D — и того больше). Я хорошо владею 3D-приложениями, но всё, чем я пользовался, заточено под анимированную графику и под производство фильмов. Все эти программы, как, собственно, и фильмы, рассчитаны на то, чтобы создать красивую картинку. Как именно что-то сделано, до тех пор, пока всё выглядит хорошо, не так уж и важно. Если, ради того, чтобы что-то выглядело бы очень хорошо, нужно «обмануть» законы физики, то это вполне приемлемо, так как это будет существовать только в виртуальном пространстве.

А вот системы автоматизированного проектирования (Computer-Aided Design, CAD), это уже нечто другое. CAD-приложения пришли на смену обычным чертежам. В них создают спецификации, иллюстрирующие то, как нечто может быть создано в реальном мире. От этих программ ждут точности и реализма.

Так как невероятно много людей увлечено LEGO, существует активное сообщество тех, кто создаёт LEGO-модели, используя CAD-программы. Преимущества такого подхода очевидны: можно задокументировать подробные сведения о модели, описать то, какие детали нужны для её создания, и то, как именно их нужно соединить друг с другом. Это, конечно, не замена реальному конструктору LEGO (ну, разве что для тех, кто любит CAD больше, чем LEGO), но это — отличное дополнение к хобби.

Для того чтобы построить виртуальную модель LEGO, нужны две вещи:

Виртуальные детали LEGO.
CAD-приложение.

Виртуальные детали LEGO

Для того чтобы раздобыть виртуальное представление практически любого из когда-либо созданных строительных блоков для LEGO-моделей, можете воспользоваться опенсорсным ресурсом LDraw. LDraw — это открытый стандарт для цифровых моделей LEGO, который включает в себя возможности по описанию размеров и ориентации элементов. В дополнение к работе по описанию деталей средствами LDraw, силами сообщества подготовлены 3D-модели для каждой детали. Это значит, что все желающие могут загрузить тысячи определений деталей, истратив на это не особенно много трафика.

Установка набора деталей

Виртуальные детали очень похожи на изображения, которые используются на сайтах, или на шрифты, применяемые на компьютере. Собственно говоря, соответствующие файлы можно хранить где угодно. Главное, чтобы приложение, в котором планируется работать с деталями, знало о том, где эти файлы находятся. В Linux LDraw-файлы обычно размещают в папке /usr/share/LDRAW . В Windows это обычно C:\Users\Public\Documents\LDraw .

LDraw даёт в наше распоряжение лишь спецификации для каждой детали. Вот, например, как выглядит код описания кубика 1x1:

Для того чтобы увидеть детали в более привычном облике, понадобится программа для их визуализации.

Приложение LDView для визуализации деталей

LDView — это среда для 3D-рендеринга, напоминающая POV-Ray или Cycles из Blender. Это приложение создано специально для рендеринга .ldr-файлов, то есть — CAD-файлов, содержащих данные в формате LDraw.

Если вы работаете на Linux, то, возможно, вы найдёте LDView в своём репозитории ПО. Если в репозитории этой программы не окажется — вы можете скачать установщик с сайта проекта. Если вы пользуетесь macOS или Windows, то вам, опять же, нужно будет воспользоваться сайтом LDView.

Просмотр отдельной детали

Легче всего начать цифровое конструирование моделей LEGO, попытавшись визуализировать отдельную деталь.

Сначала откройте ваш любимый текстовый редактор. Это может быть любая программа. Главное — чтобы она могла сохранять документы в виде обычного текста. Некоторые текстовые редакторы, в стремлении оказать пользователям добрую услугу, пытаются сохранять текстовые материалы в файлах, в которых, помимо текстов, есть ещё масса служебной информации (вроде .rtf и .doc). Существует множество хороших кросс-платформенных текстовых редакторов. Я, для наших дел, могу порекомендовать довольно-таки минималистичный редактор Geany.

Создадим новый файл с именем 1brick.ldr и введём в него следующий текст:

А теперь взглянем на наше скромное творение:

Только что вы создали простой CAD-файл, описывающий один кубик (а именно — модель номер 3001), цветовой индекс которого равняется 1 (это синий цвет), расположенный в позиции (0, 0, 0) по осям X, Y и Z. Поворот кубика регулируется с использованием средств матричного преобразования. Их применение, надо признать, не относится к простым математическим вычислениям. Правда, при конструировании LEGO-моделей произвольное вращение деталей требуется сравнительно редко, так как большинство деталей стыкуются друг с другом с использованием шипов.

Любая строка в файле, начинающаяся с 0, содержит либо комментарий, либо метаданные. Строка, начинающаяся с 1, содержит описание детали.

Вы можете попрактиковаться в перемещении и вращении деталей, внося изменения в свой CAD-файл. Обычный кубик имеет в высоту 24 LDU (LDraw Units). Это значит, что ставить детали друг на друга можно, меняя их координату Y с шагом в 24 единицы. Поворачивать детали можно, выполняя матричные преобразования.

Взгляните на этот код:

Вот результат его визуализации.

Конечно, перемещать детали можно вдоль любой из трёх осей. В спецификации LDraw сказано, что кубик 1x1 имеет 20 LDU в ширину и 20 LDU в длину. А это значит, что расставлять такие кубики вдоль оси X можно, меняя их позиции с шагом в 20 LDU.

Ещё два кубика

Порядок сборки модели

Чаще всего формат LDraw используется для того чтобы продемонстрировать порядок сборки модели. А это значит, что нужно описать последовательность шагов сборки. В LDraw это делается с использованием метакоманды STEP .

Для того чтобы испытать эту метакоманду, добавьте в свой файл, между описаниями деталей, следующее:

Готовый файл будет выглядеть так:

Теперь в вашем проекте описано два шага. На первом выводится первый кубик, на втором — второй. Можно пошагово просматривать .ldr-файлы, пользуясь клавишами-стрелками в верхней панели инструментов LDView, находящимися около подписи Steps .

Панель инструментов для пошаговой визуализации моделей

На одном шаге необязательно должен выводиться лишь один кубик. Как и в случае с инструкциями к наборам LEGO, установку нескольких деталей можно объединить в один шаг. Главное, чтобы это не повредило понятности инструкции.

В LDraw есть и другие команды. Например — тут можно рисовать линии, поясняющие расположение деталей, и делать прочие подобные вещи. Соответствующие сведения можно найти в спецификации.

Выяснение кодов деталей

Я хранил свою коллекцию LEGO в ящиках для рыболовных принадлежностей. Поэтому я мог быстро найти любую деталь из любого набора. Правда, по мере того, как росла коллекция, мне было нужно всё больше и больше ящиков. А в результате у меня стало уходить больше времени на поиск нужной детали.

Если учесть то, что в LEGO имеется более 11000 уникальных деталей, искать цифровые детали так же сложно, как и обычные. У каждой официальной детали LEGO есть собственный код. Например, тот кубик 2x4, который мы использовали в примере, имеет код 3001. Если вам известен код детали, вы можете просто использовать его в CAD-файле, и соответствующая деталь появится в вашей модели.

В дистрибутиве LDraw имеется файл parts.lst , в котором, с помощью grep, можно найти нужную деталь. Но детали там не всегда описаны по одной и той же схеме. Работая с этим файлом не всегда легко предугадать то, какие именно ключевые слова соответствуют тем или иным деталям. Например — как понять, какое слово, «curved» «sloped» или «angled», лучше всего характеризует некую деталь сложной формы?

Хотя искать детали можно и в parts.lst , в этом деле нам могут помочь некоторые специальные интернет-ресурсы:

— это пользовательская группа, в которой есть база данных со сведениями о кодах деталей LEGO, построенная на основе сведений, взятых из LDraw. — хороший каталог деталей. — ещё один ресурс, на котором есть каталог деталей.

Другие средства для рендеринга моделей

После того, как вы создали свой шедевр, LDView может экспортировать вашу модель, что позволит вам отрендерить её в высоком качестве. Для этого можно воспользоваться POV-Ray — опенсорсной программой для фотореалистичного рендеринга трёхмерных моделей. В результате плоды ваших трудов можно будет представить в весьма привлекательном виде. Найти POV-Ray можно или в репозитории программ вашего дистрибутива Linux, или на сайте проекта.

Вот пример команды рендеринга:

Ниже показан результат визуализации.

Высококачественная визуализация модели

Если вам нужна программа для формирования инструкций по сборке моделей — попробуйте опенсорсную LPub3D. Эта программа выводит пошаговые инструкции и список деталей, необходимых на каждом шаге.

Исследование мира LEGO

Создание моделей из деталей LEGO — это интересно. Разработка собственных моделей — это воплощение той творческой энергии, которой фанаты LEGO заряжаются, занимаясь любимым делом. Теперь ваши LEGO-идеи больше не должны существовать лишь в форме бесплотных идей. Вы можете сохранить их в виде моделей и пошаговых инструкций.

Мир любителей LEGO — это приятное и креативное место, которое стоит посетить всем тем, кому нравится создавать цифровые модели, разрабатывать собственные детали, или делать с кубиками LEGO что-то такое, чего никто больше с ними не делает. Если вам нравится LEGO, то сегодня — самый лучший день для того чтобы стать частью LEGO-сообщества!

Откройте для себя новый мир с конструктором Лего. Если вы уже сотни раз собирали и разбирали фигуры, а новые идеи так и не приходят, то обратите внимание на Brickit. Данное чудо позволит сканировать ваши детальки и предоставит огромный лист с возможными конструкциями, которые вы соберёте. Пошаговая инструкция к каждому проекту и море позитива от процесса.

Как Пользоваться

Для начала нужно найти APK-файл с приложением. Его вы найдёте на нашем сайте, а точнее на этой страничке внизу. После скачивания перейдите в настройки. В разделе «безопасность» разрешите установку с неизвестных источников. Далее найдите файл и запускайте установку. Дождитесь окончания. Включайте Brickit!

Вы окажетесь в главном меню, где предстоит изучить три простых шага.

Выберите готовый набор конструктора Lego из предоставленных вариантов. Если у вас нет полноценного сета (имеются детали из разных сборок), то высыпьте компоненты на пол. Нажмите на иконку камеры, чтобы начать сканирование.
Перед вами появится огромный список со всевозможными машинами, монстрами, замками и другими созданиями. Приступайте к сборке сразу или добавьте в избранное, чтобы вернуться позже.
Нажмите на кнопку «собрать». На экране будет пошаговая инструкция с объяснением всех действий. Следуйте указаниям и через несколько минут получится произведение искусства.

Особенности

База данных с более чем тысячью моделями разных сооружений. Каждый случай индивидуальный. Вам нужно только отсканировать свой набор. Если в руках не окажется важных компонентов, то им можно найти альтернативу. Во время сборки нажмите на деталь и укажите на её отсутствие.

Готовые подделки фотографируйте! Сохраняйте в галерею фото до и после. Делитесь ими с друзьями в социальных сетях.

Плюсы

Детальная инструкция сборки;
Большое количество вариантов;
Сканер.

Минусы

Камера не всегда видит детали;
Предпочтительнее иметь полноценные наборы Lego.

Аналоги

ASolver – универсальный помощник в решении головоломок. С этим приложением вы научитесь собирать Кубик Рубика, Покет Куб, Пирамидку. Сфотографируйте фигуру, чтобы начать сборку. Детальная 3D модель будет сопровождать на протяжении всего процесса. Шаги можно отматывать назад или наоборот ускорять.

Chess Analyze This – руководство со стратегиями для игры в шахматы. Изучите сложные комбинации, чтобы удивлять своих оппонентов. Пройдите путь от аматера до профессионала за несколько дней.

Теперь полезное приложение Brickit скачать можно на андроид. Расширяйте свои возможности со старым конструктором. Если вы думали, что собрали всевозможные фигуры, то это была ошибка. Новые идеи не придут из неоткуда, они придут из Брикит.

Большинство людей старшего поколения уже давно знакомы с конструктором LEGO как через своих детей и внуков, так и через личный опыт. Однако, наверняка найдутся те, кто не смог ощутить всю радость и приятные ощущения от сборки набора во времена своего детства. Но результаты технического прогресса дают возможность без затрат строить самоделки из конструктора на виртуальном «столе» (а с сегодняшними ценами на LEGO это особенно актуально). Для этого достаточно иметь даже не самый мощный или дорогой компьютер.

Итак, компьютер есть, органы управления в виде клавиатуры и мышки есть - осталось установить соответствующую программу. В этой статье мы разберём тот софт, с которого начинал я сам и которым пользуются многие виртуальные (и не только) самодельщики – Lego Digital Designer (он же LDD). Виртуальный редактор существует с 2004 года, а с 2010 года и поныне используется четвёртая генерация. Последняя полноценная программа этой генерации имеет версию 4.3.11. Существующая сейчас на официальном сайте LEGO версия 4.3.12. является очень сырой и неполноценной, поэтому она не будет затронута в статье, и следует скачать 4.3.11. для нормальной работы.

Установка редактора версии 4.3.11. на Windows 10 имеет иной порядок действий, чем на Windows 7 или XP. Это связано Adobe Flash Player и его версии ActiveX, не поддерживающейся в "десятке", но поддерживающейся в "семёрке". Пункты "1" , "2" , и " 6.1 " необходимы только для установки на Windows 10 .

1. Правой кнопкой мыши щёлкаем по установщику "setupldd-pc-4_3_11.exe" и среди перечня действий выбираем пункт "Извлечь в setupldd-pc-4_3_11" (необходим архиватор WinRAR или 7z).

2. Открываем получившуюся папку. В ней 3 файла: "install_flash_player_active_x.exe", "LDDSetup.exe", и "OpenGLChecker.exe". Удаляем в папке "install_flash_player_active_x.exe", а файл "OpenGLChecker.exe" переименовываем в "install_flash_player_active_x".

3. После запуска установщика, мастер установки рекомендует закрыть другие программы для обновления системных файлов без необходимости перезагружать компьютер. Смело нажимаем "Next".

После загрузочного экрана нас встречает главное меню: на переднем плане расположены три раздела, которые отличаются лишь наполнением деталей и выбором палитры. На заднем плане - наш виртуальный рабочий стол (или же "сцена"), на котором и будут собираться самоделки. Кнопка с папкой означает "открыть", то есть выбрать файл из некой директории. Кнопка с файлом открывает сам рабочий стол.

1. Синее окошко - классический раздел. Присутствует ограниченный ассортимент деталей, но каждая деталь дублируется в нескольких цветах и имеют предустановленные декали. Именно его я использовал в начале своего хобби, не зная о существовании раздела "Universe", но об этом чуть ниже. Ныне классическая часть редактора не используется.
2. Белое окошко - проектирование различных роботов и установок на основе системы Mindstorms ( с англ. мозговой штурм). Имеет ещё более ограниченный выбор деталей и ещё более ограниченный выбор цветов в них, с декалями та же история. Ныне имеет ограниченное использование.
3. Чёрное окошко - расширенный раздел (собственно, что "extended" и означает). Сейчас является основным и используется в полной мере ввиду максимального объёма деталей, возможности выбора цвета из доступной палитры, и наличия списка декалей доступных для конкретной детали. Рассматривать интерфейс и основы управления буду именно в Extended.

Нажимаем на кнопку с файлом и попадаем на виртуальный сборочный цех. Начнём с основного - с нашего рабочего стола. Он сделан в виде большой пластины размером 32х32 пина (или студов, или пупырышков - кому как удобнее). По четырём сторонам расположены стрелки для вращения камеры, но их в управлении рекомендую не использовать, т.к. это попросту неудобно. Внимание: вращается не сам стол, а именно камера вокруг стола. В самом низу расположен счётчик деталей . Интересно то, что программа хоть и не кушать много, но больше количество объёмных деталей вкупе с настроенной детализацией (об этом ниже) могут сказаться на работе программы и дальнейшем строительстве. Однако, никто же сначала не строит работы на десять тысяч деталей, правильно?

Слева от рабочего пространства - категории с деталями . Эту колонку можно расширить вширь в правую сторону. Каждая категория отображает конкретный или условный тип деталей: кубики, пластины, скосы, минифигурки, и т.д.
Над категориями - наименование раздела, строка поиска , в которой можно забить либо номер детали, либо её наименование на английском, а также три колонки: "Bricks", "Templates", "Groups". Первая колонка у нас выбрана сейчас, вторая предназначена для сохранения шаблонов, которые могут пригодится при строительстве, а в третьей можно разделить и сохранить получившуюся модель на группы и подгруппы при её цельном виде на рабочем столе.
Под категориями - кнопки " открыть/скрыть все детали " и " фильтр цвета деталей ". В случае с классическим режимом фильтр и правда работает как фильтр, но в расширенном он окрашивает все детали в выбранный пользователем цвет (изначально все детали в extended-разделе покрашены в красный). Ползунок справа от кнопок - масштабирование, то есть чем левее ползунок уходит, тем визуальный масштаб деталей меньше, но их больше помещается в одно поле.
Двойная стрелочка от строки поиска - скрыть сегмент с категориями.

Средняя часть и самая основная по функциям. Несколько кнопок имеют дополнительные назначения, которые и будут указаны в порядке слева направо. Для демонстрации некоторых функций мне поможет небольшая модель машинки.

Первая кнопка - курсор (V). У курсора имеются следующие допназначения:
1.1. Курсор выбора и перемещения одной детали.
1.2. Выбор нескольких деталей.
1.3. Проверка соединения.
1.4. Выделение деталей одного цвета.
1.5. Выделение деталей одного типа.
1.6. Выделение деталей одного цвета и типа.
1.7. Выделить все объекты.
Вторая кнопка - копирование (C). При нажатии на деталь рядом появляется её копия.

Третья кнопка - вращение (H). Позволяет что-то открывать/закрывать/поднимать/опускать при наличии в модели вращательных деталей или конструкций. Имеет три строки измерения по осям XYZ. Угол можно задать как по стрелочкам, как по "циферблату" в левом верхнем углу, так и задать угол вручную.
Четвёртая кнопка - выравнивание осей (Shift+H). Позволяет визуализировать работу простых механических систем (например, работу шестерней) или соединить две отдельные точки.
Пятая кнопка - сгибание (комбинации клавиш нет). Позволяет сгибать шланги и т.н. "флексы" - полые гнущиеся трубочки. Как и выравнивание осей данная функция работает немного нестабильно. Рекомендую её не использовать вовсе, т.к. на ресурсе Mecabricks возможность сгибать резиночки и флексы реализована более удобно.

Шестая кнопка - палитра и декалирование. В ней есть следующие допназначения:
6.1. Выбор и возможность окрашивания (B). Пользователю предоставляется палитра из четырёх категорий цветов: однотонные, прозрачные, металлик, и устаревшие.
6.2. Пипетка. Даёт возможность узнать выбрать необходимый из модели цвет, если он вам неизвестен или его нет в стандартной палитре цветов.
6.3. Декалирование. При нажатии на деталь пользователю становится виден список доступных для неё декалей.
Седьмая кнопка - скрыть деталь (L). Позволяет скрыть деталь не удаляя её и не вынимая из конструкции. Очень помогает в объёмных постройках. Использование данной функции сопровождается небольшой иконкой минифигурки с закрывшимся руками лицом в правом верхнем углу.
Восьмая кнопка - удалить деталь (D).

Теперь перейдём к настройкам. В меню настроек можно перейти либо через "Edit" -> "Preferences", либо через комбинацию клавиш "Ctrl+6".

1. Show information field - добавляет информационное поле в нижнюю часть экрана, содержащее информацию о выбранных вами деталях или количестве деталей на столе.
2. Show tooltips - добавляет метки рядом с курсором мыши, разъясняя, как работают различные кнопки.
3. Enable sound in the application - отключить звуки в программе.
4. “Keys for turning” shown along with cursor - на курсоре отображается значок клавиатуры, указывающий на поворот.
5. Repeat inserting selected bricks - последняя выбранная деталь "приклеивается" к курсору и, щёлкнув левой кнопкой мыши, делает её копию.
6. Brick Count - показывает количество деталей.
7. Invert camera X-axis - инвертировать движение камеры относительно оси X мыши (влево/вправо).
8. Invert camera Y-axis - инвертировать движение камеры относительно оси Y мыши (вверх/вниз).
9. High-quality rendering of bricks placed in scene - высокое качество визуализации деталей на столе.
10. High-quality rendering of bricks in the Brick palette - высокое качество визуализации деталей в палитре.
11. Outlines on bricks - контуры на деталях.
12. Advanced shading - улучшенные тени на деталях.
13. Choose language - выбор языка интерфейса (английский/немецкий).
14. Compatibility mode - безопасный режим. Использовать следует лишь в том случае, если возникли проблемы с запуском LDD.
15. Reset preferences - возврат настроек по умолчанию.

Теперь, когда вы ознакомились с базовым интерфейсом LEGO Digital Designer, перед строительством осталось узнать основные клавиши управления клавиатуры и мыши:

Левая кнопка мыши (ЛКМ):
Нажмите на деталь, чтобы её выбрать.
Нажмите и перетащите, чтобы переместить деталь по столу.
Правая кнопка мыши (ПКМ):
Нажмите и удерживайте, чтобы повернуть вид камеры.
Средняя кнопка мыши (СКМ):
Увеличение/уменьшение масштаба сцены.

Кнопки на дополнительной клавиатуре (Num Lock):
Кнопки "2", "4", "6", "8" - поворот камеры вниз, влево, вправо, вверх.
Кнопка "5" - возвращение камеры в стандарное положение с видом на все детали и модели, расположенные на столе.

Кнопки на клавиатуре:
Кнопки "стрелка вверх", "стрелка вниз", "стрелка вправо", "стрелка влево" - вращение детали.
Ctrl+I - импорт модели в открытый файл.
Ctrl+Shift+S - сохранить как. (выбор формата).

Не рекомендую использовать следующие клавиши или их сочетание: "Ctrl+K" (скриншот), F6 (режим просмотра), F7 (создание инструкции, т.к. порядок действий зачастую бывает нелогичным или неправильным).

Итог: несмотря на всю простоту программы и прекращение поддержки, LEGO Digital Designer всё ещё можно использовать в качестве простого виртуального редактора. Конечно, и по возможностям и по технологичности он уступает тому же Stud.io, но за весь мой 11-летний опыт работы у меня ни разу не было мысли о том, что нужен более усовершенствованный виртуальный редактор. Под свои цели и задачи LDD и сейчас является удобной программой для разработки самоделок.

Программа дает возможность составлять новые фигурки из имеющихся деталей. Приложение анализирует конструкторы, которые пользователь уже приобрел, и таким образом выясняет, какие кубики есть в наличии. На основе полученных данных приложение представит несколько инструкций по сборке новых моделей: среди них есть дома, автомобили, животные, общественные участки и многое другое.

Чтобы загрузить сведения в Brickit, можно использовать камеру собственного смартфона. Пользователь может высыпать весь конструктор на пол, разместись телефон на необходимом расстоянии и просканировать кучки деталей. Программа самостоятельно распознает блоки и подберет подходящие объекты для сборки. Чем больше деталей есть у сборщика, тем больше комбинаций приложение сможет составить.

Инструкции к моделям представлены в классическом LEGO-стиле. Сначала пользователь должен взять базовые детали, а затем поочередно присоединять к основе остальные блоки. Инструкции расписаны ярко и подробно: каждый буклет содержит информацию о количество необходимых деталей, а также указывает, если какой-либо детали недостает. Все понравившиеся инструкции можно объединить в коллекцию для быстрого доступа к ним.

Готовый результат пользователь может сфотографировать напрямую через приложение, а затем поделиться изображением с друзьями. Завершенные работы сохраняются в отдельной папке. Разработчики Brickit предупреждают, что их продукт не является официальным приложением от LEGO, а представляет собой фанатскую программу, которая, тем не менее, регулярно улучшается и обновляется.

Аналоги для Андроид

На данный момент инструкции Brickit доступны только пользователям iOS-устройств. Любители Android-смартфонов могут попробовать в качестве аналога другое приложение: Инструкции по сборке LEGO – Ваш помощник в сборке.

Инструкции по сборке LEGO – Ваш помощник в сборке

Программа идеально подходит для всех фанатов LEGO-строительства. С помощью этого приложения пользователи могут просматривать инструкции, собирать виртуальные объекты и проектировать 3D-модели. Среди множества представленных руководств каждый строитель сможет найти подходящий буклет: приложение станет незаменимым, если инструкция испорчена или потеряна.

Пользователи, которые воздерживаются от приобретения реальных конструкторов, могут воспользоваться функцией Instructions PLUS. Она позволяет просматривать реальный процесс сборки в формате 3D, а получившуюся модель можно крутить и масштабировать. Понравившиеся объекты можно сохранить в избранном, а также добавить в коллекцию наборов. Каждая модель содержит подробный информационный блок, где пользователь найдет все необходимые сведения о количестве деталей, дате изготовления и возрастном цензе.

Последние несколько лет я занимался проектированием и изготовлением машины, которая сможет распознавать и сортировать детали LEGO. Важнейшая часть машины — это Capture Unit, небольшое, почти полностью закрытое отделение, в котором есть конвейерная лента, освещение и камера.

Освещение вы увидите чуть ниже.

Камера делает фотографии поступающих по конвейеру деталей LEGO, а затем передаёт изображения по беспроводному каналу на сервер, выполняющий алгоритм искусственного интеллекта для распознавания детали среди тысяч возможных элементов LEGO. Подробнее об ИИ-алгоритме я расскажу в будущих статьях, а эта статья будет посвящена обработке, которая выполняется между «сырым» выводом видео камеры и входом в нейросеть.

Основная проблема, которую мне нужно было решить — это преобразование видеопотока с конвейера в отдельные изображения деталей, которые бы могла использовать нейросеть.

Конечная цель: перейти от «сырого» видео (слева) к набору изображений одинакового размера (справа) для их передачи в нейросеть. (по сравнению с реальной работой gif замедлен примерно вдвое)

Это отличный пример задачи, которая на поверхности кажется простой, но на самом деле ставит множество уникальных и интересных препятствий, многие из которых уникальны для платформ машинного зрения.

Извлечение нужных частей изображения таким образом часто называют распознаванием объектов (object detection). Именно это мне и нужно сделать: распознать наличие объектов, их расположение и размер, чтобы можно было сгенерировать ограничивающие прямоугольники для каждой детали на каждом кадре.

Самое важное — найти хорошие ограничивающие прямоугольники (выше показаны зелёным цветом)

Я рассмотрю три аспекта решения задачи:

Подготовка с устранением лишних переменных
Создание процесса из простых операций машинного зрения
Поддержание достаточной производительности на платформе Raspberry Pi, имеющей ограниченные ресурсы

Устранение лишних переменных

В случае подобных задач перед применением техник машинного зрения лучше всего устранить как можно больше переменных. Например, меня не должны волновать условия окружающей среды, разные положения камеры, потери информации из-за перекрытия одних деталей другими. Конечно, можно (хоть и очень сложно) разрешить все эти переменные программно, но к счастью для меня, эта машина создаётся с нуля. Я сам могу подготовиться к успешному решению, устранив все помехи ещё до того, как начал писать код.

Первый шаг — это жёсткая фиксация положения, угла и фокусировки камеры. С этим всё просто — в системе камера закреплена над конвейером. Не нужно мне волноваться и о помехах от других деталей; нежелательные объекты почти не имеют шанса попасть в capture unit. Немного сложнее, но очень важно обеспечить постоянные условия освещённости. Мне не нужно, чтобы распознаватель объектов ошибочно интерпретировал тень от движущейся по ленте детали как физический объект. К счастью, capture unit очень мал (вся область обзора камеры меньше буханки хлеба), поэтому у меня был более чем достаточный контроль над окружающими условиями.

Capture unit, вид изнутри. Камера находится в верхней трети кадра.

Одно из решений — сделать отсек полностью замкнутым, чтобы никакое освещение снаружи не поступало. Я попробовал такой подход, использовав в качестве источника освещения светодиодные ленты. К сожалению, система оказалась очень капризной — достаточно одной небольшой дырочки в корпусе и свет проникает в отсек, делая невозможным распознавание объектов.

В конечном итоге наилучшим решением оказалось «забивание» всех других источников света при помощи заливки небольшого отсека сильным освещением. Оказалось, что источники света, которые можно использовать для освещения жилых помещений, очень дёшевы и просты в использовании.

Получайте, тени!

При направлении источника в крошечный отсек он полностью забивает все потенциальные внешние световые помехи. У такой системы есть и удобный побочный эффект: благодаря большому количеству света в камере можно использовать очень высокую скорость затвора, получая идеально чёткие изображения деталей даже при быстром перемещении по конвейеру.

Распознаватель объектов

YOLO очень крута! Но мне не нужны все её функции.

К счастью, я мог избежать сложного решения на основе ИИ, воспользовавшись «олдскульными» техниками машинного зрения. Первая техника — это вычитание фона (background subtraction), которое пытается выделить все изменившиеся части изображения. В моём случае единственное, что движется в поле зрения камеры — это детали LEGO. (Разумеется, лента тоже движется, но поскольку она имеет однородный цвет, камере она кажется неподвижной). Отделим эти детали LEGO от фона, и половина задачи решена.

Чтобы вычитание фона работало, объекты переднего плана должны значительно отличаться от фона. Детали LEGO имеют широкий диапазон цветов, поэтому мне нужно было очень тщательно выбирать цвет фона, чтобы он был как можно более далёк от цветов LEGO. Именно поэтому лента под камерой изготовлена из бумаги — она не только должна быть очень однородной, но и не может состоять из LEGO, иначе будет иметь цвет одной из деталей, которые мне нужно распознавать! Я выбрал бледно-розовый, но подойдёт и любой другой пастельный цвет, непохожий на обычные цвета LEGO.

В чудесной библиотеке OpenCV уже есть несколько алгоритмов для вычитания фона. Вычитатель фонов MOG2 — самый сложный из них, и при этом он работает невероятно быстро даже на raspberry pi. Однако подача кадров видео напрямую в MOG2 работает не совсем хорошо. Светло-серые и белые фигуры слишком близки к яркости бледного фона и теряются на нём. Мне нужно было придумать способ, чтобы отчётливей отделить ленту от находящихся на ней деталей, приказав вычитателю фона внимательнее смотреть на цвет, а не на яркость. Для этого мне достаточно было увеличить насыщенность изображений перед передачей его в вычитатель фонов. Результаты при этом значительно улучшились.

После вычитания фона мне нужно было использовать морфологические операции, чтобы избавиться от как можно большего количества шума. Для поиска контуров белых областей можно использовать функцию findContours() библиотеки OpenCV. Применив различные эвристики для отклонения контуров, содержащих шум, можно легко преобразовать эти контуры в готовые ограничивающие прямоугольники.

Производительность

Нейронная сеть — прожорливое существо. Для получения наилучших результатов при классификации ей требуются изображения максимального разрешения и в как можно больших количествах. Это значит, что мне нужно снимать их с очень высокой частотой кадров, сохраняя при этом качество и разрешение изображения. Я должен выжать из камеры и GPU Raspberry PI максимум возможного.

В очень подробной документации к picamera написано, что чип камеры V2 может выдавать изображения размером 1280x720 пикселей с максимальной частотой 90 кадров в секунду. Это невероятный объём данных, и хотя камера может его генерировать, это не означает, что с ним справится компьютер. Если бы я обрабатывал сырые 24-битные RGB-изображения, то мне пришлось бы передавать данные со скоростью примерно 237 МБ/с, а это слишком много и для бедного GPU компьютера Pi, и для SDRAM. Даже при использовании ускоренной с помощью GPU компрессии в JPEG частоты 90fps достичь невозможно.

Камера Raspberry Pi способна выводить сырое неотфильтрованное YUV-изображение. Хотя с ним работать сложнее, чем с RGB, у YUV на самом деле есть множество удобных свойств. Самое важное из них заключается в том, что оно хранит всего 12 бит на пиксель (у RGB это 24 бита).

Каждые четыре байта Y имеют один байт U и один байт V, то есть на пиксель приходится 1,5 байта.

Это означает, что по сравнению с RGB-кадрами я могу обрабатывать в два раза больше YUV-кадров, и это ещё не считая дополнительного времени, которое GPU экономит на преобразовании в RGB-изображение.

Однако такой подход накладывает уникальные ограничения на процесс обработки. На большинство операций с полноразмерным кадром видео будет тратиться чрезвычайно много памяти и ресурсов ЦП. В пределах моих строгих временных ограничений невозможно даже декодировать полноэкранный YUV-кадр.

К счастью, мне и не нужно обрабатывать кадр целиком! Для распознавания объектов ограничивающие прямоугольники не обязаны быть точными, достаточно приблизительной точности, поэтому весь процесс распознавания объектов можно выполнять с гораздо меньшим кадром. Операция уменьшения масштаба не обязана учитывать все пиксели полноразмерного кадра, поэтому кадры можно уменьшать очень быстро и без затрат. Затем масштаб получившихся ограничивающих прямоугольников снова увеличивается и используется для вырезания объектов из полноразмерного YUV-кадра. Благодаря этому мне не нужно декодировать или иным образом обрабатывать весь кадр высокого разрешения.

К счастью, благодаря способу хранения этого формата YUV (см. выше) очень легко реализовать быстрые операции обрезки и уменьшения масштаба, работающие непосредственно с форматом YUV. Кроме того, весь процесс без особых проблем можно распараллелить на четыре ядра Pi. Однако я выяснил, что не все ядра используются в полную силу, и это говорит нам, что «бутылочным горлышком» по-прежнему остаётся пропускная способность памяти. Но даже при этом мне удалось на практике достичь 70-80FPS. Более глубокий анализ использования памяти возможно помог бы ещё больше ускорить работу.

Если вам хочется узнать больше о проекте, то прочитайте мою предыдущую статью «Как я создал более 100 тысяч размеченных изображений LEGO для обучения».

Читайте также: