Научный журнал
Научное обозрение. Педагогические науки
ISSN 2500-3402
ПИ №ФС77-57475

МЕТОДИКА РЕАЛИЗАЦИИ ШКОЛЬНИКАМИ ОБРАЗОВАТЕЛЬНОГО ПРОЕКТА «РАСПОЗНАВАНИЕ ЯГОД В РОБОТИЗИРОВАННЫХ СИСТЕМАХ СБОРА»

Лыткин С.Д. 1 Лыткин Ф.С. 1
1 ФГАОУ ВО «Северо-Восточный федеральный университет имени М.К. Аммосова»
Цель исследования – проектирование и описание методики реализации школьниками образовательного проекта «Распознавание ягод в роботизированных системах сбора», направленного на постепенное приобретение навыков решения сложных инженерных задач в области компьютерного зрения. В статье представлена методика реализации школьниками образовательного проекта по созданию прототипа роботизированной системы для сбора ягод. Целью исследования являлось не только создание функционального устройства, но и оценка эффективности использования проектной методики для обучения основам робототехники, программирования и компьютерного зрения. Школьники разработали алгоритмы распознавания ягод на основе открытой библиотеки OpenCV и интегрировали их с мобильным роботом на базе LEGO® Mindstorms® EV3. Исследование показало эффективность применения методов сегментации изображений и обнаружения бликов для распознавания ягод. В результате были получены положительные результаты, демонстрирующие возможность успешной реализации подобных проектов в школьной среде. Работа над проектом способствовала повышению мотивации школьников к изучению математики, физики и информатики. Проект способствует развитию у учащихся навыков решения инженерных задач, повышению мотивации к изучению STEM-дисциплин и формированию интереса к инновациям в сельском хозяйстве.
компьютерное зрение
образовательная робототехника
распознавание ягод
проектная деятельность
манипуляторы
1. Чуба Ал.Ю., Чуба А.Ю. Современные решения в области цифровизации и автоматизации сельского хозяйства // Известия Оренбургского государственного аграрного университета. 2019. № 5. С. 163–165.
2. Чупина И.П., Фатеева Н.Б., Петрова Л.Н. Процессы развития автоматизации и информатизации в сельском хозяйстве страны // Аграрное образование и наука. 2019. № 3. С. 21–28.; URL: https://aes-urgau.ru/ru/3-2019 (дата обращения: 25.10.2024).
3. Юсупов Р.Х., Иванов Д.В. Аналитический обзор роботизированных технологических процессов агропромышленного комплекса // Journal of Advanced Research in Technical Science. 2018. № 8. С. 63–71.
4. Скворцов Е.А. Перспективы инновационного развития на основе применения сельскохозяйственных роботов // Вестник Государственного аграрного университета Северного Зауралья. 2015. № 3. С.113–117.
5. Амонуллозода О.А. Методы распознавания объектов по изображению при помощи библиотеки OpenCV // Вестник Технологического университета Таджикистана. 2019. № 1. С. 73–80.
6. Прохоренок Н.А. OpenCV и Java. Обработка изображений и компьютерное зрение. СПб.: БХВ-Петербург, 2018. 320 с.
7. Петрищев И.О., Лукьянов В.А., Гималетдинова К.Р. Основы робототехники на Lego Mindstorms EV3: учебно-методическое пособие. Ульяновск: Ульяновский государственный педагогический университет им. И.Н. Ульянова, 2017. 45 с.

Введение 

Автоматизация сельскохозяйственных процессов является важным направлением развития современного сельского хозяйства. Сбор урожая, в частности ягод, часто представляет собой трудоемкий и рутинный процесс, требующий значительных затрат ручного труда [1, 2]. В связи с этим разработка роботизированных систем для сбора ягод является актуальной задачей, позволяющей повысить эффективность и производительность сельскохозяйственного производства [3, 4].

В образовательном проекте по созданию роботизированной системы сбора ягод школьники сначала создали мобильного робота, способного самостоятельно распознавать и сортировать разноцветные деревянные кубики с помощью манипулятора. В качестве следующего этапа развития проекта было запланировано работать с более мелкими объектами – ягодами. Главной задачей школьников является разработка подсистемы распознавания мелких объектов на изображении с видеокамеры посредством популярной библиотеки компьютерного зрения OpenCV [5, 6].

Цель исследования – проектирование и описание методики реализации школьниками образовательного проекта «Распознавание ягод в роботизированных системах сбора», направленного на постепенное приобретение навыков решения сложных инженерных задач в области компьютерного зрения.

Материалы и методы исследования

Методы исследования эмпирические: опрееление задач проекта, выполнение работы, практическая проверка, обсуждение результатов.

Перечень основного оборудования: детали конструктора LEGO® Mindstorms® EV3, контроллер EV3, 3 больших и 1 средний мотор LEGO® Mindstorms® EV3, USB веб-камера Logitech HD C920, прошивка leJOS для LEGO® Mindstorms® EV3 на MicroSD-карте.

Работа школьников по проекту проводилась в два этапа.

Цель и задачи первого этапа (выполнены в 8 классе).

Разработка мобильного робота с видеозрением для поиска и захвата ветных кубиков.

Задачи:

–Сборка мобильного робота с видеокамерой и манипулятором для захвата цветных деревянных кубиков.

– Разработка алгоритма на языке Java для распознавания цветных кубиков с помощью функций OpenCV по поиску областей определенного цветового диапазона и определению их контуров.

–Интеграция алгоритмов распознавания цветных кубиков и управления мобильным роботом.

Цель и задачи второго этапа (выполнены в 9 классе).

Разработка прототипа роботизированной системы сбора ягод.

Задачи:

– борка прототипа робототехнического устройства для отработки навыков расчета управления манипулятором для захвата ягоды с куста.

– Разработка подсистемы компьютерного зрения на языке Java для распознавания ягод на основе библиотеки компьютерного зрения OpenCV.

– Интеграция алгоритмов распознавания ягод и управления робототехническим устройством.

–Выявление проблем при распознавании ягод в условиях недостаточной освещенности.

В статье приводится описание методики второго этапа, так как он более трудоемкий для реализации.

Сборка прототипа робототехнического устройства для захвата ягоды

Поскольку главной задачей второго этапа проекта являлась разработка подсистемы распознавания и локализации ягод, а не конструирование робота, для ускорения работ был выбран самый распространенный в школах робототехнический конструктор LEGO® Mindstorms® EV3 [7]. Проект также требует наличия видеокамеры с USB-интерфейсом. Использование дорогих камер (часто со встроенными веб-серверами) не дало положительных результатов из-за проблем с драйверами и несовместимостью протоколов. Поэтому приведен список успешно работающих с библиотекой OpenCV 2.4.11 недорогих веб-камер:

–Logitech HD C920,

– Logitech Webcam C170,

– Genius iLook 300,

– A4Tech PK-760E.

Прототип робота для сбора ягод представляет собой дифференциальный мобильный робот на базе LEGO® Mindstorm® EV3, в передней части которого прикреплены веб-камера и манипулятор. Робот с помощью видеокамеры и OpenCV должен находить ягоды на кусте (в эксперименте небольшие цветные пластиковые шарики, прикрепленные к бумажным трубкам), отрывать их по одному от куста и собирать в коробку посредством манипулятора и гусениц (рис. 1).

missing image file

Рис. 1. Прототип робота для сбора ягод и куст с ягодами

Для обеспечения точного захвата ягод роботом EV3 школьники разработали систему управления манипулятором, основанную на математических методах преобразования координат.

Разработка подсистемы компьютерного зрения для распознавания ягод

За вычисления подсистемы компьютерного зрения отвечает контроллер EV3, работающий на процессоре ARM9 с частотой 300 МГц и 64 МБ оперативной памяти.

Для упрощения задачи было решено сосредоточиться на распознавании ягод брусники. Выбор пал на бруснику благодаря предположению о ее относительно постоянной форме и цвете. Летом школьниками было снято с одного расстояния большое количество фотографий брусничных полян. Зрелые ягоды брусники часто сравнивают с красными шариками, и их формы и размеры действительно довольно однородны.

Учитывая то, что школьники были обучены программированию на Java на первом этапе, на втором этапе обучение в основном было сосредоточено на исследовании возможностей библиотеки OpenCV. Для работы с контроллером EV3 была выбрана бесплатная прошивка leJOS0.9.1-beta (операционная система на ядре Linux, разработанная специально для LEGO® Mindstorm® EV3), которая, помимо прочих преимуществ, предоставляет встроенную поддержку библиотеки OpenCV 2.4.11. Также имеется удобный модуль для связи по USB и WiFi с контроллером EV3 на leJOS, разработанный для популярной среды разработки Java-программ Eclipse IDE (интегрированная среда разработки). Это позволило упростить процесс разработки школьниками системы компьютерного зрения для робота.

Несмотря на кажущуюся простоту задачи распознавания ягод с помощью OpenCV, оптимальное решение оказалось весьма нетривиальным. Начальный подход распознавания ягод, методом Хафа для обнаружения кругов, не показал удовлетворительных результатов. В зависимости от настроек функция HoughCircles (Matimage, Mat circles, int method, double dp, double minDist) обнаруживает или слишком много кругов по всему изображению, или совсем немного. При этом многие круги пересекают друг друга или вложены друг в друга. Было решено уменьшить количество пересекающихся кругов, которые находит функция, путем увеличения расстояния между центрами обнаруживаемых кругов. Также ограничили минимальный и максимальный радиус обнаруживаемых кругов, что существенно уменьшило количество кругов.

В итоге достигнуто успешное распознавание только некоторых ягод при наличии лишних кругов на листьях и на неопределенных областях (рис. 2). Хотя круги на листьях были убраны фильтрацией по основному цветовому диапазону, остаются непонятные лишние круги.

missing image file

Рис. 2. Поиск кругов на фотографии и выделение их синим цветом

Школьники предположили, что ягоды на изображении некорректно выделяются кругами из-за наличия большого количества теней, бликов и перекрытий.

После длительных экспериментов с настройкой параметров для обнаружения совпадающих с ягодами окружностей было принято решение перейти к более гибкому методу сегментации по цвету. Функция getContours (Mat image, Scalar hsvMin, Scalar hsvMax) позволила более точно определить границы объектов, особенно при наличии шумов и изменений освещения. Хотя такой подход требует больше вычислительных ресурсов, он обеспечил существенное повышение точности распознавания ягод, что подтверждается результатами эксперимента (рис. 3).

 

Далее, школьниками был сделан большой обзор литературы, и для распознавания ягод ими был предложен метод сопоставления с шаблоном. Несмотря на простоту реализации, этот метод имеет ряд ограничений: вариативность формы ягод, частичное перекрытие, влияние внешних факторов. Использование шаблона половинки ягоды позволило изменить ситуацию с распознаванием ягод, но принесло проблему огромного количества ложных срабатываний. Недостаток шаблонного способа в том, что, скорее всего, будет требоваться постоянное добавление новых шаблонов в зависимости от освещения, фотографической аппаратуры, зрелости ягод и пр. Для повышения точности необходимо рассмотреть более перспективные методы, такие как сегментация по многим цветам или глубокое обучение.

missing image file

Рис. 3. Поиск ягоды сегментацией по цвету (распознанные ягоды оконтурены синей линией)

missing image file

Рис. 4. Поиск бликов на изображении (бликующие области выделены синим цветом)

На завершающем этапе проекта опытный инженер-радиофизик подсказал инновационный подход к обнаружению ягод – анализ бликов. Как показал анализ изображений, каждая ягода имеет характерный блик в виде овального светлого пятна. Исследование показало, что блик – пятно яркого белого цвета. Используя эту особенность, школьники разработали алгоритм, успешно обнаруживающий ягоды на изображениях. Однако, кроме ягод алгоритм находил также некоторые листья с похожими характеристиками (рис. 4).

Для улучшения распознавания была разработана дополнительная проверка: после обнаружения блика анализировались соседние пиксели на наличие цветов красного оттенка, характерных для ягод брусники. В результате удалось достичь практически идеальной точности распознавания. К сожалению, из-за ограничений по времени и наличия уже работоспособного прототипа внедрение нового алгоритма в робота отложено до будущих исследований.

В ходе работы над проектом школьники столкнулись с большим количеством нюансов, влияющих на успешность процесса нахождения мелких объектов, в частности ягод: недостаточная и неравномерная освещенность, блики, тени, влияние отраженного света объектов другого цвета на цвет ягоды, условность понятия белого цвета, перекрывание ягоды другими ягодами и листьями. В ходе работы они научились уверенно пользоваться возможностями библиотеки OpenCV и развили свои инженерные навыки.

Для преодоления проблемы недостаточной освещенности школьники предложили три пути:

– изменение контрастности или насыщенности фотографий;

– применение фильтров;

– генерация белых бликов на ягодах с использованием искусственного освещения на роботе.

Результаты исследования и их обсуждение

Школьниками разработан прототип робототехнического устройства, распознающего координаты ягоды посредством камеры и захватывающего точным движением руки-манипулятора найденную ягоду.

Школьники познакомились с различными цветовыми моделями изображений, с математическими принципами работы алгоритмов компьютерного зрения.

В ходе работы школьниками были освоены и успешно апробированы различные способы распознавания ягод:

–поиск областей соответствующего ягодам цвета и распознавание их контуров;

– распознавание всех кругов на изображении и выделение среди них ягод по цвету;

– поиск по изображению фрагментов, схожих с шаблоном изображения половинки ягоды;

– поиск белых бликов на изображении, так как почти все ягоды имеют бликующую область.

Наиболее эффективным методом распознавания, показавшим наилучшие результаты на тестовых изображениях, оказался метод поиска по бликам с последующей проверкой цвета. Однако из-за недостатка времени данный метод не был реализован на прототипе робота.

Школьники проявили большую самостоятельность в поиске решений, стали уверенно программировать на языке Java, развили навыки по математике, физике и программированию.

Заключение

В ходе данного исследования была разработана подсистема компьютерного зрения для роботизированного устройства, предназначенного для сбора ягод.

Данное исследование показало, что использование доступных образовательных платформ, таких как LEGO EV3, позволяет школьникам успешно решать достаточно сложные задачи в области робототехники и компьютерного зрения.

Работа над проектом способствовала повышению мотивации школьников к изучению математики, физики и информатики. Школьники в дальнейшем успешно участвуют в региональных конкурсах и олимпиадах по указанным предметам.

Проект способствует развитию у учащихся навыков решения инженерных задач, профессиональной ориентации, повышению мотивации к изучению STEM-дисциплин и формированию интереса к инновациям в сельском хозяйстве.


Библиографическая ссылка

Лыткин С.Д., Лыткин Ф.С. МЕТОДИКА РЕАЛИЗАЦИИ ШКОЛЬНИКАМИ ОБРАЗОВАТЕЛЬНОГО ПРОЕКТА «РАСПОЗНАВАНИЕ ЯГОД В РОБОТИЗИРОВАННЫХ СИСТЕМАХ СБОРА» // Научное обозрение. Педагогические науки. – 2024. – № 6. – С. 35-39;
URL: https://science-pedagogy.ru/ru/article/view?id=2556 (дата обращения: 12.02.2025).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1,674