Студент второго курса Института экономики и управления СПбГАУ Александр Ласточкин, в составе команды из трех университетов разработал программный модуль для человекоподобного робота Unitree G1 Edu Ultimate D. Созданная им система обрабатывает данные с нескольких камер, распознает людей и предметы, анализирует окружающую обстановку и помогает роботу выполнять голосовые команды — например, находить стаканчик с кофе и приносить его человеку.
Работа Александра была выполнена в рамках второй смены всероссийского проекта «АгроХаб–2026», проходившей на базе Истринской сыроварни. Участники работали над адаптацией серийного человекоподобного робота Unitree G1 к прикладным задачам агропромышленного комплекса и фермерского хозяйства.
Студент СПбГАУ отвечал за компьютерное зрение и часть голосового интерфейса робота. Его программное обеспечение получает информацию от RGB-камеры, датчика глубины и двух стереокамер. Обработав эти данные, система определяет, какие объекты находятся перед роботом, оценивает их расположение и передает информацию другим программным модулям.
Для выполнения демонстрационного задания разработчики обучили модель распознавать три класса объектов: человека, стаканчик и коробку. Благодаря этому робот может отличить человека от окружающих предметов, найти ёмкость с кофе, оценить ее размеры и положение, после чего взять ее и передать посетителю. Во время испытаний на Истринской сыроварне робот успешно принес стаканчик кофе основателю предприятия Олегу Сироте.
«Моя задача заключалась в том, чтобы робот понимал, что находится в его поле зрения. Система анализирует данные с камер, распознает людей и предметы, определяет их расположение, а затем передает эту информацию другим модулям. Кроме того, я работал над голосовой частью, связанной с анализом происходящего. Человек может подать команду, а робот — ответить и описать то, что видит», — рассказал Александр Ласточкин.
Команда, в состав которой вошел Александр Ласточкин, а также студенты Российского государственного аграрного университета МСХА имени К.А. Тимирязева и Уральского государственного аграрного университета, создала отдельные программные блоки. Они были объединены в общую систему. один модуль распознавал команду, другой анализировал изображение, а остальные управляли перемещением робота и движениями его рук.
По словам Александра Ласточкина, одной из наиболее сложных задач стала настройка нейросетевых моделей и одновременная обработка информации, поступающей с нескольких устройств. Для работы всей системы в реальном времени необходимы значительные вычислительные мощности, поскольку робот должен не только получить изображение, но и быстро распознать объект, определить расстояние до него и передать результат системе управления.
Во второй смене «АгроХаба» участвовали 20 студентов. По итогам работы организаторы отобрали пятерых наиболее отличившихся разработчиков, среди которых Александр Ласточкин. Отобранных специалистов пригласили продолжить работу над проектом уже в качестве организаторов. С 9 августа по 15 сентября студенты занимаются дальнейшей подготовкой Unitree G1 к публичным демонстрациям на Всемирном фестивале молодежи и студентов и российской агропромышленной выставке «Золотая осень».
«АгроХаб–2026» — первая в России молодёжная полевая лаборатория для студентов и аспирантов аграрных, инженерных и IT-специальностей. Проект проходит в формате палаточного лагеря, участники которого разрабатывают и испытывают робототехнические решения в условиях действующего фермерского хозяйства. Проект реализуется Ассоциацией сельскохозяйственных товаропроизводителей «Народный фермер» при поддержке Министерства сельского хозяйства России и АО «Росагролизинг».