Робот уверенно находит на столе стакан, оценивает его размер и положение — а потом берёт так, будто на нём надеты толстые зимние перчатки. Пальцы смыкаются чуть не там, чуть сильнее или чуть слабее, чем нужно, и предмет либо подозрительно ползёт вниз, либо тихо потрескивает под слишком уверенным нажимом. Это не насмешка над инженерами, а довольно точная иллюстрация разрыва между двумя системами, которые в бытовой робототехнике обязаны работать вместе: зрением и осязанием.
Смотреть роботы действительно научились хорошо. Точнее — «почти как люди», если держать в голове, что это метафора для отдельных задач: распознать предмет, оценить его положение, понять размеры и форму. А вот с ощущением контакта всё сложнее, и фраза «осязание отстаёт на годы» — тоже метафора, причём редакционная, а не результат измерений. Но за ней стоит вполне конкретная инженерная реальность.
Камера видит сцену целиком, палец — только точку касания
Внешняя камера может оценить форму, положение и примерные размеры стакана ещё до того, как рука к нему потянется. Она работает дистанционно и сразу получает богатую картину: где предмет, как он ориентирован, что рядом с ним, что его перекрывает. С тактильным сенсором так не получится: он узнаёт о мире ровно в тот момент и ровно в том месте, где робот коснулся предмета, — не раньше.
Отсюда и разница в темпах. Изображения легко собирать, хранить, размечать и скармливать моделям в огромных количествах. Фотография стакана — это стакан где-то ещё: её можно снять без контакта, переснять при другом свете, сравнить с тысячей других фотографий. Тактильный сигнал тоже можно записать и сохранить, но получить его без физического контакта не выйдет, и он сильнее привязан к конкретному сенсору, материалу, силе нажатия, углу и скорости движения. Поэтому осязание особенно важно не для распознавания сцены, а для корректировки уже начатого движения: камера планирует, куда тянуться, а пальцы выясняют, что там на самом деле происходит.
Осязание — это не одно число, а целый набор сигналов
В разговорах про «искусственную кожу» легко запутаться, потому что смешивают несколько разных вещей. Полезно развести хотя бы четыре понятия.
Датчик силы отвечает на вопрос «сколько давления». Он хорошо чувствует общую нагрузку, но почти ничего не знает о том, как она распределена по площади касания. Тактильная матрица — уже про распределение. Несколько сенсорных точек на подушечке пальца дают подобие карты: где нажатие сильнее, где слабее, какой формы пятно контакта. Из такой карты можно вытащить заметно больше, чем из одной цифры.
Сенсорная кожа — сенсорное покрытие, которое может размещаться на пальцах, ладони или других участках робота и позволяет чувствовать прикосновение сразу на большой поверхности. И вот здесь стоит сказать прямо: полноценного аналога человеческой кожи у роботов нет. Современные покрытия имитируют отдельные функции — давление, сдвиг, деформацию, вибрации, — но не воспроизводят плотность рецепторов, диапазон ощущений и способность к самовосстановлению. Обратная связь по скольжению — самое неприятное с инженерной точки зрения: это не про факт касания, а про момент, когда предмет начал выскальзывать из пальцев.
Технически тактильные системы измеряют нормальную и сдвиговую силу, распределение давления, геометрию контакта, деформацию поверхности, текстуру и то самое скольжение. Сенсоров для этого придумано много: пьезорезистивные, пьезоэлектрические, ёмкостные, магнитные, оптические. Важно другое: ни один из них не «понимает» мягкость предмета сам по себе. Вывод о том, что вещь мягкая или что она вот-вот выскользнет, делает модель — из совокупности давления, деформации, движения и времени контакта.
Стакан, ткань, пакет, провод
Разница между зрением и осязанием хорошо видна на четырёх бытовых сценах.
Стакан. Камера находит его на столе и примерно оценивает размер. Дальше начинается работа, которую глазами не сделать: слишком слабый захват — и стакан начинает сползать, слишком сильный — и тонкая пластиковая стенка мнётся. Роботу нужно одновременно следить за давлением, за касательной силой и за ранними признаками проскальзывания. Причём решение надо принять быстро: между «держу» и «уронил» проходят доли секунды.
Ткань. Внешнее зрение отлично видит цвет, рисунок и общую форму. Но оно не позволяет надёжно определить толщину и мягкость и, что особенно неприятно, не говорит о том, зацепил робот один слой или сразу несколько. Здесь работает тактильная матрица: она фиксирует распределение давления и то, как меняется деформация, когда ткань начинают тянуть. По этим изменениям можно оценивать характер контакта и деформации, а не просто констатировать, что касание произошло.
Пакет. Пожалуй, самый недружелюбный предмет из списка. Его форма меняется постоянно, поверхность легко складывается, а ручки предательски выскальзывают. Тут нужны мягкие сенсорные накладки и очень быстрая коррекция силы: при слишком сильном нажиме пакет можно повредить, при слишком слабом — упустить.
Провод. Зрение поможет найти провод на столе и понять, где он лежит. Но при захвате важно отличить лёгкое касание от надёжного удержания и не пережать оболочку, особенно если провод тонкий. Критичны сдвиг и трение: провод легко скользит между пальцами, и «почти поймал» здесь означает «упустил».
Во всех четырёх случаях камера и палец решают разные задачи. Камера отвечает на вопрос «где и что», палец — на вопрос «как именно я это держу прямо сейчас». И если второй ответ запаздывает или оказывается неточным, первый почти теряет смысл.
Поймать момент скольжения — отдельная головная боль
Зафиксировать касание несложно: достаточно порога по давлению. Скольжение так не поймать. Чтобы понять, что предмет начал двигаться относительно пальца, нужно анализировать изменение распределения нагрузки, сдвиговую деформацию или микровибрации на границе предмета и сенсора. Это задача быстрого динамического контроля, а не спокойной классификации картинки, которую можно решать не торопясь.
Здесь есть красивая деталь: часть тактильных сенсоров работает через зрение. Оптические сенсоры вроде GelSight используют мягкий эластомерный слой — он деформируется при контакте, а камера внутри сенсора снимает эту деформацию и по ней оценивает локальную форму поверхности, направление сдвига и другие параметры контакта. Прикосновение буквально превращается в изображение. Только не стоит путать два разных устройства: камера на роботе наблюдает сцену снаружи, а оптический тактильный сенсор смотрит изнутри пальца на то, как мнётся мягкий слой. Оба называются камерами, но видят совершенно разное.
Другой пример компактного тактильного сенсора — проект DIGIT, предназначенный для пальцев роботизированной кисти и дающий детализированное тактильное изображение. Тут становится понятно, зачем вообще нужна миниатюризация: сенсор надо разместить на пальцах многопалой кисти, сохранив высокое разрешение, снизив стоимость и добившись повторяемости при изготовлении. Показательные демонстрации с небольшими предметами, включая стеклянные шарики, как раз про это.
Почему тактильные данные плохо масштабируются
Изображения размножаются легко, а прикосновения — нет. У тактильного сигнала слишком много привязок: он зависит от формы конкретного сенсора, материала покрытия, силы нажатия, угла контакта, скорости движения и состояния поверхности. Один и тот же предмет, взятый чуть иначе, даёт другой сигнал, и это не шум, а сама природа данных.
Дальше — железо. Мягкая сенсорная поверхность хорошо повторяет форму предмета, но изнашивается. Два сенсора, изготовленных вроде бы одинаково, могут выдавать немного разные показания, а значит, нужна калибровка и модели, устойчивые к таким различиям. Изображения собирать, хранить и масштабировать проще, а тактильные данные сильнее привязаны к конкретному сенсору и конкретному контакту.
Часть решений идёт именно в эту сторону. ReSkin и AnySkin — примеры магнитных сенсорных покрытий, рассчитанных на заменяемость, долговечность и переносимость моделей между экземплярами: сенсорную поверхность можно сменить, а обученную модель — приспособить к новому экземпляру. Это не решение всей проблемы, но честная попытка сделать тактильные данные чуть более универсальными.
Зрение и осязание нужны вместе
Соблазн противопоставить два канала велик, но в реальной работе они дополняют друг друга. Камера помогает выбрать объект, найти его положение и спланировать движение. Тактильная система уточняет, действительно ли палец коснулся предмета, не слишком ли велико давление и не начал ли объект выскальзывать. Зрение не становится бесполезным после касания, а осязание не отменяет необходимости сначала вообще понять, где лежит нужная вещь.
Перспективное направление здесь — визуально-тактильные политики, в которых оба сигнала используются совместно, а не конкурируют. Именно так и выглядит путь к более универсальной манипуляции: не «зрение вместо осязания» и не наоборот, а общая система, которая понимает, когда какой сигнал важнее. Для систем, которые работают не только с текстом и картинками, но и с физическим взаимодействием, используют термин Physical AI — и решающую роль в них играют камеры и тактильные сенсоры.
Отдельная тема — насколько такими системами управляют модели. Нейросети здесь могут связывать разрозненные сигналы в выводы о контакте и действии. Правда, физическое ощущение всё равно остаётся задачей аппаратной части — никакая модель не почувствует трение, если у робота нет подходящего сенсора. Зато с мультимодальными данными, текстом, изображениями и идеями сегодня можно работать и без собственной лаборатории, в обычных инструментах. Если хочется попробовать разные нейросети в одном месте, есть смысл посмотреть на Syntx AI — сервис, где собрано более 100 нейроинструментов: https://syntx.ai/welcome/0NIuivsM. Робототехнику он не заменит, но с цифровой частью работы помогает.
Для ряда задач — распознать предмет, оценить его положение — камера у роботов заметно продвинулась, но об универсальном понимании сцены говорить пока рано. Рука учится медленнее, и дело здесь не только в вычислительной мощности: мешают физическая обратная связь, разнообразие материалов и необходимость реагировать быстро. Стакан, ткань, пакет и провод — это не экзамен на универсальность, а набор простых бытовых задач, каждая из которых требует своей комбинации датчиков, модели и очень быстрой реакции. Пока такие комбинации складываются в лабораториях и отдельных демонстрациях, робот, который аккуратно берёт стакан и не рвёт пакет, остаётся заметно сложнее, чем выглядит со стороны.
