Датчик GelSight разрешает роботам «видеть» через свои руки (видео)

Три года тому назад мы впервые узнали о GelSight – экспериментальной новой системе для отображения микроскопические объектов. На тот момент предложенные области применения для неё были такие как космос, судебная экспертиза, дерматология и биометрия. Теперь, однако, исследователи из MIT и Северовосточного университета нашли другое использование для неё. Они включили его в ультрачувствительный осязательный датчик для роботов.

Датчик GelSight разрешает роботам "видеть" через свои руки (видео)

В первую очередь давайте подробнее изучим, как базовая технология GelSight MIT работает.
Плита прозрачной, синтетической резины первоначально покрыта на одной своей стороне слоем краски. Когда покрашенная сторона прижата к поверхности, она искажается и приобретает форму той поверхности, к которой её прижали. Просматривая противоположную, не покрашенную сторону резиновой детали, каждый видит мелкие контуры поверхности, нажимая на краску. Используя камеры и алгоритмы, система в состоянии превратить те контуры в 3D-картинку. Этот подход детализирует области размером меньше чем один микрометр в длину и приблизительно два микрометра по ширине.

Датчик GelSight разрешает роботам "видеть" через свои руки (видео)

Краска необходима, чтобы стандартизировать оптические свойства поверхности, так, чтобы система не была запутана многочисленными цветами или материалами. Для недавнего эксперимента команда установила GelSight на одну из держащих поверхностей Baxter — двупалого промышленного робота. Используя его собственную компьютерную систему видения, робот впоследствии определил USB-кабель, свисающий свободно с крюка, и захватил штепсель того кабеля с помощью своих пальцев-когтей.

Датчик GelSight разрешает роботам "видеть" через свои руки (видео)

[advideo vid=»w1EBdbe4Nes»]

В тот момент как раз использовался датчик GelSight для распознавания изображения символа USB — рельефного рисунка на одной из сторон штекера. Это обеспечило ему возможность определить точную ориентацию штекера в пределах его области для захвата. Чтобы помочь ему выполнить это с высшей точностью, датчик в форме куба использовал четыре по-разному окрашенных светодиода, каждый освещали резину с разных сторон. Оценивая степень интенсивности различных цветов на разных частях символа USB, датчик был лучше способен установить трехмерное расположение штекера относительно своих конечностей.