論文背景
人工皮膚在機(jī)器人感知和醫(yī)療保健方面顯示出巨大的潛力。它提供了包括三維形狀重建、接觸反饋和溫度感知在內(nèi)的多功能觸覺感知，其中三維重建功能是靈巧手在觸覺認(rèn)知和互動(dòng)中不可或缺的。視覺觸覺傳感器（VTS）是一種創(chuàng)新的仿生觸覺傳感器，與電子觸覺傳感器相比，它支持高分辨率、高精度、高密度的觸覺重建。
圖1 基于視觸覺傳感三維重建技術(shù)概覽
論文概述
近期，北京郵電大學(xué)方斌教授團(tuán)隊(duì)以視觸覺傳感為視角，總結(jié)了人工皮膚的三維重建功能的技術(shù)細(xì)節(jié)及發(fā)展脈絡(luò)。根據(jù)傳感方式、硬件類別和建模方式，將三維重建技術(shù)分成5類：1）光度立體；2）深度標(biāo)定；3）光流；4）深度學(xué)習(xí)；5）深度相機(jī)。其次，從硬件角度闡述了重建方法的關(guān)聯(lián)和區(qū)別。結(jié)合近十五年的文獻(xiàn)調(diào)研，對(duì)三維重建的發(fā)展和技術(shù)迭代進(jìn)行了討論。最后，總結(jié)現(xiàn)在三維重建研究的挑戰(zhàn)，并提出了未來發(fā)展趨勢(shì)。該工作以“Artificial Skin Based on Visuo-Tactile Sensing for 3D Shape Reconstruction: Material, Method, and Evaluation”為題發(fā)表在Advanced Functional Materials。該研究得到國家自然科學(xué)基金委的支持。
圖2 基于光度立體三維重建
光度立體法應(yīng)用于涂層型視觸覺傳感器。通過多方向、不同光色的照明，在接觸區(qū)域提供鮮明的梯度變化。為了減少陰影的影響，通過光路設(shè)計(jì)和光學(xué)優(yōu)化來提高光照的均勻性。使用特定尺寸的校準(zhǔn)球可以標(biāo)定出Gx和Gy。通過查找表（啞光涂層）或者M(jìn)LP（半鏡面涂層）從光照強(qiáng)度預(yù)測(cè)梯度信息，并結(jié)合泊松求解器計(jì)算深度值。MLP對(duì)平面和曲面重建都具有通用性，并且簡化了查找表的生成。當(dāng)成像環(huán)境足夠穩(wěn)定，單色光也能提供足夠的梯度信息，并且RGB與梯度的映射關(guān)系趨近于線性擬合。
圖3 基于深度學(xué)習(xí)三維重建
深度標(biāo)定和光流法適用于標(biāo)記型視觸覺傳感器。深度標(biāo)定依靠雙目視覺和標(biāo)記層來獲取視差，進(jìn)一步推導(dǎo)出深度信息。標(biāo)記追蹤是標(biāo)定的關(guān)鍵環(huán)節(jié)。標(biāo)記物尺寸太小會(huì)導(dǎo)致圖像處理過程中出現(xiàn)漏點(diǎn)現(xiàn)象。在標(biāo)記匹配階段，打亂標(biāo)記陣列排序，導(dǎo)致左右相機(jī)不能追蹤到同一個(gè)標(biāo)記。圖像分割網(wǎng)絡(luò)可以避免圖像處理的誤差，對(duì)微型化標(biāo)記的追蹤提供支持。光流法是基于單目相機(jī)的深度預(yù)測(cè)。對(duì)流向量應(yīng)用二維高斯分布核，并在每個(gè)點(diǎn)對(duì)分布進(jìn)行累積，得到高斯密度。表面變形的相對(duì)深度可以直接從負(fù)高斯密度來估計(jì)。標(biāo)記物的隨機(jī)性提高了觸覺數(shù)據(jù)的魯棒性。
深度學(xué)習(xí)方法具有高兼容性。通過數(shù)據(jù)驅(qū)動(dòng)方式，直接構(gòu)建RGB與深度信息的映射。深度信息的表達(dá)形式多樣，包括高度/深度圖、點(diǎn)云信息和梯度角。與上述重建方法結(jié)合，深度學(xué)習(xí)可以預(yù)測(cè)關(guān)鍵參數(shù)，簡化非線性模型的建立。深度相機(jī)可以直接輸出深度值，但是需要預(yù)留較大的傳感空間，導(dǎo)致傳感器體積龐大。這不符合視觸覺傳感器微型化的發(fā)展趨勢(shì)。對(duì)于未來發(fā)展，本文認(rèn)為視觸覺傳感將關(guān)注多模態(tài)融合、曲面重建和高分辨率三維重建。這也符合機(jī)器人交互感知和自適應(yīng)感知的需求。
原文鏈接：
https://advanced.onlinelibrary.wiley.com/doi/10.1002/adfm.202411686
