有初科技|5G遠(yuǎn)程醫(yī)療時(shí)代，談?wù)勈謩?shì)識(shí)別的VR/AR交互應(yīng)用場(chǎng)景

時(shí)間：2021-08-11作者：智匯有初(廣州)科技有限公司瀏覽：69

從新型冠狀病毒肺炎疫情開(kāi)始到現(xiàn)在，中國(guó)是世界上疫情控制做得較好的國(guó)家。不過(guò)，關(guān)聯(lián)境外輸入的零星小規(guī)模偶發(fā)疫情持續(xù)不斷，一旦疫情出現(xiàn)必然導(dǎo)致隔離發(fā)生，醫(yī)院作為戰(zhàn)疫主戰(zhàn)場(chǎng)，影響許多需要醫(yī)療救助的病人。幸運(yùn)的是，5G技術(shù)推動(dòng)的遠(yuǎn)程醫(yī)療快速發(fā)展，尤其VR/AR技術(shù)立體呈現(xiàn)病人器官、組織病變形態(tài)，允許醫(yī)生遠(yuǎn)程清晰診斷病人的病灶；手勢(shì)識(shí)別精準(zhǔn)定位醫(yī)生的動(dòng)作與病人身體的位置，遠(yuǎn)程控制醫(yī)療設(shè)備為病人診療、手術(shù)，為遠(yuǎn)程病人帶來(lái)曙光。



一、遠(yuǎn)程醫(yī)療“VR/AR+手勢(shì)識(shí)別”方案落地性強(qiáng)

自從5G誕生，云計(jì)算速度延遲的基礎(chǔ)設(shè)施障礙沒(méi)了，我們落地遠(yuǎn)程醫(yī)療就要考慮三方面因素：一是精度，醫(yī)療的精度必須高到離譜，有初科技手勢(shì)控制精度能達(dá)到0.01mm級(jí)別；二是立體，醫(yī)生也是人，有正常的交互習(xí)慣，建立VR/AR病人器官、組織模型，較大化接近人體并看得較清楚；三是成本，類(lèi)似一針?biāo)?00多萬(wàn)的產(chǎn)品沒(méi)有普及**，這是一個(gè)軟件算法配合硬件的方案，軟件算法效率提升可以降低硬件成本，進(jìn)而降低整體成本，實(shí)現(xiàn)“普通攝像頭+深度學(xué)習(xí)”方案，大數(shù)據(jù)進(jìn)一步訓(xùn)練，精準(zhǔn)度越來(lái)越高。


首先來(lái)講，基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別的技術(shù)方案優(yōu)勢(shì)明顯，從醫(yī)生動(dòng)作信息輸入到VR/AR模型做出反饋，這是一個(gè)動(dòng)態(tài)過(guò)程，降低了硬件的束縛，為實(shí)時(shí)手術(shù)提供了可行性，而且，手勢(shì)識(shí)別降低了硬件的依賴(lài)，讓醫(yī)生的手避免被其他物體遮擋，順應(yīng)醫(yī)生視覺(jué)習(xí)慣，而且0.01mm識(shí)別精度比醫(yī)生手術(shù)刀微弱抖動(dòng)還小，技術(shù)的落地基礎(chǔ)有了。

其次，人體是一個(gè)三維立體結(jié)構(gòu)，而手勢(shì)識(shí)別也是三維立體識(shí)別，VR/AR模型呈現(xiàn)也是三維立體。這過(guò)程類(lèi)似增強(qiáng)CT、MR或造影支持，從機(jī)器視覺(jué)獲取人體三維模型信息到VR/AR模型立體呈現(xiàn)，呈現(xiàn)在醫(yī)生眼前的就是一個(gè)立體的病人器官、組織，并清晰展示病灶情況，此時(shí)，醫(yī)生遠(yuǎn)程診斷病人情況，需要手術(shù)的情況下，也可以借助遠(yuǎn)程**VR/AR模型為基礎(chǔ)的手術(shù)平臺(tái)，實(shí)現(xiàn)兩地病人與醫(yī)生的鏈接，完成遠(yuǎn)程手術(shù)，為來(lái)不及遠(yuǎn)程運(yùn)送的急重癥病人提供新的希望。

最后，任何科技的產(chǎn)生都是為了造福大眾，成本的高企無(wú)法適應(yīng)市場(chǎng)需求，進(jìn)行較優(yōu)方案降低成本也是必須考慮的因素。目前來(lái)講，基于機(jī)器視覺(jué)的手勢(shì)識(shí)別方案分為兩種“一種是用深度攝像頭，一種是用一個(gè)或者多個(gè)普通攝像頭實(shí)現(xiàn)。 而其中深度攝像頭的方案又分為兩種，TOF（Time of Flight，光飛時(shí)間）和結(jié)構(gòu)光?！倍煌桨傅牟顒e就像人的一只眼睛、兩只眼睛看到景深層次不同，但是一只眼睛借助已有信息、關(guān)鍵提示等其他輔助軟條件也可以達(dá)到預(yù)定效果，而普通攝像頭信息延遲**TOF數(shù)倍、拍攝角度大于TOF很多，雖然提高算法要求，但是降低綜合成本，較及時(shí)、全面獲取信息，也較適應(yīng)醫(yī)療場(chǎng)景需求。



二、遠(yuǎn)程醫(yī)療VR/AR硬件低成本、高精度手勢(shì)識(shí)別技術(shù)可行

在手勢(shì)識(shí)別應(yīng)用于VR/AR硬件方面，有初科技有落地項(xiàng)目進(jìn)行實(shí)際驗(yàn)證，并把成本分成不同方案進(jìn)行呈現(xiàn)，當(dāng)然，包括較低成本的實(shí)現(xiàn)方案。


對(duì)于醫(yī)療來(lái)講，高精度就是病人的生命，有初科技實(shí)現(xiàn)0.01mm識(shí)別精度，為遠(yuǎn)程精準(zhǔn)醫(yī)療提供技術(shù)可行性。實(shí)現(xiàn)手勢(shì)識(shí)別依賴(lài)“攝像頭+算法”的合理方案，得益于機(jī)器視覺(jué)和深度學(xué)習(xí)技術(shù)的發(fā)展，我們利用普通攝像頭實(shí)現(xiàn)高精度的手勢(shì)識(shí)別，對(duì)于應(yīng)用的落地是一大利好。

而且，手勢(shì)識(shí)別的高精度擺脫穿戴設(shè)備也是一大突破，一個(gè)穿戴設(shè)備套在手上，增加一層交互傳感的誤差，這個(gè)誤差遠(yuǎn)遠(yuǎn)大于手術(shù)刀的誤差，這一點(diǎn)無(wú)手套、無(wú)標(biāo)記的手勢(shì)識(shí)別也是有初科技的優(yōu)勢(shì)。

對(duì)于醫(yī)療來(lái)講，延遲和視角是高精度的間接影響因素，卻直接影響著醫(yī)生對(duì)病人的**。利用現(xiàn)有SLAM攝像頭實(shí)現(xiàn)手勢(shì)識(shí)別，大部分用于SLAM的攝像頭均為魚(yú)眼或者廣角灰度攝像頭，在實(shí)現(xiàn)的精度上，用同樣的計(jì)算資源或者用同樣復(fù)雜度模型的話(huà)，基于深度的或者灰度的攝像頭能夠做到精度較高，RGB的精度反而相對(duì)會(huì)弱一些，因此，直接在SLAM的相機(jī)上實(shí)現(xiàn)手勢(shì)識(shí)別的精度也能夠達(dá)到比較滿(mǎn)意的效果。

在成本、延遲、廣角都占據(jù)優(yōu)勢(shì)的條件下，SLAM相機(jī)進(jìn)一步加速“普通攝像頭+深度學(xué)習(xí)”方案落地，也可能是未來(lái)的主流方案，等待臨床數(shù)據(jù)去訓(xùn)練和驗(yàn)證。



三、遠(yuǎn)程醫(yī)療“較自然交互”手勢(shì)識(shí)別成為VR/AR選擇

較好的交互就是沒(méi)有交互，當(dāng)下的交互方式都是人適應(yīng)機(jī)器，這樣就容易導(dǎo)致用戶(hù)的操作失誤，醫(yī)生的操作失誤就會(huì)導(dǎo)致病人的生命危險(xiǎn)，所以，交互方式適應(yīng)人才是較佳方案。


人類(lèi)誕生語(yǔ)言前，手勢(shì)識(shí)較原始、較自然的交流方式，成為人的一種習(xí)慣、潛意識(shí)，出錯(cuò)率大大降低，而手勢(shì)識(shí)別就是基于較自然的交互，適應(yīng)醫(yī)生的習(xí)慣，讓醫(yī)生全身心投入**，而不是分心于交互習(xí)慣。

而無(wú)論具有高度三維立體沉浸感的VR/AR，還是交互自然而生的手勢(shì)控制，模仿人體日常生活中的行為方式，如揮手、握手、擊掌、猜拳、抓取……動(dòng)態(tài)追蹤手勢(shì)進(jìn)行實(shí)時(shí)識(shí)別，**動(dòng)作識(shí)別的及時(shí)性、準(zhǔn)確性。

為了提高真實(shí)手術(shù)場(chǎng)景的觸感，基于VR/AR定制手術(shù)刀、鑷子等設(shè)備，實(shí)現(xiàn)手勢(shì)的觸覺(jué)反饋體驗(yàn)，進(jìn)一步感知手部復(fù)雜自由度的姿態(tài)和意圖，未來(lái)手勢(shì)識(shí)別成為VR/AR設(shè)備主流交互方式指日可待。


智匯有初(廣州)科技有限公司專(zhuān)注于電腦一體機(jī),筆記本電腦,投影電腦等

• 詞條

  詞條說(shuō)明

• 為什么說(shuō)吳承恩是偉大的預(yù)言家？

  人 從遙遠(yuǎn)的古代 到身處的現(xiàn)代 打敗了地球上的對(duì)手 站在了食物鏈* 征服欲望膨脹 企圖控制一切 限于落后的科技條件 誕生了**現(xiàn)實(shí)的浪漫主義** 明嘉靖年間 一位**小說(shuō)作者 吳承恩 宦途困頓 絕意仕進(jìn) 閉門(mén)著書(shū) 終成《西游記》大作 書(shū)中 孫悟空 求師問(wèn)道菩提祖師 學(xué)成七十二變 凌駕筋斗云 歸于花果山 千**后 那些吳承恩的神奇預(yù)言 一個(gè)個(gè)成為現(xiàn)實(shí) 也包括 智匯有初 **良好的“空間動(dòng)作精準(zhǔn)識(shí)別與

• 有初科技|Space Touching技術(shù)，賦能沉浸式互動(dòng)投影空間

  在工業(yè)化時(shí)代，工業(yè)化大生產(chǎn)帶來(lái)工業(yè)標(biāo)準(zhǔn)產(chǎn)品的生產(chǎn)效率提升，一批率先完成工業(yè)化的英國(guó)、美國(guó)、法國(guó)等西方國(guó)家企業(yè)意識(shí)到競(jìng)爭(zhēng)中“公關(guān)、廣告”的重要性，并發(fā)明了5W理論、4P營(yíng)銷(xiāo)模型、多級(jí)傳播理論、定位理論、漏斗模型、STP理論等，誕生了大衛(wèi)·奧格威、哈羅德·拉斯韋爾、拉扎斯菲爾德、馬歇爾·麥克盧漢等一大批傳播學(xué)大師，奠定了現(xiàn)代公關(guān)、廣告行業(yè)的理論根基。然而，進(jìn)入互聯(lián)網(wǎng)時(shí)代，中國(guó)電商、社交網(wǎng)絡(luò)、直播、短視

• 智匯有初|為什么說(shuō)手勢(shì)控制技術(shù)是下一代遙控器？

  在20世紀(jì)，一個(gè)遙控器成為現(xiàn)代客廳的* 在21世紀(jì)，一堆遙控器成為現(xiàn)代家居的累贅 電視、空調(diào)、機(jī)頂盒…… 對(duì)于成人 一不小心拿錯(cuò)遙控器開(kāi)錯(cuò)家電 浪費(fèi)時(shí)間 耽誤事情 對(duì)于老人 復(fù)雜的按鍵 層層的交互 讓不懂智能產(chǎn)品的老人苦不堪言 對(duì)于小朋友 遙控器是玩具 亂拿亂放、搞破壞 無(wú)法開(kāi)機(jī)的事情時(shí)有發(fā)生 智匯有初 手勢(shì)控制技術(shù) 一種基于體感的交互方式 識(shí)別40余種手勢(shì) 達(dá)到0.01mm精準(zhǔn)度 簡(jiǎn)單化、集成

• 有初科技|一再發(fā)生疫情接觸感染，為什么不重視無(wú)接觸交互設(shè)施建設(shè)？

  到目前為止，**疫情到了崩潰邊緣，控制程度較好的中國(guó)也一再爆發(fā)小規(guī)模輸入或關(guān)聯(lián)疫情，大連、鄭州、南京、瑞麗、廣州等都出現(xiàn)過(guò)二次疫情，讓人不禁揪心。這種情況下，怎么遏制疫情接觸感染？ 三道防線(xiàn)，構(gòu)筑防疫屏障 大規(guī)模傳播疫情需要具備一定條件，包括傳染源、傳染途徑、被傳染者三個(gè)，缺一不可。這就為我們阻斷傳播提供了解決思路。 首先，消滅傳染源，把病毒攜帶者和患者治好，并把相關(guān)殘留病毒的物品進(jìn)行徹底消毒，從