智能眼鏡在醫(yī)療行業(yè)的應用和發(fā)展
關于智能眼鏡在醫(yī)療行業(yè)的應用,我們最早是從關注谷歌眼鏡的醫(yī)學視頻直播開始的。谷歌眼鏡的問世,曾帶來一片叫好聲,感覺能夠給大家?guī)硪粋€全新的直播時代。但最近兩年,谷歌眼鏡用于醫(yī)學方面直播的文章幾乎消失了,甚至谷歌眼鏡本身都已經(jīng)停產(chǎn)。
當時,谷歌眼鏡出來后,我們也買了一個,并做了很多實際的相關實驗,發(fā)現(xiàn)了一些問題,包括:一是續(xù)航問題;二是谷歌眼鏡作為一款消費類產(chǎn)品,在應用于手術直播時,周圍會有一個很大的無用視野區(qū);三是在手術燈照射的情況下,直播時中心區(qū)域一片死白,而這一塊恰好是我們最關注、最有興趣的點。基于以上原因,我們后來沒有再繼續(xù)利用谷歌眼鏡做醫(yī)療直播。
之后,在英特爾公司的幫助下,我們又先后接觸了一些廠家。因我是臨床醫(yī)師出身,始終認為記錄直播和轉(zhuǎn)播對于臨床醫(yī)學具有非常重要的作用,所以一直在堅持不懈的尋找適合的相關產(chǎn)品。后來拿到一家公司的產(chǎn)品,看上去和谷歌眼鏡很像,于是提出是否能從上面提到的幾個方面進行改進。
具體改進措施包括:首先,我們認為醫(yī)生在長時間待用過程中,如果這個產(chǎn)品很重,會讓醫(yī)生感覺非常不舒服,因此希望佩戴在醫(yī)生頭頂?shù)臇|西越輕越好。基于此,對產(chǎn)品改進的第一步就是,除攝像頭及其虛擬顯示屏這兩個功能以外,剩下的計算元件、電池等其他東西都被放到一個附屬裝置上。也就是說,它真正的應用是跟另外一個手機聯(lián)系在一起,由手機進行供電。這樣,醫(yī)生在把眼鏡戴在頭上時,幾乎不會感覺到它的存在。
第二個問題是原有谷歌眼鏡在使用過程中,因為計算機進行了一個測算,所以平均以后,中心視野光線太亮導致一片死白的情況。解決方案是對計算機進行一個算法的改進,也就是說,原先的大視野最后只保留了中心的一個區(qū)域,進行一個點測光。在這個點測光過程中,計算機算法進行改進,最終的效果就是只有最核心的區(qū)域進入計算單元。這樣,太強的光線部分通過算法就可以把原有的過白部分的光亮度降下來,讓醫(yī)生能夠看到真正的視野中的細節(jié)。在實踐過程中,通過改進計算機算法,使視野從原有的90度縮窄到45度、30度、20度。在視野縮小后,有兩個明顯的改善:一是減少了之前過量的光線,從而獲得原來沒有的細節(jié);另外就是我們在新產(chǎn)品試用時發(fā)現(xiàn),人眼看物體是有景深的,作為口腔科,關注的核心點是口腔里的牙齒,但眼鏡會把周圍的皮膚照的很清楚,遠處的牙齒則發(fā)生了模糊,原因就是對焦發(fā)生了錯誤。而當我們通過計算機把視野縮窄到足夠小時,對焦相對就會精確很多。
此外,此款眼鏡的分體式設計,也解決了供電問題?,F(xiàn)有情況下,持續(xù)拍攝兩個小時沒有任何問題。
該產(chǎn)品和谷歌眼鏡一樣,有一個小的虛擬屏幕放在眼球前方,好處是在拍攝使用過程中,可以隨時查看錄像的位置是否是我們真正想觀察的地方。
使用過程中發(fā)現(xiàn)的另外一個問題是,到底由誰來戴這個眼鏡?我曾經(jīng)以為應該是第一助手或是其他人來辦。后來在使用過程中發(fā)現(xiàn),實際上還是應該由術者來控制,因為只有術者才能夠看到很小的手術區(qū)域里面的細節(jié),包括第一助手站在對面的時候,很可能也看不到視野里面。
此款眼鏡可以看到攝像頭能夠在某一個角度范圍內(nèi)旋轉(zhuǎn),使我們可以更好的去控制最后直播出來的畫面。最好的效果就是固定住術者頭上,然后不需要任何人去做任何工作,整個過程中和術者的眼睛看到的景象一模一樣。其中還有一個地方需要進行改進,就是頭戴的方式。目前,常見的方式還是一種類似于鏡架式的方式。但例如耳鼻喉科醫(yī)生會在頭上戴一個專門看耳道的鏡子,戴一天也不會覺得很難受;整形外科醫(yī)生,做血管吻合的醫(yī)生,都會戴一個專用的顯微鏡,對于醫(yī)生來說,如果把眼鏡架的方式轉(zhuǎn)變?yōu)橐环N戴在頭上的發(fā)帶形式,效果會更好。頭戴式的可能要解決術者確認拍攝畫面是否正確的問題。因為它可以固定的非常牢固,確保在轉(zhuǎn)播過程中,位置不會隨便發(fā)生改變,但在術者使用過程中,現(xiàn)在的鏡架式會發(fā)生視野逐漸偏離的情況,最終導致拍攝效果不佳,這也是我們提出由眼鏡架改為發(fā)帶式的原因之一。
之前我們進行了一個現(xiàn)場的長時間拍攝。無論從門診醫(yī)生還是手術病房醫(yī)生反饋,都認為拍攝視頻的畫面不錯,1080P顏色還原也不錯,流暢度和清晰度也非常好。外科主任希望將來對常規(guī)的手術都進行一場標準手術模式的拍攝。這樣的效果,是教學醫(yī)院最想做的?,F(xiàn)場拍攝過程中,我們的醫(yī)生遠離去看手機上的屏幕。因為在手術過程中,除了主刀醫(yī)生,一些比較小型的手術周圍所有人的視野都非常受限。所以可以想象,圍著一圈學生去觀摩手術時效果有多差。
目前使用的這一版眼鏡,現(xiàn)有的問題主要有哪些呢?主要還是來自于剛才說到的景深導致的對焦模糊問題。我們關注的是牙齒,但焦點落在了皮膚上。這個當然可以通過算法再進行一個優(yōu)化,但這樣的問題可能或多或少不可避免。因為同樣是往前看,計算機并不知道你的眼睛目前對在哪一個點上。而一旦這個角度變得更加舒展的時候,隨著醫(yī)生手術時頭轉(zhuǎn)來轉(zhuǎn)去,采集的圖像也會大幅移動,給觀者帶來不舒服的感覺。我們的醫(yī)生曾提出有沒有手動對焦的可能,當然手動對焦是不現(xiàn)實的,因為你的距離始終是在變化過程中,最好的做法只能是繼續(xù)優(yōu)化算法。無論如何,目前這一版眼鏡在我們采集視頻的過程中,總體還是感覺相當滿意的,尤其是視野比較大的手術,高清的視頻放在電腦上感覺效果更好。
上面這張手術照片是從一段視頻里隨機取的一張,拍攝時是站在一助身后進行的。目前存在的一個問題是顏色會有一點粉,這是因為白平衡出了問題,通過簡單算法的一個均衡很快就能改善。算法的另外一個需要改進的地方,我認為是目前圖像的對比度仍然太大,對于強光視野下的這種拍攝會出現(xiàn)一會黑色一會白色的情況。這個隨著算法的改進以及將來機器性能的提升,只要算法速度足夠快,能把這個問題解決好。
對于眼鏡類產(chǎn)品,希望出現(xiàn)一種更新的產(chǎn)品,類似于相機拍攝過程中摁住快門,有一種智能追焦的算法,就像舞臺上跟著舞者進行一個舞臺追光的感覺。也就是說,我們通過圖像識別找到目前轉(zhuǎn)播的焦點,無論相機在什么位置,都能夠快速的計算,把焦距對清楚。即使手術醫(yī)生的頭轉(zhuǎn)來轉(zhuǎn)去,它的圖像始終固定下來。我想這種技術的發(fā)展是很快的,也可以預計到一定會有這一天來到。目前,把視野縮窄達到對焦更精確這個功能通過計算機的算法實現(xiàn)了。將來還是希望,對口腔科、眼科這種比較小視野的手術,能有一種更特殊的光學物理眼鏡,專門用于這種小視野直播。
上海先予工業(yè)自動化設備有限公司是一家集非標制定、研發(fā)、生產(chǎn)、銷售、工程服務為一體的工業(yè)裝備制造企業(yè)。公司以自主核心技術和系統(tǒng)集成優(yōu)勢為依托,針對企業(yè)用戶在生產(chǎn)過程控制中的各種復雜控制要求,采用DCS和PLC等控制系統(tǒng)為企業(yè)量身定制,技術先進、可靠性高、經(jīng)濟實用的電氣和自動化控制,生產(chǎn),輸送,包裝、清洗系統(tǒng),提供完整的非標制定自動化生產(chǎn)解決方案,從而有效為企業(yè)降低勞動力成本、提高品質(zhì)、提升效率。