本書重點在深度機器學習框架下,圍繞上述關鍵問題,對筆者的研究經(jīng)歷、研究成果和研究結論進行總結和歸納,主要內容如下:
章主要介紹感知用戶界面(perceptual user interface,PUI)以及感知計算(perceptual computing)概念的提出和歷史發(fā)展,以及在感知計算語境下,基于表面肌電的手勢識別(下文中簡稱為肌電手勢識別)技術相比其他手勢識別技術的特點和優(yōu)缺點,由此引出筆者的主要研究問題和本書主要架構。
第二章描述表面肌電信號的產(chǎn)生機理,并對基于表面肌電的手勢識別技術進行綜述。
第三章基于手勢動作與肌群產(chǎn)生的肌電信號的關聯(lián)性假設,介紹一種面向肌電手勢識別的多流融合深度學習方法,對前臂肌電信號生成的肌電圖像進行多流表征,將得到的多個子圖像分別輸入多流卷積神經(jīng)網(wǎng)絡各個分支中進行建模,之后通過特征層多流融合,把多個分支學習到的深度特征融合在一起。在不同肌電數(shù)據(jù)集上的結果表明,在多流融合深度學習框架下對前臂不同肌群的肌電信號進行關聯(lián)性建模,可以有效提高肌電手勢識別的準確率。
第四章介紹了一種面向肌電手勢識別的多視圖深度學習方法,從稀疏多通道肌電信號中提取多個經(jīng)典特征集構建為肌電信號不同視圖的數(shù)據(jù),然后通過一個深度學習框架下的視圖選擇過程,選取具有較優(yōu)手勢識別性能的視圖,將其數(shù)據(jù)輸入多視圖卷積神經(jīng)網(wǎng)絡中進行建模。相比單視圖學習,多視圖學習可以充分利用原始數(shù)據(jù)多個視圖下的信息,從而帶來性能的提升。
第五章主要介紹肌電手勢識別中的領域偏移問題,并介紹一種面向肌電手勢識別系統(tǒng)的無監(jiān)督領域自適應算法,以及其對筆者所提出不同深度神經(jīng)網(wǎng)絡模型在會話間或被試間手勢識別測試時性能的影響。
第六章對本書內容進行了總結,并對未來相關研究工作進行展望。