科研動(dòng)態(tài)
LSTM多維時(shí)序建模中隱藏層激活的降維可視分析對(duì)比研究
中文題目：LSTM多維時(shí)序建模中隱藏層激活的降維可視分析對(duì)比研究
論文題目：Comparing dimensionality reduction techniques for visual analysis of the LSTM hidden activity on multi-dimensional time-series modeling
錄用期刊：The Visual Computer （JCR Q2）
作者列表：
1） 紀(jì)連恩 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)系教師
2） 邱詩(shī)榮 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù) 碩 21
3） 徐 智 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù) 碩 23
4） 劉 月 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù) 碩 20
5） 楊 光 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù) 碩 22
長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)已被廣泛應(yīng)用于包括各類(lèi)工業(yè)控制領(lǐng)域在內(nèi)的多維時(shí)序數(shù)據(jù)建模中，而可視分析方法（VAST）在提高其可解釋性方面發(fā)揮著重要作用。為了理解模型隱藏層中的高維激活模式，降維技術(shù)（DR）的應(yīng)用必不可少。然而，DR的多樣性極大地增加了選擇的難度。本文針對(duì)DR在LSTM隱藏層激活可視分析中的適用性問(wèn)題，選取了四種具有代表性的DR技術(shù)作為比較對(duì)象，包括PCA、MDS、t-SNE和UMAP。原始的連續(xù)型建模數(shù)據(jù)和符號(hào)化處理后的離散型數(shù)據(jù)作為模型學(xué)習(xí)的知識(shí)，可將它們與LSTM隱藏層的激活行為相關(guān)聯(lián)，從而比較不同DR技術(shù)保持和抽取隱藏層激活信息的能力。根據(jù)LSTM模型結(jié)構(gòu)和數(shù)據(jù)特點(diǎn)，分別設(shè)計(jì)了在降維質(zhì)量評(píng)估、高低隱藏層間抽象表征、模型與輸出變量間關(guān)聯(lián)分析、輸入特征重要性分析和隱藏層時(shí)序規(guī)律探索等五個(gè)典型任務(wù)中的對(duì)照實(shí)驗(yàn)。通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的定性和定量分析，總結(jié)了不同DR技術(shù)的適用性，提煉了LSTM多維時(shí)序建模場(chǎng)景下對(duì)隱藏層激活狀態(tài)進(jìn)行降維可視分析的系統(tǒng)性指導(dǎo)原則。
深度模型具有工作機(jī)理復(fù)雜、可解釋性差的問(wèn)題，LSTM也不例外。可視分析在改善深度模型可解釋性方面發(fā)揮了重要作用，而隱藏層激活狀態(tài)作為模型的內(nèi)部表現(xiàn)，是模型可視分析的主要研究對(duì)象。但高維的隱藏層激活值難以被直接可視化映射，近年來(lái)，人們通過(guò)DR提取隱藏層的激活值特征，在低維空間展示模型內(nèi)部行為以利于人的理解和分析。然而，在對(duì)LSTM進(jìn)行多維時(shí)序預(yù)測(cè)的可視分析中，DR的應(yīng)用面臨著諸多挑戰(zhàn)。一方面，DR的多樣性極大地增加了選擇的難度，且DR是一個(gè)無(wú)監(jiān)督的過(guò)程，在實(shí)際應(yīng)用中很容易被誤用；另一方面，不同的DR會(huì)產(chǎn)生不同的模式特征，DR的有效性評(píng)估分析任務(wù)的特點(diǎn)緊密相關(guān)。
本文根據(jù)DR特點(diǎn)和應(yīng)用現(xiàn)狀，選擇了PCA、MDS、t-SNE和UMAP四種代表性技術(shù)作為比較對(duì)象。此外，還提煉出了多維時(shí)間序列建模應(yīng)用中LSTM隱藏層激活可視分析的五個(gè)主要任務(wù)，分別為T(mén)1：降維質(zhì)量評(píng)估，T2：高低隱藏層間的抽象表征，T3：模型與輸出變量的關(guān)聯(lián)分析，T4：輸入特征的重要性分析，T5：隱藏層的時(shí)序規(guī)律探索。
為了能夠全面有效地將降維結(jié)果進(jìn)行可視化，本文設(shè)計(jì)了空間投影和時(shí)序投影兩種視圖。分析人員可根據(jù)不同的分析任務(wù)選取不同分段下隱藏層激活狀態(tài)，將其輸入到DR中，然后再將二維空間下的投影結(jié)果映射到相應(yīng)視圖中進(jìn)行探索和分析。
圖1 投影視圖
面向五種典型LSTM可視分析任務(wù)場(chǎng)景，文中通過(guò)多組對(duì)照實(shí)驗(yàn)定性和定量比較了四種DR技術(shù)的表現(xiàn)性能和效果。
圖2 降維質(zhì)量評(píng)估（T1）
圖3 模型的隱藏層與輸出變量之間的關(guān)聯(lián)在訓(xùn)練過(guò)程中發(fā)生變化（T2,T3）
表1 多維模型輸入特征重要性保持能力評(píng)估結(jié)果（T4）
圖4 某樣本在不同DR下的時(shí)序投影結(jié)果（T5）
基于上述實(shí)驗(yàn)結(jié)果，本文提煉了在LSTM隱藏層可視分析任務(wù)中選擇DR時(shí)必須考慮的幾個(gè)重要因素，包括任務(wù)的關(guān)聯(lián)對(duì)象、分析視角以及模式探索需求，并對(duì)它們適用的DR技術(shù)進(jìn)行了總結(jié)，如表2所示。
表2 可視分析任務(wù)的特征及其適用的降維技術(shù)
本文通過(guò)選擇四種具有代表性的DR技術(shù)進(jìn)行對(duì)比研究，提煉了DR應(yīng)用于多維時(shí)間序列建模的五種LSTM可視化分析任務(wù)，并進(jìn)行了相應(yīng)的案例實(shí)驗(yàn)研究。最后，根據(jù)任務(wù)的關(guān)聯(lián)對(duì)象和分析視角，總結(jié)了不同類(lèi)型任務(wù)對(duì)DR的關(guān)鍵特征要求，為研究人員在可視化地分析LSTM隱藏層激活狀態(tài)時(shí)選用最有效的DR技術(shù)提供了系統(tǒng)性指導(dǎo)原則。
紀(jì)連恩，博士，副教授，研究生導(dǎo)師。主要研究領(lǐng)域?yàn)榇髷?shù)據(jù)可視化與智能分析、可解釋機(jī)器學(xué)習(xí)及工業(yè)領(lǐng)域應(yīng)用、虛擬現(xiàn)實(shí)與計(jì)算機(jī)仿真、計(jì)算機(jī)圖形學(xué)與人機(jī)交互技術(shù)等。主持和參與了國(guó)家自然科學(xué)基金、國(guó)家科技重大專(zhuān)項(xiàng)和重點(diǎn)企業(yè)合作項(xiàng)目多項(xiàng)?，F(xiàn)為中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）人機(jī)交互專(zhuān)委會(huì)委員、中國(guó)圖象圖形學(xué)學(xué)會(huì)（CSIG）可視分析專(zhuān)委會(huì)委員以及虛擬現(xiàn)實(shí)專(zhuān)委會(huì)委員。
聯(lián)系方式：[email protected]