科研動(dòng)態(tài)
基于最大均值差異領(lǐng)域泛化的化工過(guò)程智能辨識(shí)方法
中文題目：基于最大均值差異領(lǐng)域泛化的化工過(guò)程智能辨識(shí)方法
論文題目：An intelligent identification method based on self-adaptive mechanism regulated neural network for chemical process
錄用期刊/會(huì)議：Journal of the Taiwan Institute of Chemical Engineers (JCR Q1)
原文DOI：10.1016/j.jtice.2023.105318
原文鏈接：https://doi.org/10.1016/j.jtice.2023.105318
作者列表：
1） 徐寶昌 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 自動(dòng)化系教師
2） 王雅欣 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 控制科學(xué)與工程專(zhuān)業(yè) 博19
3） 孟卓然 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 控制科學(xué)與工程專(zhuān)業(yè) 博20
4） 陳貽祺 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 控制科學(xué)與工程專(zhuān)業(yè) 博21
5） 尹士軒 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 控制科學(xué)與工程專(zhuān)業(yè) 博23
化工過(guò)程具有多變量、非線(xiàn)性、時(shí)變、強(qiáng)耦合等復(fù)雜特性，往往導(dǎo)致傳統(tǒng)辨識(shí)理論在實(shí)際應(yīng)用中效果不佳。近年來(lái)，深度學(xué)習(xí)的發(fā)展為非線(xiàn)性系統(tǒng)辨識(shí)帶來(lái)了突破，但仍需要更多的進(jìn)展。本文提出了一種基于自適應(yīng)正則化神經(jīng)網(wǎng)絡(luò)的化工過(guò)程動(dòng)態(tài)模型辨識(shí)方法。首先，為了提高神經(jīng)網(wǎng)絡(luò)應(yīng)用于化工過(guò)程辨識(shí)的可靠性，提高泛化能力，將描述機(jī)理的已知微分方程作為正則化項(xiàng)來(lái)約束神經(jīng)網(wǎng)絡(luò)的輸出。然后，提出了一種具體的訓(xùn)練方法，通過(guò)引入可訓(xùn)練的自適應(yīng)權(quán)值，迫使神經(jīng)網(wǎng)絡(luò)專(zhuān)注于訓(xùn)練誤差較大的區(qū)域。此外，針對(duì)機(jī)理方程中某些參數(shù)未知的情況，提出了一種半監(jiān)督網(wǎng)絡(luò)訓(xùn)練方法。最后，建立了一個(gè)動(dòng)態(tài)虛擬裝置（VD）模型來(lái)模擬被控對(duì)象的動(dòng)態(tài)響應(yīng)。在pH中和與連續(xù)攪拌釜反應(yīng)器（CSTR）過(guò)程上進(jìn)行的各種比較實(shí)驗(yàn)表明，該辨識(shí)方法能夠獲得魯棒性強(qiáng)、精度高、泛化能力強(qiáng)的非線(xiàn)性動(dòng)態(tài)模型。
深度學(xué)習(xí)方法主要基于數(shù)據(jù)驅(qū)動(dòng)，需要大量的采樣數(shù)據(jù)和豐富的信息。如今，先進(jìn)控制系統(tǒng)和生產(chǎn)管理系統(tǒng)的引入使得工業(yè)過(guò)程可以實(shí)現(xiàn)快速、準(zhǔn)確、穩(wěn)定的控制。盡管從DCS中獲得的樣本數(shù)據(jù)數(shù)量巨大，但波動(dòng)非常小。在某種程度上，這相當(dāng)于重復(fù)的數(shù)據(jù)采樣，數(shù)據(jù)覆蓋率和代表性較差。而機(jī)理建模方法獲得的模型雖有良好的可解釋性和外延性，但對(duì)于復(fù)雜工業(yè)過(guò)程普遍存在求解復(fù)雜度過(guò)高等諸多難題，且實(shí)際模型往往會(huì)隨著時(shí)間推移而與機(jī)理模型產(chǎn)生偏差。因此，提出了一種機(jī)理與數(shù)據(jù)融合驅(qū)動(dòng)的非線(xiàn)性工業(yè)過(guò)程辨識(shí)方法，該方法利用已知的機(jī)理對(duì)深度網(wǎng)絡(luò)模型進(jìn)行約束，建立自適應(yīng)機(jī)理正則化深度網(wǎng)絡(luò)。
1.為了最大限度地減少傳統(tǒng)化工過(guò)程辨識(shí)方法對(duì)化工廠(chǎng)運(yùn)行的干擾，提出了一種基于工廠(chǎng)歷史數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)辨識(shí)方法。此外，還采用了適用于控制領(lǐng)域的虛擬裝置模型結(jié)構(gòu)。
2.提出在已知化學(xué)過(guò)程機(jī)理的情況下，將常微分方程作為正則化項(xiàng)來(lái)約束網(wǎng)絡(luò)的輸出。這種數(shù)據(jù)-機(jī)理混合驅(qū)動(dòng)建模方法可以在訓(xùn)練數(shù)據(jù)信息不足的情況下獲得滿(mǎn)足機(jī)理條件約束的模型，提高神經(jīng)網(wǎng)絡(luò)的可解釋性和外推性。
3.對(duì)于部分機(jī)理參數(shù)未知的情況，提出了一種半監(jiān)督訓(xùn)練方法，在估計(jì)未知機(jī)理方程參數(shù)的同時(shí)更新神經(jīng)網(wǎng)絡(luò)權(quán)重。
1）自適應(yīng)機(jī)理正則化LSTM模型
MRLSTM框架由兩部分組成。該框架的第一部分是LSTM網(wǎng)絡(luò)結(jié)構(gòu)。然后，LSTM網(wǎng)絡(luò)的輸出被輸入到機(jī)理正則化部分，該部分本質(zhì)上由描述動(dòng)態(tài)過(guò)程遵循的q個(gè)微分方程組成，以評(píng)估微分方程的殘差。本研究考慮以下形式的一般非線(xiàn)性常微分方程（Ordinary differential equation，ODE）作為已知機(jī)理方程：
MRLSTM的機(jī)理正則化部分定義為下式。其中，na為解空間中隨機(jī)分布的配置點(diǎn)數(shù)量。顯然，resi表示第i個(gè)常微分方程與模型輸出在na個(gè)配置點(diǎn)下的殘差之和。
接下來(lái)，將等式約束作為正則化項(xiàng)訓(xùn)練LSTM網(wǎng)絡(luò)。通過(guò)組合與樣本數(shù)據(jù)及殘差相對(duì)應(yīng)的損失來(lái)構(gòu)建損失函數(shù)。其中ODE的殘差的權(quán)重由可訓(xùn)練的自適應(yīng)權(quán)重重新縮放。該方法使神經(jīng)網(wǎng)絡(luò)在求解方程的過(guò)程中自動(dòng)聚焦誤差較大的區(qū)域，并在損失較大的區(qū)域增加相應(yīng)的權(quán)重。具體地，
2）自適應(yīng)訓(xùn)練算法
a. 所有已知機(jī)理方程參數(shù)為常數(shù)
在機(jī)理模型的所有參數(shù)都是常數(shù)的情況下，通過(guò)網(wǎng)絡(luò)反向傳播，以計(jì)算損失函數(shù)對(duì)LSTM網(wǎng)絡(luò)的權(quán)重和殘差的權(quán)重的梯度。如下式所示，所提出的訓(xùn)練方法的基本思想是在具有較大損失的區(qū)域中最大化相對(duì)于自適應(yīng)權(quán)重的損失，并最小化相對(duì)于網(wǎng)絡(luò)權(quán)重的損失。
在最小化損失函數(shù)的過(guò)程中，第t步的權(quán)重更新如下式所示。
自適應(yīng)權(quán)重梯度更新方程如下：
可以看出，如果權(quán)重向量初始值為非負(fù)值，則權(quán)重向量將為非單調(diào)遞減。當(dāng)方程殘差和權(quán)重較大時(shí)，其梯度會(huì)相應(yīng)增加，這是對(duì)不能很好地?cái)M合機(jī)理方程的深度網(wǎng)絡(luò)的懲罰。在具體的優(yōu)化過(guò)程中，采用雙層優(yōu)化方法。首先使用Adam算法進(jìn)行固定次數(shù)ep1的迭代優(yōu)化，同時(shí)更新自適應(yīng)權(quán)重和網(wǎng)絡(luò)權(quán)重。然后使用二階算法SGD-SRSO進(jìn)行新ep2輪次的迭代優(yōu)化，在此期間自適應(yīng)權(quán)重保持不變，僅優(yōu)化LSTM網(wǎng)絡(luò)權(quán)重。
b. 部分機(jī)理方程參數(shù)未知
在未知的情況下，訓(xùn)練機(jī)理正則化部分的問(wèn)題變成了半監(jiān)督學(xué)習(xí)任務(wù)。具體實(shí)現(xiàn)方法為通過(guò)最大化關(guān)于自適應(yīng)權(quán)重的損失并最小化關(guān)于網(wǎng)絡(luò)權(quán)重和參數(shù)估計(jì)的損失來(lái)獲得一致性參數(shù)估計(jì):
其中，
在最小化損失函數(shù)的過(guò)程中，第t步的權(quán)重更新如下式所示。
在半監(jiān)督訓(xùn)練過(guò)程中，采用雙層優(yōu)化方法。首先使用Adam算法進(jìn)行固定次數(shù)ep1的迭代優(yōu)化，同時(shí)更新自適應(yīng)權(quán)重，網(wǎng)絡(luò)權(quán)重和未知機(jī)理參數(shù)。然后使用二階算法SGD-SRSO進(jìn)行新ep2輪次的迭代優(yōu)化，在此期間自適應(yīng)權(quán)重和未知機(jī)理參數(shù)保持不變，僅優(yōu)化LSTM網(wǎng)絡(luò)權(quán)重。
用于辨識(shí)的SA-MRLSTM結(jié)構(gòu)如圖1所示。
圖1 SA-MRLSTM模型
3）虛擬裝置模型（VD）構(gòu)建
在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，模型的輸入由實(shí)際采樣數(shù)據(jù)組成。這種模型被大多數(shù)基于深度學(xué)習(xí)的非線(xiàn)性系統(tǒng)辨識(shí)方法所使用。然而，為了模擬被控對(duì)象對(duì)控制信號(hào)的響應(yīng)，希望在訓(xùn)練結(jié)束后構(gòu)建一個(gè)只使用CV的實(shí)際初始條件和MV的實(shí)際值作為輸入的模型。該模型可以作為虛擬裝置模擬受控對(duì)象在不同工況下的動(dòng)態(tài)響應(yīng)或測(cè)試控制算法的性能，更適合控制領(lǐng)域。因此，模型的輸入向量由實(shí)際輸入和預(yù)測(cè)輸出組成，而不是實(shí)際輸入和實(shí)際輸出，如下式所示。
VD模型的構(gòu)建如圖2所示，其中MV是被控對(duì)象的輸入，CV是被控對(duì)象的輸出。在采用開(kāi)環(huán)控制時(shí)，MV是手動(dòng)給定的。對(duì)于閉環(huán)控制，MV是執(zhí)行器在接收到來(lái)自控制器的控制信號(hào)之后的輸出。VD模型的輸入和輸出向量的維數(shù)與STA-LSTM的相同。在初始時(shí)刻t0，STA-LSTM輸入向量中的所有值都是預(yù)先設(shè)置的或通過(guò)實(shí)際采樣獲得的，網(wǎng)絡(luò)計(jì)算的輸出值則存儲(chǔ)在數(shù)據(jù)庫(kù)中。然后，在t0+1時(shí)刻，網(wǎng)絡(luò)輸入向量中的元素為來(lái)自上一時(shí)間步存儲(chǔ)在數(shù)據(jù)庫(kù)中的輸出值，而不是實(shí)際采樣。在之后的時(shí)間步里，VD模型的輸入向量中的xy(t)部分的每個(gè)元素的值都來(lái)自網(wǎng)絡(luò)本身的先前計(jì)算結(jié)果。
圖2 VD模型構(gòu)建示意圖
以pH中和過(guò)程與CSTR過(guò)程為例進(jìn)行實(shí)驗(yàn)，驗(yàn)證SA-MRLSTM模型和相應(yīng)雙層優(yōu)化算法的有效性和優(yōu)越性，以及在CSTR機(jī)理方程參數(shù)k0未知的情況下所提出的訓(xùn)練算法的魯棒性。
表1 不同模型結(jié)構(gòu)下的實(shí)驗(yàn)結(jié)果
(a) pH中和過(guò)程 (b) CSTR 過(guò)程
圖3 不同優(yōu)化算法的訓(xùn)練誤差對(duì)比
圖4 pH值對(duì)q2的傳遞函數(shù)和階躍響應(yīng)曲線(xiàn)
圖5 CSTR過(guò)程參數(shù)k0估計(jì)曲線(xiàn)
圖6 CSTR過(guò)程不同測(cè)量噪聲下參數(shù)k0估計(jì)精度
表2 不同測(cè)量噪聲下的模型訓(xùn)練和測(cè)試結(jié)果
圖7 CSTR過(guò)程LSTM和SA-MRLSTM泛化能力測(cè)試結(jié)果
考慮到化學(xué)過(guò)程的復(fù)雜性和傳統(tǒng)辨識(shí)方法的局限性，本文提出了一種基于SA-MRLSTM的結(jié)合機(jī)理和過(guò)程數(shù)據(jù)的化工過(guò)程動(dòng)態(tài)模型辨識(shí)方法。為了在訓(xùn)練數(shù)據(jù)的信息不充分時(shí)獲得準(zhǔn)確的模型，引入微分方程作為正則化項(xiàng)來(lái)約束神經(jīng)網(wǎng)絡(luò)的輸出，迫使網(wǎng)絡(luò)滿(mǎn)足微分方程描述的物理或化學(xué)機(jī)理。在訓(xùn)練過(guò)程中，將自適應(yīng)權(quán)值引入損失函數(shù)，通過(guò)最小化損失和最大化自適應(yīng)權(quán)值來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以獲得更好的擬合結(jié)果。此外，還討論了當(dāng)機(jī)理方程中存在未知參數(shù)時(shí)，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和參數(shù)估計(jì)方法。VD模型使用初始條件和MV作為模型輸入，可以有效地獲得先進(jìn)控制器所需的傳遞函數(shù)模型，避免辨識(shí)實(shí)驗(yàn)對(duì)實(shí)際生產(chǎn)過(guò)程的干擾。在pH中和與CSTR過(guò)程上的實(shí)驗(yàn)結(jié)果表明，SA-MRLSTM網(wǎng)絡(luò)適用于化工過(guò)程辨識(shí)，具有較強(qiáng)的魯棒性和泛化能力。
徐寶昌，副教授，博士生導(dǎo)師/碩士生導(dǎo)師。長(zhǎng)期從事復(fù)雜系統(tǒng)的建模與先進(jìn)控制；鉆井過(guò)程自動(dòng)控制技術(shù)；井下信號(hào)的測(cè)量與處理；多傳感器信息融合與軟測(cè)量技術(shù)等方面的研究工作?，F(xiàn)為中國(guó)石油學(xué)會(huì)會(huì)員，中國(guó)化工學(xué)會(huì)信息技術(shù)應(yīng)用專(zhuān)業(yè)委員會(huì)委員。曾參與多項(xiàng)國(guó)家級(jí)、省部級(jí)科研課題的科研工作，并在國(guó)內(nèi)外核心刊物發(fā)表了論文70余篇；其中被SCI、EI、ISTP收錄30余篇。