在《如何讓人工智能學(xué)會(huì)用數(shù)據(jù)說話》一文中，我們?cè)��?jīng)為大家介紹過結(jié)構(gòu)化數(shù)據(jù)到文本生成的技術(shù)方法、商業(yè)應(yīng)用以及相關(guān)數(shù)據(jù)集等方面內(nèi)容。今天，我們邀請(qǐng)微軟亞洲研究院知識(shí)計(jì)算組的研究員解讀該領(lǐng)域中有關(guān)數(shù)據(jù)到文本生成的近期論文。

數(shù)據(jù)到文本生成任務(wù)以結(jié)構(gòu)化數(shù)據(jù)(例如一個(gè)商品的屬性列表或一場(chǎng)比賽的統(tǒng)計(jì)數(shù)據(jù))作為輸入，旨在自動(dòng)生成流暢的、貼近事實(shí)的文本以描述輸入數(shù)據(jù)。數(shù)據(jù)到文本生成的主流方法包括基于規(guī)則和模板的方法以及基于神經(jīng)網(wǎng)絡(luò)的方法。

現(xiàn)階段，基于規(guī)則和模板的方法仍然是相關(guān)應(yīng)用中最主流的做法，因?yàn)檫@類方法具備明顯的可解釋性與可控制性，更容易確保所輸出文本內(nèi)容的正確性。然而，這種方法也存在局限性——優(yōu)質(zhì)模板的抽取離不開人工特征工程或者規(guī)則干預(yù);生成的內(nèi)容在多樣性、流暢度以及連貫性方面往往會(huì)存在問題。

與之相反，基于神經(jīng)網(wǎng)絡(luò)的模型主要依靠數(shù)據(jù)驅(qū)動(dòng)，不需要太多人工干預(yù)，也很容易產(chǎn)生豐富又流暢的文字描述，但使用者往往無法直接操控內(nèi)容生成，難以確保所輸出的文本內(nèi)容同輸入數(shù)據(jù)中的信息吻合，所以目前在真實(shí)場(chǎng)景下目前并不具備足夠的實(shí)用價(jià)值。由于神經(jīng)網(wǎng)絡(luò)表示學(xué)習(xí)近年來的火熱，以及神經(jīng)網(wǎng)絡(luò)文本生成模型存在明顯的不足和改進(jìn)空間，近期學(xué)術(shù)研究中探索神經(jīng)網(wǎng)絡(luò)生成模型的工作相對(duì)更多。

數(shù)據(jù)到文本生成任務(wù)在不同場(chǎng)景設(shè)定下的進(jìn)展和挑戰(zhàn)不盡相同，近兩年也有很多工作試圖從不同角度開展研究。在本文中，我們將帶大家一起選讀若干近期相關(guān)研究工作。這些工作的研究動(dòng)機(jī)相對(duì)明確，直接嘗試應(yīng)對(duì)當(dāng)前方法所面臨的重要挑戰(zhàn)，為后續(xù)進(jìn)一步研究提供了一些可行的方向或角度。

論文清單

Challenges in Data-to-document Generation

由Sasha Rush領(lǐng)銜的哈佛大學(xué)自然語言處理研究組是近年來研究神經(jīng)網(wǎng)絡(luò)文本生成模型最活躍的團(tuán)隊(duì)之一。該團(tuán)隊(duì)在EMNLP 2017上發(fā)表了題為Challenges in Data-to-document Generation的工作(Wiseman et al., 2017)，包含了作者對(duì)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)到文本生成模型的階段性總結(jié)與反思。作者采集了大量NBA籃球比賽統(tǒng)計(jì)數(shù)據(jù)以及對(duì)應(yīng)的文字戰(zhàn)報(bào)，以此發(fā)布了新的數(shù)據(jù)集RotoWire。與《如何讓人工智能學(xué)會(huì)用數(shù)據(jù)說話》一文中介紹過的維基百科傳記數(shù)據(jù)集WikiBio以及下文會(huì)提及的E2E NLG Challenge評(píng)測(cè)數(shù)據(jù)集相比，RotoWire中的輸入數(shù)據(jù)更豐富，文本長(zhǎng)度更長(zhǎng)，通常每篇描述包含5-7句話;并且文字中直接提及或通過不同措辭蘊(yùn)含的部分信息，需要從具體的數(shù)值、時(shí)間等信息推斷得出，無法從輸入的表格數(shù)據(jù)中直接獲取。例如，輸入數(shù)據(jù)中并沒有直接標(biāo)示比賽的獲勝球隊(duì)，只列出了交戰(zhàn)雙方比分，而文字內(nèi)諸如“亞特蘭大老鷹隊(duì)以103-95擊敗邁阿密熱隊(duì)”中的“擊敗”一詞，需要生成模型能夠準(zhǔn)確捕捉“比分更高的球隊(duì)勝出”這樣的對(duì)應(yīng)關(guān)系，對(duì)當(dāng)前高度依賴連續(xù)向量表示的神經(jīng)網(wǎng)絡(luò)方法而言頗具挑戰(zhàn)。

作者在該數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明，常見神經(jīng)網(wǎng)絡(luò)文本生成模型所輸出的文本雖然看似流暢，但往往存在多種邏輯錯(cuò)誤，比如混淆了不同信息的輸出位置、無中生有(hallucination，即模型在所生成的文本中“自行腦補(bǔ)”了輸入數(shù)據(jù)中并沒有蘊(yùn)含的信息)等等，詳見圖1。這些問題在進(jìn)行長(zhǎng)文本生成時(shí)顯得更為嚴(yán)重，導(dǎo)致模型輸出的準(zhǔn)確度遠(yuǎn)不如基于模板的文本生成系統(tǒng)。

 

 

圖1 神經(jīng)網(wǎng)絡(luò)生成模型輸出示例，藍(lán)色/紅色部分分別表示同輸入數(shù)據(jù)吻合/不吻合的內(nèi)容(圖片來自Wiseman et al., 2017 )論文中也指出，常用的自動(dòng)化評(píng)測(cè)指標(biāo)(如BLEU)并不足以評(píng)測(cè)文本生成的質(zhì)量。這些指標(biāo)側(cè)重于評(píng)測(cè)文本的流暢性，但忽視了文本的語義和邏輯信息。自動(dòng)指標(biāo)的局限性其實(shí)近年也在自然語言生成領(lǐng)域被反復(fù)提及，有大量工作指出它們同人工評(píng)價(jià)的統(tǒng)計(jì)相關(guān)性其實(shí)很低(如Novikova et al., 2017、Chaganty et al., 2018、Reiter, 2018等)。在這種情況下，一方面有針對(duì)性地設(shè)計(jì)人工評(píng)測(cè)不可或缺，另一方面也需要其它更合理的自動(dòng)指標(biāo)來作輔助。因此，作者也給出了一種抽取式評(píng)價(jià)(extractive evaluation)方法，從生成的文本中抽取事實(shí)并與輸入數(shù)據(jù)進(jìn)行比對(duì)，在一定程度上可以彌補(bǔ)傳統(tǒng)自動(dòng)化評(píng)測(cè)指標(biāo)(如BLEU)的不足。

A Deep Ensemble Model with Slot Alignment for Sequence-to-Sequence Natural Language Generation

自然語言生成領(lǐng)域近年最著名的公開評(píng)測(cè)當(dāng)屬E2E NLG Challenge。該評(píng)測(cè)于2017年啟動(dòng)，在2018年上半年公布了評(píng)測(cè)結(jié)果，并在自然語言生成專業(yè)會(huì)議INLG 2018上進(jìn)行了總結(jié) (Dušek et al., 2018; 2019)。該評(píng)測(cè)收集了上萬條配對(duì)的餐館描述及語義表示數(shù)據(jù)(如圖2所示)。參賽系統(tǒng)需要將給定的語義表示(meaning representation, MR)，即不同的屬性與值，用自然語言(natural language, NL)描述出來。評(píng)測(cè)數(shù)據(jù)集側(cè)重于反映諸如開放詞表、語義控制、表達(dá)多樣性等幾種數(shù)據(jù)到文本生成任務(wù)的挑戰(zhàn)。

E2E NLG Challenge 鏈接：http://www.macs.hw.ac.uk/InteractionLab/E2E/

 

 

圖2 E2E評(píng)測(cè)任務(wù)數(shù)據(jù)示例(本例來自評(píng)測(cè)官網(wǎng))E2E NLG Challenge評(píng)測(cè)最終的獲勝系統(tǒng)為加州大學(xué)圣克魯斯分校研究團(tuán)隊(duì)的Slug2Slug系統(tǒng)，該系統(tǒng)在自動(dòng)評(píng)測(cè)和人工評(píng)測(cè)中均取得較好的成績(jī)。該團(tuán)隊(duì)將系統(tǒng)描述以論文A Deep Ensemble Model with Slot Alignment for Sequence-to-Sequence Natural Language Generation發(fā)表在NAACL 2018 (Juraska et al., 2018)。在這篇論文中，作者提出一個(gè)集成(ensemble)的神經(jīng)文本生成框架，其中參與集成的個(gè)體模型均為常用的序列到序列(sequence-to-sequence)模型。其編碼器部分采用了最為常用的LSTM-RNN或CNN。而在每個(gè)模型解碼輸出多條候選文本后，系統(tǒng)還對(duì)這些候選文本進(jìn)行重排序，排序時(shí)考慮了文本中所提及事實(shí)與輸入數(shù)據(jù)的匹配情況。本文在方法上的核心貢獻(xiàn)是作者自行構(gòu)建的一套啟發(fā)式的屬性槽對(duì)齊器(slot aligner)，用來剔除訓(xùn)練數(shù)據(jù)中一些沒有被對(duì)應(yīng)文本所提及的屬性值，在一定程度上實(shí)現(xiàn)了數(shù)據(jù)去噪;作者還根據(jù)候選文本同數(shù)據(jù)屬性槽的對(duì)齊結(jié)果設(shè)計(jì)了重排序準(zhǔn)則。實(shí)驗(yàn)表明，系統(tǒng)雖然無法在所有自動(dòng)評(píng)測(cè)指標(biāo)中均取得領(lǐng)先，但可以使得模型在各個(gè)指標(biāo)上都更加穩(wěn)定、輸出錯(cuò)誤更少的文本。

由于面向E2E評(píng)測(cè)，作者也在文中總結(jié)了不少實(shí)用技巧，對(duì)準(zhǔn)備上手相關(guān)任務(wù)的讀者而言值得參考。比如，在預(yù)處理時(shí)的去詞匯化(delexicalization)操作中，作者不僅簡(jiǎn)單地進(jìn)行匹配和替換，還在替換時(shí)保留了更多的上下文信息(如單復(fù)數(shù)、時(shí)態(tài)等和銜接等信息)。另外，論文還討論了文本生成中數(shù)據(jù)增廣(data augmentation)的實(shí)用做法，以及為了獲得更自然的生成文本對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行選擇的嘗試。

本文的核心操作是建立結(jié)構(gòu)化數(shù)據(jù)同文本信息的對(duì)齊。除了直接根據(jù)領(lǐng)域知識(shí)設(shè)計(jì)啟發(fā)式對(duì)齊方法以外，也有同期的其它工作試圖在規(guī)模更大、干擾更多的Wikibio維基百科數(shù)據(jù)集上實(shí)現(xiàn)自動(dòng)對(duì)齊(Perez-Beltrachini and Lapata, 2018)。類似多示例學(xué)習(xí)(multiple-instance learning)的思想，原理上可以將與文本共現(xiàn)的屬性集視作弱監(jiān)督標(biāo)記來導(dǎo)出對(duì)齊信息。

End-to-End Content and Plan Selection for Data-to-Text Generation

這篇論文是哈佛大學(xué)自然語言處理組發(fā)表在INLG 2018的工作(Gehrmann et al., 2018)。文中提出的方法在經(jīng)典序列到序列模型的基礎(chǔ)上，引入多個(gè)解碼器，并通過隱變量因子來指定最終文本是由哪個(gè)解碼器所生成。這樣做的原因是，在文本生成中，同一個(gè)意圖往往有多種表達(dá)方法，只使用單個(gè)解碼器很難對(duì)多種不同的表達(dá)方式進(jìn)行擬合。而通過設(shè)置多個(gè)子模型，可以讓每個(gè)子模型只負(fù)責(zé)擬合特定表達(dá)風(fēng)格的數(shù)據(jù)，從而改進(jìn)學(xué)習(xí)效果。

值得一提的是，該論文所采用的基礎(chǔ)模型整合了常用的注意力(attention)機(jī)制、拷貝(copy)機(jī)制、覆蓋(coverage)機(jī)制和文本長(zhǎng)度控制等，是一個(gè)較為先進(jìn)和完備的基礎(chǔ)模型。另外，該論文也在 E2E NLG Challenge 數(shù)據(jù)集上對(duì)這些主要組件的影響進(jìn)行了實(shí)驗(yàn)評(píng)測(cè)。

Learning Neural Templates for Text Generation

雖然端到端(end-to-end)的方法在數(shù)據(jù)到文本生成上取得了一定的成果，但其不可解釋性和不可控性一直廣為詬病。因此，近期也出現(xiàn)了一些將端到端方法和傳統(tǒng)基于規(guī)則和模板的方法進(jìn)行融合的模型。哈佛大學(xué)自然語言處理組的EMNLP 2018論文Learning Neural Templates for Text Generation就是其中較有代表性的工作之一 (Wiseman et al., 2018)。為了學(xué)習(xí)抽取和使用模板，作者采用適合片段建模的隱半馬爾可夫模型(hidden semi-markov model, HSMM)對(duì)文本進(jìn)行建模，并用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)其中所有概率項(xiàng)的參數(shù)化。在完成模型訓(xùn)練后，可以利用Viterbi算法推斷出隱狀態(tài)序列，并將其獲取為模板，因此可以很方便地對(duì)模板進(jìn)行控制并利用模板引導(dǎo)下一步的文本生成。在E2E NLG Challenge數(shù)據(jù)和WikiBio數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明，該方法可以取得和端到端神經(jīng)模型可比的性能，但是更具可解釋性和可控性。

同期也有其它工作嘗試先產(chǎn)生模板、再填寫屬性值的過程(Li and Wan, 2018)。借助邊際損失函數(shù)拉大正確填充結(jié)果與錯(cuò)誤填充結(jié)果的模型打分差距，可以在一定程度上緩解輸出文本語義不正確的問題。

Operation-guided Neural Networks for High Fidelity Data-To-Text Generation

這篇論文(Nie et al., 2018)是微軟亞洲研究院知識(shí)計(jì)算組對(duì)改進(jìn)神經(jīng)模型生成文本正確性的一個(gè)嘗試。在前文中我們也提過，很多時(shí)候訓(xùn)練數(shù)據(jù)中，文本和結(jié)構(gòu)化數(shù)據(jù)無法一一對(duì)齊，這對(duì)結(jié)構(gòu)化數(shù)據(jù)到文本生成提出很大的挑戰(zhàn)。例如句子 “Hawks edges the Heat with 95-94”，其中隊(duì)名Hawks、Heat和比分95、94均可以直接從輸入數(shù)據(jù)中獲取，而描述比賽結(jié)果的edges (“險(xiǎn)勝”)是基于兩隊(duì)比分極其接近的事實(shí)而得出，現(xiàn)實(shí)中的結(jié)構(gòu)化數(shù)據(jù)往往不會(huì)直接包含此類細(xì)粒度事實(shí)。進(jìn)一步調(diào)研發(fā)現(xiàn)，在本論文收集的ESPN dataset數(shù)據(jù)集、前文所述RotoWire數(shù)據(jù)集以及維基百科人物數(shù)據(jù)集WikiBio的文本中，分別有29.1%、11.7%和7.4%的事實(shí)雖然不能從輸入數(shù)據(jù)中直接獲取，但可以通過對(duì)輸入數(shù)據(jù)進(jìn)行運(yùn)算而獲得�；�于這些觀察，論文提出了基于運(yùn)算指引的神經(jīng)文本生成模型。具體來說，該模型預(yù)先執(zhí)行好若干種預(yù)定義的運(yùn)算操作，在進(jìn)行文本生成時(shí)，解碼器從輸入數(shù)據(jù)和運(yùn)行結(jié)果中利用門限(gating)機(jī)制動(dòng)態(tài)采用所使用的信息來源。另外，為了緩解數(shù)值數(shù)據(jù)的稀疏性問題，文中還將運(yùn)算結(jié)果中的數(shù)值進(jìn)行自動(dòng)分段處理，使得模型更容易建立運(yùn)算結(jié)果同詞匯選擇的聯(lián)系。

論文還發(fā)布了ESPN數(shù)據(jù)集，該數(shù)據(jù)集包含2006-2017年1.5萬場(chǎng)NBA比賽的結(jié)果和對(duì)應(yīng)的新聞標(biāo)題。與RotoWire相比，該數(shù)據(jù)集文本長(zhǎng)度更短，且文本中僅有約8.2%的內(nèi)容沒有蘊(yùn)含在輸入數(shù)據(jù)信息內(nèi) (既無法從輸入數(shù)據(jù)直接獲取，也無法通過其他操作推斷得到的部分)。

Learning Latent Semantic Annotations for Grounding Natural Language to Structured Data

這篇論文 (Qin et al., 2018)是微軟亞洲研究院知識(shí)計(jì)算組在EMNLP 2018會(huì)議發(fā)表的另一篇相關(guān)工作，出發(fā)點(diǎn)與前一篇論文類似，但側(cè)重于細(xì)粒度顯式建立起文本與輸入數(shù)據(jù)之間的關(guān)系，從而得到可解釋、可控制的模型。不同詞匯或者短語的使用同輸入數(shù)據(jù)里不同部分的信息有關(guān)，詞匯有時(shí)會(huì)直接取自數(shù)據(jù)中的字符串，有時(shí)則會(huì)因?yàn)閷傩宰兞炕蛘邤?shù)值變量的不同取值而產(chǎn)生變化。由于對(duì)數(shù)值的表達(dá)在一定程度上涉及常識(shí)獲取與推理，關(guān)于這一部分的研究其實(shí)相當(dāng)貧乏。

文中將建立對(duì)應(yīng)關(guān)系的過程用序列標(biāo)注的方式來實(shí)現(xiàn)，如圖3所示。整個(gè)方法框架將表征詞匯語義的標(biāo)注視為隱變量，建立隱半馬爾可夫模型(HSMM)進(jìn)行學(xué)習(xí)與推斷。模型中對(duì)于字符串變量、屬性變量、數(shù)值變量等不同類型之間的對(duì)應(yīng)關(guān)系分別采用了不同的概率模型來建模，而無法對(duì)應(yīng)到輸入數(shù)據(jù)的文字則統(tǒng)一標(biāo)注為特定的空標(biāo)記(NULL)。同經(jīng)典機(jī)器翻譯方法中的統(tǒng)計(jì)對(duì)齊模型類似，最終的對(duì)齊結(jié)果中很容易出現(xiàn)“垃圾收集”(garbage collection)效應(yīng)，在文中的任務(wù)設(shè)定下表現(xiàn)為：有部分本應(yīng)打上空標(biāo)記(NULL)的文字會(huì)被對(duì)應(yīng)到幾乎不被提及的數(shù)據(jù)單元上。為緩解這一問題，可以利用后驗(yàn)正則化(posterior regularization)技術(shù)，從統(tǒng)計(jì)上約束空標(biāo)記的比例使之不低于特定值，最后能夠使得對(duì)齊結(jié)果得到大幅改善。

 

 

圖3 自動(dòng)推斷文本中各部分詞匯同輸入數(shù)據(jù)項(xiàng)的對(duì)應(yīng)關(guān)系模型推斷得到的概率可以用來為特定的數(shù)據(jù)信息獲取多樣的詞匯表達(dá)，而對(duì)齊結(jié)果本身也可以據(jù)此為自然語言生成提供豐富的規(guī)則和模板。這樣，在保證了可解釋性以及可控性的基礎(chǔ)上，整個(gè)框架可以自動(dòng)從平行數(shù)據(jù)中獲取豐富的文字表達(dá)模式。

結(jié)語

數(shù)據(jù)到文本生成任務(wù)在近幾年得到了廣泛關(guān)注，整個(gè)領(lǐng)域也在可控性、正確性、多樣性等問題上取得了一些進(jìn)展。不過，這些問題目前還沒有得到完全徹底的解決，在基于神經(jīng)網(wǎng)絡(luò)的文本生成模型中尤其如此，這一現(xiàn)狀也為后續(xù)的相關(guān)研究工作留出了巨大的前進(jìn)空間。在目前的工程實(shí)踐中，尤其是對(duì)于正確性和可控性要求比較高的場(chǎng)景，我們?nèi)匀唤ㄗh采用基于模板或規(guī)則的方法，而模板與規(guī)則也可以由系統(tǒng)性的從平行數(shù)據(jù)中獲取得到。文本生成是讓計(jì)算機(jī)從能聽會(huì)看到能言善道的必要技術(shù)之一。在生成模型的設(shè)計(jì)、訓(xùn)練語料的構(gòu)建、評(píng)價(jià)方法的創(chuàng)新、應(yīng)用場(chǎng)景的適配等等議題都有很大的研究發(fā)展空間。作者也希望借由此文啟發(fā)更多的研究人員關(guān)注和投入這個(gè)領(lǐng)域，一起為數(shù)據(jù)到文本生成后續(xù)的技術(shù)發(fā)展貢獻(xiàn)力量。

參考文獻(xiàn)

• Chaganty, et al. "The price of debiasing automatic metrics in natural language evalaution"

• Dušek, et al. "Findings of the E2E NLG challenge"

• Dušek, et al. "Evaluating the State-of-the-Art of End-to-End Natural Language Generation: The E2E NLG Challenge"

• Gehrmann, et al. "End-to-End Content and Plan Selection for Data-to-Text Generation"

• Juraska, et al. "A Deep Ensemble Model with Slot Alignment for Sequence-to-Sequence Natural Language Generation"

• Li, Liunian, et al. "Point Precisely: Towards Ensuring the Precision of Data in Generated Texts Using Delayed Copy Mechanism"

• Nie, Feng, et al. "Operation-guided Neural Networks for High Fidelity Data-To-Text Generation"

• Novikova, et al. "Why We Need New Evaluation Metrics for NLG"

• Perez-Beltrachini, Laura, and Mirella Lapata. "Bootstrapping Generators from Noisy Data"

• Qin, Guanghui, et al. "Learning Latent Semantic Annotations for Grounding Natural Language to Structured Data"

• Reiter, et al. "A Structured Review of the Validity of BLEU"

• Wiseman, et al. "Challenges in Data-to-Document Generation"

• Wiseman, et al. "Learning Neural Templates for Text Generation"

作者簡(jiǎn)介

王錦鵬，微軟亞洲研究院知識(shí)計(jì)算組研究員，主要從事多模態(tài)知識(shí)挖掘、自然語言處理等領(lǐng)域的研究工作。至今為止，他在相關(guān)領(lǐng)域的頂級(jí)會(huì)議上已發(fā)表10余篇論文，并擔(dān)任ACL、AAAI等國際會(huì)議的評(píng)審委員。

姚金戈，微軟亞洲研究院知識(shí)計(jì)算組副研究員，目前主要致力于探索自然語言理解與生成中的若干重要問題以及在工程實(shí)踐中的應(yīng)用與適配。

知識(shí)計(jì)算組簡(jiǎn)介

知識(shí)計(jì)算組致力于通過知識(shí)發(fā)現(xiàn)、數(shù)據(jù)挖掘與計(jì)算來理解和服務(wù)這個(gè)世界。研究組聚集了包括數(shù)據(jù)挖掘與計(jì)算、機(jī)器學(xué)習(xí)、自然語言處理、信息檢索和社會(huì)計(jì)算等領(lǐng)域的多學(xué)科研究員，主要從事如下研究方向：實(shí)體鏈接、搜索和知識(shí)挖掘與計(jì)算，基于結(jié)構(gòu)化數(shù)據(jù)的文本生成，服務(wù)于真實(shí)世界的語義計(jì)算框架應(yīng)用，基于大規(guī)模行為數(shù)據(jù)的用戶理解。十年來，該組成員的研究成果對(duì)微軟的重要產(chǎn)品產(chǎn)生了影響，包括必應(yīng)搜索、微軟學(xué)術(shù)搜索、微軟認(rèn)知服務(wù)、微軟Office等。

標(biāo)簽： 評(píng)測(cè) 搜索 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。