專注于高品質(zhì)邯鄲網(wǎng)站建設(shè)、品牌網(wǎng)易企業(yè)郵箱、邯鄲網(wǎng)絡(luò)公司等現(xiàn)代信息服務(wù)于一體的邯鄲優(yōu)企網(wǎng)絡(luò)公司
近日，2020年第九屆國際對(duì)話技術(shù)競(jìng)賽DSTC9陸續(xù)公布了各賽道排名，百度參與其中4項(xiàng)任務(wù)的角逐，并在最終的榜單中拔得頭名，全面涵蓋了開放域閑聊、知識(shí)對(duì)話、任務(wù)型對(duì)話等關(guān)鍵技術(shù)問題。據(jù)悉，百度在這些任務(wù)中所使用的核心技術(shù)，均基于其最近開源的開放域?qū)υ捘Ｐ蚉LATO-2。
據(jù)了解，PLATO-2 是基于隱空間技術(shù)的大規(guī)模開放域?qū)υ捘Ｐ?，參?shù)規(guī)模高達(dá)16億，可就開放域話題深度暢聊，在中英文效果上，已全面超越Google Meena、Facebook Blender、微軟小冰等先進(jìn)模型；其中文模型也已開放試用接口服務(wù)，為實(shí)現(xiàn)人機(jī)自由對(duì)話夢(mèng)想貢獻(xiàn)一份力。
從“一對(duì)一”到“一對(duì)多” PLATO-2展現(xiàn)對(duì)話領(lǐng)域強(qiáng)大通用能力
隨著科技的不斷進(jìn)步，智能對(duì)話正在成為大家喜愛討論的熱點(diǎn)話題，大家愈來愈習(xí)慣性以語言來和設(shè)備開展溝通交流。但無論是在哪種場(chǎng)景下，智能助手與真實(shí)能與人們就開放話題進(jìn)行自然的對(duì)話依然有差距。
對(duì)于這一難題， 各大科技公司使用大規(guī)模的類人對(duì)話語料，基于預(yù)訓(xùn)練技術(shù)，在對(duì)話生成上取得了可喜進(jìn)展，如今很多對(duì)話模型已能仿真模擬產(chǎn)生與人類相仿的對(duì)話?？墒?，巨大的對(duì)話語料庫下掩藏著豐富多彩的背景信息，一樣的對(duì)話上文能夠有各種不同的回應(yīng)，那樣“一對(duì)多”難題依舊是當(dāng)今對(duì)話系統(tǒng)軟件遭遇的一個(gè)關(guān)鍵難題。
針對(duì)這一難題，百度提出了帶有離散隱變量的PLATO-2模型，可以對(duì)“一對(duì)多”問題進(jìn)行有效建模，且基于課程學(xué)習(xí)的方式進(jìn)行大規(guī)模模型的高效訓(xùn)練。其過程包括兩個(gè)階段：第一階段，基于簡(jiǎn)化的“一對(duì)一”映射，訓(xùn)練得到基礎(chǔ)的回復(fù)生成模型；第二階段包含生成-評(píng)估兩個(gè)模型，針對(duì)開放域?qū)υ挼摹耙粚?duì)多”問題，通過引入離散隱變量進(jìn)行建模，訓(xùn)練得到更高質(zhì)量的回復(fù)生成模型，同時(shí)訓(xùn)練評(píng)估模型，從多個(gè)候選中選擇出最合適的回復(fù)。
而在此次競(jìng)賽中，百度也證明了通過PLATO-2在對(duì)話領(lǐng)域強(qiáng)大的通用能力，可以在預(yù)訓(xùn)練各個(gè)階段獲得可廣泛支持多種類型對(duì)話系統(tǒng)的模型。
逐步優(yōu)化參數(shù)、加快訓(xùn)練效率 PLATO-2斬獲四項(xiàng)任務(wù)冠軍
在Track-1中，賽方就從回復(fù)中知識(shí)的準(zhǔn)確度以及回復(fù)與上文的合適度出發(fā)，來綜合考驗(yàn)訓(xùn)練模型。
面對(duì)該難題，百度基于預(yù)訓(xùn)練模型進(jìn)一步訓(xùn)練了前兩個(gè)子任務(wù)的分類和排序模型，從而實(shí)現(xiàn)精準(zhǔn)的知識(shí)選擇，并得以輔助PLATO-2模型生成知識(shí)增強(qiáng)的回復(fù)。如下圖示例，系統(tǒng)根據(jù)對(duì)話上文，從大規(guī)模知識(shí)庫中選出合適的知識(shí)，并合理的利用知識(shí)生成了高質(zhì)量的回復(fù)。最終，百度在第一賽道的人工評(píng)估中，排名第一。
和Track-1 類似，Track-2也是面向任務(wù)型的對(duì)話系統(tǒng)，但沒有使用額外的非結(jié)構(gòu)化知識(shí)，且該賽道共有2個(gè)獨(dú)立的子任務(wù)。百度參與了子任務(wù)1，并在最終的人工評(píng)估中，與另外一個(gè)團(tuán)隊(duì)并列第一。基于PLATO-2第一階段模型，百度在該跨領(lǐng)域任務(wù)對(duì)話上進(jìn)行了Fine-tuning，模型可以端到端的生成對(duì)話狀態(tài)、對(duì)話動(dòng)作以及高質(zhì)回復(fù)。
值得一提的是，在子任務(wù)1評(píng)估中，還考慮了寬松和嚴(yán)格2種場(chǎng)景下的任務(wù)成功率，百度在該指標(biāo)下排名第一，顯著超越了其他系統(tǒng)。最終的榜單為寬松和嚴(yán)格評(píng)估的均值，百度和另外一個(gè)團(tuán)隊(duì)并列第一。
相比于前兩個(gè)賽道，Track 3更接近開放域?qū)υ拞栴}。它的特點(diǎn)是對(duì)于聊天的范圍不設(shè)限制，也沒有明確目標(biāo)，以能和人類進(jìn)行自由、有趣的交流為目的。在子任務(wù)1的考核中，賽方會(huì)從流暢性、相關(guān)性、準(zhǔn)確度、參與度等8個(gè)方面對(duì)回復(fù)進(jìn)行打分，并給出整體得分。榜單上，有3組模型的結(jié)果比較接近，最終并列頭名，據(jù)悉前2組結(jié)果均為百度提交的不同參數(shù)設(shè)置下的PLATO-2模型。
在子任務(wù)2中，更加注重開放域的人機(jī)交互效果，而這恰恰是PLATO-2的擅長之處。最終結(jié)果顯示，該榜單前2名均被百度包攬，其中百度開源的PLATO-2模型排名第一。
事實(shí)上，如此大規(guī)模模型訓(xùn)練與百度深度學(xué)習(xí)平臺(tái)強(qiáng)大的并行能力支持密不可分。 PLATO-2包含中英文兩個(gè)部分的模型。其中，中文模型基于12億中文開放域多輪對(duì)話樣本進(jìn)行訓(xùn)練，而英語模型則基于7億英語開放域多輪對(duì)話樣本進(jìn)行訓(xùn)練。在PLATO-2的訓(xùn)練過程中，還利用了飛槳Fleet庫的并行能力，使用了包括Recompute,混合精度訓(xùn)練等策略，基于高性能GPU集群進(jìn)行訓(xùn)練。
如今，百度基于PLATO-2在對(duì)話內(nèi)容方面的強(qiáng)大能力，讓其豐富度和連貫性上展現(xiàn)出了新的高度，且有望為智能對(duì)話開辟出全新的領(lǐng)域。百度PLATO-2英文模型和訓(xùn)練代碼已經(jīng)在GitHub開源。
近日，2020年第九屆國際對(duì)話技術(shù)競(jìng)賽DSTC9陸續(xù)公布了各賽道排名，百度參與其中4項(xiàng)任務(wù)的角逐，并在最終的榜單中拔得頭名，全面涵蓋了開放域閑聊、知識(shí)對(duì)話、任務(wù)型對(duì)話等關(guān)鍵技術(shù)問題。據(jù)悉，百度在這些任務(wù)中所使用的核心技術(shù)，均基于其最近開源的開放域?qū)υ捘Ｐ蚉LATO-2。
據(jù)了解，PLATO-2 是基于隱空間技術(shù)的大規(guī)模開放域?qū)υ捘Ｐ停瑓?shù)規(guī)模高達(dá)16億，可就開放域話題深度暢聊，在中英文效果上，已全面超越Google Meena、Facebook Blender、微軟小冰等先進(jìn)模型；其中文模型也已開放試用接口服務(wù)，為實(shí)現(xiàn)人機(jī)自由對(duì)話夢(mèng)想貢獻(xiàn)一份力。
從“一對(duì)一”到“一對(duì)多” PLATO-2展現(xiàn)對(duì)話領(lǐng)域強(qiáng)大通用能力
隨著科技的不斷進(jìn)步，智能對(duì)話正在成為大家喜愛討論的熱點(diǎn)話題，大家愈來愈習(xí)慣性以語言來和設(shè)備開展溝通交流。但無論是在哪種場(chǎng)景下，智能助手與真實(shí)能與人們就開放話題進(jìn)行自然的對(duì)話依然有差距。
對(duì)于這一難題， 各大科技公司使用大規(guī)模的類人對(duì)話語料，基于預(yù)訓(xùn)練技術(shù)，在對(duì)話生成上取得了可喜進(jìn)展，如今很多對(duì)話模型已能仿真模擬產(chǎn)生與人類相仿的對(duì)話。可是，巨大的對(duì)話語料庫下掩藏著豐富多彩的背景信息，一樣的對(duì)話上文能夠有各種不同的回應(yīng)，那樣“一對(duì)多”難題依舊是當(dāng)今對(duì)話系統(tǒng)軟件遭遇的一個(gè)關(guān)鍵難題。
針對(duì)這一難題，百度提出了帶有離散隱變量的PLATO-2模型，可以對(duì)“一對(duì)多”問題進(jìn)行有效建模，且基于課程學(xué)習(xí)的方式進(jìn)行大規(guī)模模型的高效訓(xùn)練。其過程包括兩個(gè)階段：第一階段，基于簡(jiǎn)化的“一對(duì)一”映射，訓(xùn)練得到基礎(chǔ)的回復(fù)生成模型；第二階段包含生成-評(píng)估兩個(gè)模型，針對(duì)開放域?qū)υ挼摹耙粚?duì)多”問題，通過引入離散隱變量進(jìn)行建模，訓(xùn)練得到更高質(zhì)量的回復(fù)生成模型，同時(shí)訓(xùn)練評(píng)估模型，從多個(gè)候選中選擇出最合適的回復(fù)。
而在此次競(jìng)賽中，百度也證明了通過PLATO-2在對(duì)話領(lǐng)域強(qiáng)大的通用能力，可以在預(yù)訓(xùn)練各個(gè)階段獲得可廣泛支持多種類型對(duì)話系統(tǒng)的模型。
逐步優(yōu)化參數(shù)、加快訓(xùn)練效率 PLATO-2斬獲四項(xiàng)任務(wù)冠軍
在Track-1中，賽方就從回復(fù)中知識(shí)的準(zhǔn)確度以及回復(fù)與上文的合適度出發(fā)，來綜合考驗(yàn)訓(xùn)練模型。
面對(duì)該難題，百度基于預(yù)訓(xùn)練模型進(jìn)一步訓(xùn)練了前兩個(gè)子任務(wù)的分類和排序模型，從而實(shí)現(xiàn)精準(zhǔn)的知識(shí)選擇，并得以輔助PLATO-2模型生成知識(shí)增強(qiáng)的回復(fù)。如下圖示例，系統(tǒng)根據(jù)對(duì)話上文，從大規(guī)模知識(shí)庫中選出合適的知識(shí)，并合理的利用知識(shí)生成了高質(zhì)量的回復(fù)。最終，百度在第一賽道的人工評(píng)估中，排名第一。
和Track-1 類似，Track-2也是面向任務(wù)型的對(duì)話系統(tǒng)，但沒有使用額外的非結(jié)構(gòu)化知識(shí)，且該賽道共有2個(gè)獨(dú)立的子任務(wù)。百度參與了子任務(wù)1，并在最終的人工評(píng)估中，與另外一個(gè)團(tuán)隊(duì)并列第一。基于PLATO-2第一階段模型，百度在該跨領(lǐng)域任務(wù)對(duì)話上進(jìn)行了Fine-tuning，模型可以端到端的生成對(duì)話狀態(tài)、對(duì)話動(dòng)作以及高質(zhì)回復(fù)。
值得一提的是，在子任務(wù)1評(píng)估中，還考慮了寬松和嚴(yán)格2種場(chǎng)景下的任務(wù)成功率，百度在該指標(biāo)下排名第一，顯著超越了其他系統(tǒng)。最終的榜單為寬松和嚴(yán)格評(píng)估的均值，百度和另外一個(gè)團(tuán)隊(duì)并列第一。
相比于前兩個(gè)賽道，Track 3更接近開放域?qū)υ拞栴}。它的特點(diǎn)是對(duì)于聊天的范圍不設(shè)限制，也沒有明確目標(biāo)，以能和人類進(jìn)行自由、有趣的交流為目的。在子任務(wù)1的考核中，賽方會(huì)從流暢性、相關(guān)性、準(zhǔn)確度、參與度等8個(gè)方面對(duì)回復(fù)進(jìn)行打分，并給出整體得分。榜單上，有3組模型的結(jié)果比較接近，最終并列頭名，據(jù)悉前2組結(jié)果均為百度提交的不同參數(shù)設(shè)置下的PLATO-2模型。
在子任務(wù)2中，更加注重開放域的人機(jī)交互效果，而這恰恰是PLATO-2的擅長之處。最終結(jié)果顯示，該榜單前2名均被百度包攬，其中百度開源的PLATO-2模型排名第一。
事實(shí)上，如此大規(guī)模模型訓(xùn)練與百度深度學(xué)習(xí)平臺(tái)強(qiáng)大的并行能力支持密不可分。 PLATO-2包含中英文兩個(gè)部分的模型。其中，中文模型基于12億中文開放域多輪對(duì)話樣本進(jìn)行訓(xùn)練，而英語模型則基于7億英語開放域多輪對(duì)話樣本進(jìn)行訓(xùn)練。在PLATO-2的訓(xùn)練過程中，還利用了飛槳Fleet庫的并行能力，使用了包括Recompute,混合精度訓(xùn)練等策略，基于高性能GPU集群進(jìn)行訓(xùn)練。
如今，百度基于PLATO-2在對(duì)話內(nèi)容方面的強(qiáng)大能力，讓其豐富度和連貫性上展現(xiàn)出了新的高度，且有望為智能對(duì)話開辟出全新的領(lǐng)域。百度PLATO-2英文模型和訓(xùn)練代碼已經(jīng)在GitHub開源。
