HotpotQA評測（Fullwiki Setting賽道）最新榜單（截至2021年1月20日）
作為企業(yè)重要的信息載體，數(shù)字化文檔記錄了大量企業(yè)知識，如何快速幫助企業(yè)員工從數(shù)字化文檔中獲得答案，是企業(yè)文檔維護人員的痛點。為解決此問題，一方面需要較強的閱讀理解技術，另一方面還需要構建一套復雜的開放域問答流程。
HotpotQA評測數(shù)據是斯坦福、CMU和蒙特利爾大學聯(lián)合推出的新型問答數(shù)據集，由斯坦福的Manning教授和深度學習三巨頭之一的Bengio牽頭構建，該數(shù)據集由多跳復雜問題以及對應的答案組成，同時包含佐證證據用來解釋答案的來源。
在斯坦福此前公布的SQUAD評測任務中，機器已經多次超過人類，該評測僅需要從單個篇章中找到與問題有關的答案即可，故相對簡單。然而，HotpotQA評測需要從整個wikipedia或者多篇文章中找出問題相關的答案，同時要求返回問題到答案的推理鏈，難度大大增加更具有挑戰(zhàn)性。該評測也吸引了來自谷歌、微軟、Facebook等知名研究機構以及CMU、Stanford、華盛頓大學、清華大學、北京大學等知名高校。
挑戰(zhàn)多跳知識推理技術高點
HotpotQA評測的難點在于機器要結合多篇文章進行多跳推理才能得出答案，并返回佐證證據。該評測分為Distractor Setting和 Fullwiki Setting兩個賽道。Fullwiki Setting相較于Distractor Setting更為復雜也更接近實用價值，需要從整個維基百科文檔中抽取文檔，然后再從文檔中提取段落，最后從段落中抽取答案，而Distractor Setting賽道會提供10篇備選的篇章。如何從大量文檔段落中去多跳搜索候選，然后理解候選段落的內容提取佐證證據成為比賽的關鍵。
華為云聯(lián)合華為諾亞方舟實驗室，提出了新的檢索目標hop，用于收集維基百科中隱藏的推理證據，解決復雜多跳問題，同時結合beam search對答案進行排序和融合。
從維基百科文本圖譜中檢索跳轉（Hops）
如今，企業(yè)面臨著數(shù)字化、知識化轉型，知識化轉型重要的關鍵技術就是知識的理解和推理，該技術對企業(yè)知識轉型具有重大的意義和推動作用。2020年華為云推出知識計算解決方案，企業(yè)可以基于華為云知識計算解決方案打造自己的知識計算平臺，用于研發(fā)、生產、運營、銷售、售后服務等企業(yè)核心流程。目前，該方案已在石油、汽車、醫(yī)療、化纖、煤焦化、鋼鐵、交通等行業(yè)率先實踐。
