MKQA多語言知識問答數(shù)據(jù)集

MKQA 全稱 Multilingual Knowledge Questions & Answers ，是一個開放域問答評估集，包含 10k 個問答對，跨越 26 種不同類型的語言（總共 260k 個問答對）。該數(shù)據(jù)集的目標是為跨多種語言的問答質量提供具有挑戰(zhàn)性的基準。

數(shù)據(jù)集

MKQA 包含從 Google 自然問題數(shù)據(jù)集中采樣的 10,000 個查詢。對于每個查詢都收集新的與段落無關的答案。然后將這些查詢和答案人工翻譯成 25 種非英語語言。

MKQA 數(shù)據(jù)可以從這里下載。

數(shù)據(jù)集中的每個示例都包含獨特的自然問題 example_id ，原始英語 query ，然后是 26 種語言的 queries 和 answers 。

{
 'example_id': 563260143484355911,
 'queries': {
  'en': "who sings i hear you knocking but you can't come in",
  'ru': "кто поет i hear you knocking but you can't come in",
  'ja': '「 I hear you knocking」は誰が歌っていますか',
  'zh_cn': "《i hear you knocking but you can't come in》是誰演唱的",
  ...
 },
 'query': "who sings i hear you knocking but you can't come in",
 'answers': {'en': [{'type': 'entity',
    'entity': 'Q545186',
    'text': 'Dave Edmunds',
    'aliases': []}],
  'ru': [{'type': 'entity',
    'entity': 'Q545186',
    'text': 'Эдмундс, Дэйв',
    'aliases': ['Эдмундс', 'Дэйв Эдмундс', 'Эдмундс Дэйв', 'Dave Edmunds']}],
  'ja': [{'type': 'entity',
    'entity': 'Q545186',
    'text': 'デイヴ?エドモンズ',
    'aliases': ['デーブ?エドモンズ', 'デイブ?エドモンズ']}],
  'zh_cn': [{'type': 'entity', 'text': '戴維·埃德蒙茲 ', 'entity': 'Q545186'}],
  ...
  },
}

每個答案都標有答案類型。細目是：

對于每一種語言，可以有多個可接受的文本答案，以捕獲各種可能的有效答案。所有支持的語言是：

官方評估腳本提供了兩種方法來評估 MKQA 數(shù)據(jù)集上的性能

評估腳本需要一個具有特定格式的 json 行 (jsonl) 預測文件：

{ "example_id": -7449157003522518870, "prediction": "Haftór Júlíus `` Thor '' Bj?rnsson", "binary_answer": null, "no_answer_prob": 0.23618 } ...