Yahoo！Answers 数据集源于 Yahoo！Answers Comprehensive Questions and Answers 1.0 的 10 个主要分类数据，每个类别分别包含 140000 个训练样本和 5000 个测试样本。 该数据集是截至 2007 年 10 月 25 日的答案语料库，其包含问题和对应答案，本语料库包含 4483032 个问题及答案，除此之外还包含少量元数据，可被用于选择最佳答案。 Yahoo！Answers 数据集由康奈尔大学发布。

Question Answer Dataset 是结合维基百科文章语料库的链接，并手动生成仿真问题和答案以供学术研究的问答数据集。该数据集分为文章、问题和答案三部分，其中手动生成的仿真问题与答案对维基百科文章的评分难度很高。 Question Answer Dataset 由卡内基·梅隆大学于 2013 年发布，主要发布人分别为 Noah Smith、Michael Heilman、Rebecca Hwa、Shay Cohen 和 Kevin Gimpel，其最早版本的数据大多由卡内基·梅隆大学和匹兹堡大学学生在 2008 年至 2010 年收集所得

SQuAD（The Stanford Question Answering Dataset）是一组阅读数据集，该数据集基于群众在维基百科中提出的问题，其中每个问题的答案来自于对应阅读段落的一段文本，共计 500 多篇文章中的 10 万多个问答配对。 SQuAD 由斯坦福大学于 2018 年发布，相关论文有《Know What You Don’t Know: Unanswerable Questions for SQuAD》。

CBT 数据集由文字段落和相应问题构建，问答数据均来自古腾堡项目免费提供的书籍，该数据集用于直接测量语言模型、更广泛的语言环境用于问答和仿真查找。 CBT 数据集由 Facebook 于 2016 年发布，主要发布人有 Felix Hill、Antoine Bordes、Sumit Chopra 和 Jason Weston，相关论文有《The Goldilocks Principle: Reading Children’s Books with Explicit Memory Representations》。

Standford Question Answering Dataset (SQuAD) is a reading comprehension dataset by Standford University and has two versions. 斯坦福问答数据集是由斯坦福大学创建的阅读理解数据集，有两个版本。 Know What You Don’t Know- Unanswerable Questions for SQuAD paper.pdf LUKE.pdf SQuAD1.1.pdf SQuAD_dev_datasets.zip SQuAD_train_datasets.zip SQuAD_datasets.txt

金融行业问答数据集.zip

Yahoo！Answers 数据集源于 Yahoo！Answers Comprehensive Questions and Answers 1.0 的 10 个主要分类数据，每个类别分别包含 140000 个训练样本和 5000 个测试样本。 test.csv classes.txt train.csv

旅游行业问答系统数据，包含4个知名网站问答资料。共有20万条记录。

CCSK2018-2019智能问答数据集.rar

本文章以 丁香 医生为例 主要以 科目分类来进行爬取，每个科目爬取的内容会存储到一个文本文档中，内容是问答式。 代码如下： from bs4 import BeautifulSoup import pandas as pd import json import requests import time import random def get_static_url_content(url): headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, l