一种融合闲聊和常识的多技能任务型对话系统构建方法与流程

1.本发明涉及对话系统，具体涉及一种融合闲聊和常识的多技能任务型对话系统构建方法。


背景技术：

2.对话系统按照任务类型可以分为闲聊型对话系统、问答型对话系统和任务型对话系统。
3.闲聊型对话系统，主要是与用户进行情感互动交流，帮助用户排忧解闷，其一般利用大量闲聊语料对数据训练，比如dialodg、t5等采用生成式模型，使模型具备根据输入生成相应输出的能力，但是生成的结果是随机的，整体过程难以评估控制。闲聊型对话系统不具备常识推理能力，也无法在特定领域提供垂直任务。
4.问答型对话系统又称faq问答系统，主要是给用户提供垂直领域的咨询服务，比如政务咨询、法律咨询等。目前主流的问答型对话系统都是基于检索的方案，即预先根据问题和答案构建一个es问答对库，用户提问时对库内的问题进行检索，返回与用户问题最相似的topn个候选问题，然后利用打分重排机制选出其中最相似的标准问题，返回该标准问题对应的答案作为问题答案。目前常见的faq问答系统，通过构建大量相似问或者高质量的知识图谱，充分利用文本和语义特征向量，采用召回和打分策略来保证可控性和精度，但是问答型对话系统也不具备常识推理能力，同时无法支持闲聊功能。
5.任务型对话系统，又称智能客服系统，其在物流、金融、保险、制造、电商等诸多领域具有广阔的应用前景，其可以替代部分人工客服为用户提供24h服务，极大减小人工客服的压力，降低企业成本。目前，市面上主流的任务型对话系统都是以pipeline方式实现的，整个系统分为多个模块，比如对话理解nlu模块主要是识别用户意图和提取对话中关键槽位，对话追踪dst模块主要负责记录对话状态和槽位，对话策略dpl模块主要负责根据当前输入和历史记录决策本次对话该向用户作何响应，对话生成nlg模块主要负责生成最终响应给用户的内容。鉴于任务型对话系统的复杂性及对任务完成的高标准要求，该类系统亦不具备常识推理能力，也无法很好地支持闲聊功能。


技术实现要素：

6.(一)解决的技术问题
7.针对现有技术所存在的上述缺点，本发明提供了一种融合闲聊和常识的多技能任务型对话系统构建方法，能够有效克服现有技术所存在的无法兼具常识推理能力和闲聊功能、对话回复召回准确性较低的缺陷。
8.(二)技术方案
9.为实现以上目的，本发明通过以下技术方案予以实现：
10.一种融合闲聊和常识的多技能任务型对话系统构建方法，包括以下步骤：
11.s1、收集大规模开源的中文闲聊语料，将相邻对话作为闲聊语料对，并构建闲聊模
型；
12.s2、收集大规模各领域的常识问答语料以及三元组数据，构建知识图谱，基于常识问答语料训练相似度打分模型；
13.s3、对原始问题进行处理得到候选实体集合，从知识图谱中获取相关两跳关系内所有出度和入度的关系，并得到最终候选实体；
14.s4、利用最终候选实体筛选出实体关系路径，并对实体关系路径进行优选得到最终路径，基于最终路径从知识图谱中查询常识答案，完成常识对话模型的构建；
15.s5、分析任务对话语料，抽象出固定的本体数据存入数据库中，在会话级别构建任务对话模型；
16.s6、利用常识推理和任务对话语料训练生成话题判别模型。
17.优选地，s4中利用最终候选实体筛选出实体关系路径，并对实体关系路径进行优选得到最终路径，基于最终路径从知识图谱中查询常识答案，包括：
18.将最终候选实体分别与对应两跳关系内所有出度和入度的关系拼接成完整句子，利用相似度打分模型分别计算原始问题与每个完整句子之间的相似度，并筛选出实体关系路径；
19.对每条实体关系路径与原始问题进行打分，选取得分最高的实体关系路径作为最终路径，基于最终路径从知识图谱中查询常识答案。
20.优选地，所述将最终候选实体分别与对应两跳关系内所有出度和入度的关系拼接成完整句子，包括：
21.所有最终候选实体对应拼接成的完整句子有：
[0022][0023]
其中，代表入度中所有关系及第i个最终候选实体组成的句子，ii为第i个输入的最终候选实体，r
r1
为两跳关系内的入度关系，t
r1
为两跳关系内的入度实体，代表出度中所有关系及第i个最终候选实体组成的句子，r
r2
为两跳关系内的出度关系，t
r2
为两跳关系内的出度实体，m为最终候选实体的个数。
[0024]
优选地，所述利用相似度打分模型分别计算原始问题与每个完整句子之间的相似度，并筛选出实体关系路径，包括：
[0025]
让原始问题和完整句子分别经过相似度打分模型，取最后一层n维特征向量相加，再拼接上最后一层n维特征向量差分形成的3*n向量，经过两层全连接层后输出，最后利用softmax函数进行打分，筛选出分数最高的预设个数的完整句子对应的实体关系路径。
[0026]
优选地，s2中收集大规模各领域的常识问答语料以及三元组数据，构建知识图谱，基于常识问答语料训练相似度打分模型，包括：
[0027]
利用三元组数据扩展常识问答语料的多样性，同时对三元组数据进行清洗和预处理操作，存入neo4j数据库中构建知识图谱，基于常识问答语料训练simcse-roberta相似度
打分模型。
[0028]
优选地，所述对每条实体关系路径与原始问题进行打分，选取得分最高的实体关系路径作为最终路径，基于最终路径从知识图谱中查询常识答案，包括：
[0029]
采用下式计算第i条实体关系路径与原始问题之间的总得分sourcei：
[0030]
sourcei＝li+di+ri+ci[0031]
其中，li为第i条实体关系路径与原始问题在全部字粒度上进行去重后得到的交集长度，di为第i条实体关系路径长度的倒数，ri为第i条实体关系路径跳数的倒数，ci为最终候选实体在第i条实体关系路径中出现的频率；
[0032]
选取总得分sourcei最高实体关系路径作为最终路径，基于最终路径组装cypher查询语句从知识图谱中查询常识答案。
[0033]
优选地，s5中在会话级别构建任务对话模型，包括：
[0034]
将每个对话轮次用户的话语、信念状态、数据库结果、系统动作和系统回复组成对话序列在dialodg神经网络上进行微调，具体包括：
[0035]
在第一个对话轮次时，用户输入的话语为u0，根据话语u0生成的信念状态为b0，信念状态b0用于数据库的检索，以检索满足信念状态b0约束下的实体数量，检索结果为d0，根据{u0，b0，d0}生成系统动作a0和系统回复r0；
[0036]
在第t个对话轮次时，基于用户话语u
t
和之前所有生成的输出{u0，b0，d0，a0，r0，
…
，u
t-1
，b
t-1
，d
t-1
，a
t-1
，r
t-1
，u
t
}，来生成b
t
、a
t
和r
t
。
[0037]
优选地，s3中对原始问题进行处理得到候选实体集合，包括：
[0038]
通过lac工具对原始问题进行分词和词性提取，保留名词性的词和短语，去除停用词，分别获取这些名词性的词和短语从2到原始问题长度的子串，进而得到候选实体集合。
[0039]
优选地，s3中从知识图谱中获取相关两跳关系内所有出度和入度的关系，并得到最终候选实体，包括：
[0040]
从知识图谱中获取相关两跳关系内所有出度和入度的关系，并统计关系数据量count
qr
，采用下式计算原始问题和每个候选实体之间的相似度s
qe
：
[0041][0042]
采用下式计算原始问题与两跳关系内每个关系的相似度s
qc
：
[0043][0044]
其中，sq为原始问题集合，se为候选实体集合，sc为关系集合；
[0045]
采用下式计算关系数据量count
qr
、原始问题和每个候选实体之间的相似度s
qe
、原始问题与两跳关系内每个关系的相似度s
qc
之间的加权分数candidates：
[0046]
candidate s
＝count
qr
*w
qr
+s
qr
*w
qe
+s
qc
*w
qc
[0047]
其中，w
qr
、w
qe
、w
qc
均为固定调节值；
[0048]
保留分数最高的预设个数的候选实体作为最终候选实体。
[0049]
优选地，s1中收集大规模开源的中文闲聊语料，将相邻对话作为闲聊语料对，并构
建闲聊模型，包括：
[0050]
收集大规模开源的中文闲聊语料，对中文闲聊语料进行噪声清洗和质量检查，剔除敏感主题样本，将相邻对话的上文作为问题query，下文作为回答answer，并利用dialodg神经网络训练一个生成式的闲聊模型。
[0051]
(三)有益效果
[0052]
与现有技术相比，本发明所提供的一种融合闲聊和常识的多技能任务型对话系统构建方法，具有以下有益效果：
[0053]
1)在常识对话模型的构建过程中，设计独有的候选实体提取策略，不需要额外的实体链接模型，减小人工标注和模型训练的成本，在实体关系路径阶段利用simcse-roberta相似度打分模型提取特征向量进行差分融合，增强特征信息，在优选最终路径时结合原始问题进行召回打分，有效提升了召回的准确性；
[0054]
2)在任务对话模型的构建过程中，摒弃pipeline多模块方案，构造统一的数据输入格式，提升对话文本和系统响应的互信息，并且采用dialodg端到端的方式进行模型训练。
附图说明
[0055]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0056]
图1为本发明的流程示意图；
[0057]
图2为本发明中构建闲聊模型的流程示意图；
[0058]
图3为本发明中构建常识对话模型的流程示意图；
[0059]
图4为本发明中构建任务对话模型的流程示意图；
[0060]
图5为本发明中构建任务对话模型过程中dialodg神经网络的工作示意图。
具体实施方式
[0061]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0062]
一种融合闲聊和常识的多技能任务型对话系统构建方法，如图2所示，收集大规模开源的中文闲聊语料，将相邻对话作为闲聊语料对，并构建闲聊模型，具体包括：
[0063]
收集大规模开源的中文闲聊语料，对中文闲聊语料进行噪声清洗和质量检查，剔除敏感主题样本，将相邻对话的上文作为问题query，下文作为回答answer，并利用dialodg神经网络训练一个生成式的闲聊模型。
[0064]
如图3所示，收集大规模各领域的常识问答语料以及三元组数据，构建知识图谱，基于常识问答语料训练相似度打分模型，具体包括：
[0065]
利用ownthink开源的1.4亿中文实体三元组数据扩展常识问答语料的多样性，同
时对三元组数据进行清洗和预处理操作，存入neo4j数据库中构建知识图谱，基于常识问答语料训练simcse-roberta相似度打分模型。
[0066]
如图3所示，对原始问题进行处理得到候选实体集合，从知识图谱中获取相关两跳关系内所有出度和入度的关系，并得到最终候选实体。
[0067]
①
对原始问题进行处理得到候选实体集合，包括：
[0068]
通过lac工具对原始问题进行分词和词性提取，保留名词性的词和短语，去除停用词，分别获取这些名词性的词和短语从2到原始问题长度的子串，进而得到候选实体集合。
[0069]
②
从知识图谱中获取相关两跳关系内所有出度和入度的关系，并得到最终候选实体，包括：
[0070]
从知识图谱中获取相关两跳关系内所有出度和入度的关系，并统计关系数据量count
qr
，采用下式计算原始问题和每个候选实体之间的相似度s
qe
：
[0071][0072]
采用下式计算原始问题与两跳关系内每个关系的相似度s
qc
：
[0073][0074]
其中，sq为原始问题集合，se为候选实体集合，sc为关系集合；
[0075]
采用下式计算关系数据量count
qr
、原始问题和每个候选实体之间的相似度s
qe
、原始问题与两跳关系内每个关系的相似度s
qc
之间的加权分数candidates：
[0076]
candidate s
＝count
qr
*w
qr
+s
qr
*w
qe
+s
qc
*w
qc
[0077]
其中，w
qr
、w
qe
、w
qc
均为固定调节值；
[0078]
保留分数最高的预设个数的候选实体作为最终候选实体。
[0079]
如图3所示，利用最终候选实体筛选出实体关系路径，并对实体关系路径进行优选得到最终路径，基于最终路径从知识图谱中查询常识答案，完成常识对话模型的构建，具体包括：
[0080]
将最终候选实体分别与对应两跳关系内所有出度和入度的关系拼接成完整句子，利用相似度打分模型分别计算原始问题与每个完整句子之间的相似度，并筛选出实体关系路径；
[0081]
对每条实体关系路径与原始问题进行打分，选取得分最高的实体关系路径作为最终路径，基于最终路径从知识图谱中查询常识答案。
[0082]
①
将最终候选实体分别与对应两跳关系内所有出度和入度的关系拼接成完整句子，包括：
[0083]
所有最终候选实体对应拼接成的完整句子有：
[0084]
[0085]
其中，代表入度中所有关系及第i个最终候选实体组成的句子，ii为第i个输入的最终候选实体，r
r1
为两跳关系内的入度关系，t
r1
为两跳关系内的入度实体，代表出度中所有关系及第i个最终候选实体组成的句子，r
r2
为两跳关系内的出度关系，t
r2
为两跳关系内的出度实体，m为最终候选实体的个数。
[0086]
②
利用相似度打分模型分别计算原始问题与每个完整句子之间的相似度，并筛选出实体关系路径，包括：
[0087]
让原始问题和完整句子分别经过相似度打分模型，取最后一层n维特征向量相加，再拼接上最后一层n维特征向量差分形成的3*n向量，经过两层全连接层后输出，最后利用softmax函数进行打分，筛选出分数最高的预设个数的完整句子对应的实体关系路径。
[0088]
③
对每条实体关系路径与原始问题进行打分，选取得分最高的实体关系路径作为最终路径，基于最终路径从知识图谱中查询常识答案，包括：
[0089]
采用下式计算第i条实体关系路径与原始问题之间的总得分sourcei：
[0090]
sourcei＝li+di+ri+ci[0091]
其中，li为第i条实体关系路径与原始问题在全部字粒度上进行去重后得到的交集长度，di为第i条实体关系路径长度的倒数，ri为第i条实体关系路径跳数的倒数，ci为最终候选实体在第i条实体关系路径中出现的频率；
[0092]
选取总得分sourcei最高实体关系路径作为最终路径，基于最终路径组装cypher查询语句从知识图谱中查询常识答案。
[0093]
如图4所示，分析任务对话语料，抽象出固定的本体数据存入数据库中，在会话级别构建任务对话模型。
[0094]
①
分析任务对话语料，抽象出固定的本体数据存入数据库中，包括：
[0095]
以餐馆信息为例，[{“pname”：安徽省，“city”：合肥市，“adname”：蜀山区，“address”：蜀西区创新大道2800号，“location”：[117.26104,31.85117]，“name”：老乡鸡创新产业园店，“quality”：5，“pricerange”：便宜}]，一般如果第三方有更准确的外部信息，可以通过http接口的形式去对接，然后去除不同来源语料中语言表达的多样性，充分利用对话语义结构与响应之间的互信息，对所有数据去差异化，将对话数据中具体的槽位采用统一别名的方式替换，并将用户的话语、信念状态、数据库结果(也可以是外部接口的结果)、系统动作和系统回复都以特定的编码格式包围作为输入；
[0096]
常规方案的具体数据格式如下：
[0097]
[user]我想看一下蜀西湖公园附近便宜口碑又好的餐厅
[0098]
[slot][蜀西湖公园，便宜，口碑又好]
[0099]
[system]老乡鸡创新产业园店不错，大众点评是5星好评
[0100]
[user]好的，帮我订今天的4人包间
[0101]
本发明中的具体数据格式如下：
[0102]
[《sos_u》]我想看一下address附近pricerange quality的餐厅[《eos_u》]
[0103]
[《sos_a》][address][pricerange][quality][restaurant][《eos_u》]
[0104]
[《sos_r》]name不错，大众点评是quality。[《eos_r》]
[0105]
[sos_db][tb_restaurant][address][pricerange][quality][eos_db]
[0106]
[《sos_u》]好的，帮我订time的person人包间[《eos_u》]
[0107]
[《sos_a》][booking][address][pricerange][quality][time][person][《eos_u》]
[0108]
[《sos_r》]好的，已成功帮你预定【老乡鸡创新产业园店】【今天】的【4】人包间。请问还有什么可以帮您？[《eos_r》]
[0109]
②
在会话级别构建任务对话模型，如图5所示，包括：
[0110]
将每个对话轮次用户的话语、信念状态、数据库结果、系统动作和系统回复组成对话序列在dialodg神经网络上进行微调，具体包括：
[0111]
在第一个对话轮次时，用户输入的话语为u0，根据话语u0生成的信念状态为b0，信念状态b0用于数据库的检索，以检索满足信念状态b0约束下的实体数量，检索结果为d0，根据{u0，b0，d0}生成系统动作a0和系统回复r0；
[0112]
在第t个对话轮次时，基于用户话语u
t
和之前所有生成的输出{u0，b0，d0，a0，r0，
…
，u
t-1
，b
t-1
，d
t-1
，a
t-1
，r
t-1
，u
t
}，来生成b
t
、a
t
和r
t
。
[0113]
利用常识推理和任务对话语料训练生成话题判别模型。用户输入先经过话题判别模型进行话题类型的判定，若话题判别模型输出的结果为常识类型，则调用常识对话模型；如果话题判别模型输出的结果为任务类型，则调用任务对话模型；如果话题判别模型判定输入既不属于常识类型，也不属于任务类型，则调用闲聊模型。
[0114]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。