<kbd id='uyul08e6'></kbd><address id='uyul08e6'><style id='uyul08e6'></style></address><button id='uyul08e6'></button>

              <kbd id='05bp7n5y'></kbd><address id='05bp7n5y'><style id='05bp7n5y'></style></address><button id='05bp7n5y'></button>

                  威尼斯官网

                  基于深度学习问答系统中的语义相似度计算

                  日期: 2018-10-12 19:09:53 / 人气: 329

                  问答系统
                  问答系统aaaa,简称QAaaa,是自然语言处理领域的一类经典问题aaa。

                  威尼斯官网模式基本上分为两类:

                  1. 由输入的问题在n个候选答案中选取一个最佳的答案aaaaa。

                  2. 由输入的问题在已有的问题中选取一个语义最相似的问题aaa,将该已有问题的答案作为最终的答案返回aaaaa。

                  第一种问答系统类似与京东客服的自动回答系统aaaaa,很多使用过京东客服或是淘宝客服的同学会知道aaaa,当你问关商品或是关于售后以及物流的一些问题时aaaaa,系统会自动回答你的问题aaaa,但是回答的这些信息都是提前放在答案库里的aaaaa,所以会在答案库里的候选答案中选一个跟你的提问最匹配的答案作为回答aaaaa。

                  第二种类型的问答系统类似与百度知道aaaaa,知乎这一类问答社区的形式aaa。在数据库中aaaaa,已经得到解答的问题是有答案的aaa,而系统需要做的就是将用户输入的问题跟这些已经有答案的问题进行语义相似度计算aaaa,返回语义最相似的问题的答案作为回答aaa。


                  语义相似度
                  语义相似度aaa,如同字面意思一样aaa,就是形容两句话的语义是否相似aaaaa,是不是表达着同样的意思aaaaa。

                  在上面所介绍的两类分类问题中aaa,都需要用到语义相似度的计算aaa。第一类需要计算问题与n个候选答案之间的语义相似度aaa,第二类需要计算问题与n个候选问题之间的语义相似度aaaa。

                  目前有许多方法可以用来计算语义相似度aaaaa,例如余弦相似度(Cosine Similarity)、欧几里得距离(Euclidean Distance)、指数(exponential)、曼哈顿距离(Manhattan Distance)aaaaa。今天我们要介绍的也是目前最常用的一种语义相似度计算方法:余弦相似度aaaa。

                  余弦相似度
                  在使用余弦相似度计算两条文本的语义距离时aaa,我们还有一些前序工作需要进行aaaa,就是提取文本的语义特征向量aaa。可以使用LSTM(Long Short-Term Memory)、GRU(Gate Recurrent Units)等循环神经网络来对文本语义特征进行提取aaa,也可以使用Doc2Vec等算法来进行计算aaa。

                  余弦相似度又称为余弦相似性aaaa,是通过计算两个向量夹角的余弦值来评估他们的相似度aaaa,在我们熟悉的二维空间中aaa,余弦相似度的计算方法如下:

                  设a,b的坐标分别为:aaa,aaa,其余弦相似度为:



                  推广到多维空间中有:





                  在之前所述的两种问答系统中aaaaa,n个候选答案(问题)之中包括一个正样本(The Ground Truth/Correct Answer/Correct Question)与多个负样本(Wrong answer/Wrong question)aaaaa。然后依次计算输入问题的语义向量与候选答案(问题)之间的余弦相似度aaaaa。

                  通过计算得到与正样本的相似度为:



                  与负样本的相似度为:



                  接下来需要设置一个边界值(Margin)aaaa,来对计算出的正负样本的语义相似度进行评判aaaaa。



                  当:



                  说明正负样本的相似度之差小于边界值aaa,或是系统错误的计算出问题与负样本的相似度高于正样本aaa。



                  当:



                  则说明系统计算出问题与正样本的相似度高于负样本aaa,从而正确的分辨出了正样本aaaaa,则不需要对网络参数进行优化和更新aaaa。



                  最后使用Hings Loss作为语义相似度模型的代价函数aaaa,公式如下:

                  ---------------------
                  作者:zjrn
                  原文:https://blog.csdn.net/ZJRN1027/article/details/80170966?utm_source=copy

                  现在致电 0755-88820392 OR 查看更多联系方式 →