一、The Meaning of Words Depends on the Context（论文文献综述）
庞蕊[1]（2021）在《融合先验知识的蒙汉神经机器翻译研究》文中研究指明机器翻译是自然语言处理领域中的一项关键技术。随着近些年深度学习的飞速发展,神经机器翻译研究取得了显着进步。然而作为一项数据驱动的技术,神经机器翻译方法应用在语料资源稀缺的蒙汉翻译任务中时效果并不理想。资源稀缺语言的机器翻译可通过数据增强或迁移学习等方式提高翻译效果,本文则采用融合先验知识的方法缓解蒙汉平行语料资源稀缺的问题,提高神经机器翻译模型对不同类型语言学信息的建模能力。分别对三种不同类型先验知识的融合进行了研究。一、选择目标语言端丰富的句法结构信息作为先验知识。首先对目标端的汉语语料进行句法结构分析,之后将句法结构树转换为序列数据类型的线性句法树,作为解码器的输入融合到神经机器翻译模型中。最后采用重排序分数作为衡量翻译模型对语法结构学习程度的指标。实验表明,该方法生成的译文具有更强的语法结构。二、选择蒙汉平行短语对作为先验知识。短语对由外部语言资源与从蒙汉平行语料库中抽取而得,之后对句子中的短语进行标记。该模型的解码器有单词模式和短语模式,对于源句中被标记为短语的单词片段,可逐词翻译或作为一个整体翻译为对应的目标短语。该方法不仅将外部的短语知识引入神经机器翻译,还对循环神经网络的逐词生成机制进行了扩展。三、选择训练好的统计机器翻译模型作为先验知识。首先使用蒙汉平行语料库分别独立训练统计机器翻译模型与神经机器翻译模型,之后在神经机器翻译的每个解码时间步,统计机器翻译模型根据源句与神经机器翻译在先前时刻生成的所有预测单词,给出当前时刻单词的翻译建议,最后由门控机制决定是否采纳统计机器翻译的建议。实验表明,融合统计机器翻译建议可以有效地提高翻译质量。本文在50万句对的蒙汉平行语料库上开展实验,实验结果显示三种类型先验知识的融合均可提高神经机器翻译模型的性能。其中融合句法结构信息的模型BLEU值提高0.28,融合外部短语信息的模型BLEU值提高1.27,融合统计机器翻译建议的模型BLEU值提高1.64,而进一步使用统计建议替换未登录词的模型BLEU值提高2.18。
张森[2]（2021）在《面向知识库问答的实体链接及关系预测研究》文中研究表明随着知识图谱技术的发展与成熟,其作为一个结构化的知识库被应用到各个领域,尤其是在基于知识库的问答领域。知识库问答是其接受一个自然语言式的问句并经过语义理解后结合知识库返回答案,不同于传统基于关键字的检索式问答,知识库问答直接给出精准答案,不需要用户进行二次查找或推理,使答案获取方式更加简单高效。然而,目前知识库问答的整体准确率不高,其主要原因包括两点:实体名拼写不规范、问句上下文信息不足和知识库中实体描述信息缺失,导致实体链接错误率较高;问句的语义和结构错综复杂以及关系数量庞大,导致关系预测准确率较低。针对上述问题,本文开展了深入研究,具体工作与成果如下:（1）针对实体链接中实体名拼写不规范、问句上下文信息不足和知识库中实体描述信息缺失的问题,本文提出了一种多维度匹配的实体链接模型（Entity linking of multidimensional matching,MDM-EL）。MDM-EL模型首先进行字符串维度匹配,该维度将实体候选集调整为合理的大小;然后进行统计维度匹配,该维度利用实体显着性完成初步实体候选集的排序;最后进行实体属性维度匹配,该维度利用实体属性信息完成排序结果的修正,最终排名最高的实体即为实体链接的结果。实验结果表明,该模型在Simple Questions数据集上准确率达到了83.43%,高于近年来的state-of-the-art实体链接方法。（2）针对关系预测中复杂问句的语义抽取困难的问题,本文提出了一种基于自注意力机制的层次语义抽取关系预测模型（Self-attention based Hierarchical semantic extraction network,SA-Hse Net）。该模型采用编码器与解码器框架实现,是信息抽取与深度学习的结合。模型中编码器负责问句语义特征的编码,解码器负责关系语义的解码。为了加强模型的语义抽取能力,编码器将问句的语义特征分为局部浅层语义和全局抽象语义两个层次,同时为了突出两个层次的关键语义信息,分别采用自注意力机制和交叉注意力机制完成问句的编码。实验结果表明,该模型在Simple Questions数据集上的准确率达到了93.36%,且在时间性能上表现优异。（3）针对关系预测中原始关系集合数量庞大的问题,本文提出了一种关系限制子图法。该方法利用关系限制子图提取原始关系集合中的有效关系,形成有效关系集合,再从有效关系集合中筛选出关系。实验结果表明,该方法能将SA-Hse Net模型的关系预测准确率提高3%左右。本文提出的MDM-EL模型降低了实体链接的错误率,保证了答案主题的正确性。其次,SA-Hse Net模型和关系限制子图法提升了关系预测的准确率,保证了答案推理的正确性,同时SA-Hse Net模型在时间性能上表现优异,保证了知识库问答的实时性。将上述模型和方法应用到具体的知识库问答系统中,能为用户提供更精准的答案。
刘欣[3]（2021）在《语句意图匹配方法研究》文中提出语句意图匹配方法是自动问答和信息检索等系统的核心技术,主要用于判断两个语句中的语义意图匹配程度,在实际应用中具有重要价值。近几年随着深度学习的兴起,相关方面研究获得了突破性进展。尽管深度学习方法在语句意图匹配中得到广泛应用,其仍然面临以下挑战:1)训练样本不足的问题,很多实际应用领域难以提供足够的训练样本;2)由于语句表达的灵活多变,模型对语句中意图信息的有效编码受到一定限制;3)词语语义的多义性在现有的模型中没有得到足够的重视,限制模型性能的进一步提升;4)特定应用场景下参与匹配的语句关系复杂,使得特定场景下通用意图匹配方法无法有效适用。本文主要针对以上问题开展研究,主要内容包括以下几个方面:第一,针对训练样本不足的问题,提出基于无监督方法的问句意图匹配语料的构建方法。在语料的构建过程中,本文首先使用搜索引擎收集大规模的多领域问句对;其次,使用无监督距离算法过滤不相关的问句对;最后,具有专业背景的数据标注者对剩余的问句对进行意图是否匹配的人工标注,得到包含260 068个问句对的问句意图匹配语料。同时,本文将语料划分成训练集,验证集和测试集并使用已发布的的语句意图匹配算法进行实验,实验结果不仅证明了本文方法构建的大规模中文问句意图匹配语料的良好质量,而且还提供了可靠的基线性能以进一步研究该语料。第二,针对模型难以对语句中意图信息进行有效编码问题,提出基于语句差异性特征的匹配方法。该方法首先将语句对中的差异词汇抽取出来,其次使用神经语言模型对差异词汇进行编码,得到语句差异性特征,最后通过门控机制将语句差异性特征整合到基准意图匹配方法中。在国际开放的大规模中文问句意图匹配语料和英文问句意图匹配语料上进行实验。实验结果表明,本文提出的方法可以有效地学习到语句中的意图差异性信息并提升意图匹配性能,在各类评价指标上均优于已发表的基线意图匹配方法。第三,针对词语语义信息表示存在多义性的问题,提出了面向意图匹配的词向量分解词义学习方法。该方法首先将语句中的一个多义词转换为词向量表示,并使用胶囊神经网络对词向量进行分解得到多个类义素向量。其次,使用神经语言模型对语句进行上下文编码得到上下文信息表示。最后,使用注意力机制将上下文信息表示与多个类义素向量进行注意力整合,生成特定上下文的词义向量。本文将学习到的词义向量应用到英文问句意图匹配语料上进行验证,实验结果表明,相比于无监督词向量,该方法学到的词义向量能够更准确地捕捉到词语的语义,从而进一步提升意图匹配模型的性能。第四,针对通用意图匹配方法在特定场景下的匹配语句中性能受限问题,提出基于意图的领域内知识与文本匹配方法。该方法基于医学知识和医学文本中的意图信息,使用关系和主题胶囊网络,分别对医学知识中的关系特征和医学文献中的主题特征进行学习,并将学到的关系和主题特征作为意图信息融入到匹配算法中。在医学文献检索任务上使用人工标注的匹配数据集和排序数据集对该方法进行验证。实验结果表明,在各项评价指标上,该方法均优于已公开的不同类型基线方法。证明了医学知识和医学文本匹配语句中包含有效意图匹配信息,并且这些信息可以通过该方法融入到通用匹配模型中,进一步增强模型在医学信息检索中的匹配性能。综上所述,本文围绕语句意图匹配方法进行深入研究和讨论,针对意图匹配方法中存在的四个问题,分别提出意图匹配数据构建方法,基于语句差异性特征的匹配方法,面向意图匹配的词向量分解词义学习方法和基于意图的领域内知识与医学文本匹配方法。通过大量实验,在各自对应的数据集上进行验证,最终均取得了较优性能。
张敏[4]（2021）在《面向文物领域的知识图谱构建技术研究》文中提出博物馆作为文物保护与传承的载体,承载着人类数千年的文明。在蓬勃发展的物联网和人工智能等技术的驱动下,智慧化建设成为博物馆界关注的热点。然而,由于文物资源种类多数量大,以及互联网相关文物数据的多源异构性,使得博物馆智慧化建设中对文物信息资源管理与利用存在以下两个问题:文物信息资源缺乏有效组织和文物数据之间缺乏有效联系。文物知识图谱挖掘文物事实,利用文物间潜在的联系形成三元组,构建文物知识库,实现文物的有效组织,为文物资源的融合与共享提供基础。同时,文物知识图谱对延展文物知识,丰富文物展陈方式,促进智能问答、语义搜索和智慧导览项目的开发,提升博物馆智慧化服务具有重要意义,其研究吸引了大量研究者关注。文物知识图谱的构建虽已涌现出诸多相关研究,但仍面临以下挑战:（1）文物实体抽取任务中,有监督的方法需要大量标注数据,但构建大规模文物标注数据费时耗力,另外,中文文物实体数据构词具特殊性。（2）文物关系抽取任务中,文物数据存在多重关系,同时文物领域文本关键词具稀疏性。（3）文物实体对齐任务中,百科类网站文物数据具多源异构性,现有的仅从单一的字符或词语层面获取实体相似度的实体对齐方法精确率相对较低。（4）文物知识图谱补全任务中,文物实体间存在隐含关系,以及文物领域具隐含关系的标注三元组相对缺乏。本文针对以上挑战,开展了面向文物领域的知识图谱构建技术研究,主要探讨了文物实体抽取、关系抽取、实体对齐、知识图谱补全等问题,为文物知识图谱构建提供理论和技术支持。本文主要工作和贡献如下:（1）提出一种基于自训练算法的半监督文物实体抽取方法。首先,为解决文物文本构词特殊性问题,使用ELMo语言模型生成词表示,动态提取实体上下文特征;其次,为实现全局最优的标签序列预测,利用Bi LSTM和CRF模型实现特征提取和实体标注;最后,为提高模型的性能,设计一种基于双重标注样本选择策略的自训练算法,通过双重标注选取高置信度的样本。实验结果表明,本文提出的方法利用50%的标注数据在文物实体抽取任务上取得了较好的效果。（2）提出一种基于词注意力机制的胶囊网络文物关系抽取方法。首先,为同时获取语义和语序信息,融合字、词嵌入以及词性和词语位置信息作为模型的输入,以有效捕获语义和语序特征;其次,为解决文物文本关键词稀疏性的问题,设计一种基于词注意力机制的动态路由算法,赋予信息词较高权重,迭代修正连接强度来解决关键词稀疏问题;最后,为解决实体间多重关系问题,利用转换矩阵对胶囊实例化参数预测。实验结果表明,本文提出的方法有效实现了文物领域多重关系的提取。（3）提出一种基于多特征相似度的文物实体对齐方法。首先,针对百科网站文物数据的多源异构性,提取实体属性、实体摘要和实体全文特征,并计算其相似度,分别从字符、词语和句子层面获取实体特征;其次,为了提高实体对齐的精确率,融合实体属性、实体摘要和实体全文特征相似度构建文物实体对齐模型;最后,通过阈值判断两个实体是否对齐。实验结果表明,本文提出的方法在三类文物实体的对齐任务中的精确率分别提高了2.11%,4.98%和4.18%。（4）提出一种融合实体类型的BERT文物知识图谱补全方法。首先,为有效获取实体丰富的语义信息,融合实体类型这一外部知识,使模型消除违反类型约束的反例,实现文本语义增强表示;其次,为有效识别隐含关系,解决关系稀疏性问题,使用多头注意力机制获取文本特征;最后,使用大量无标注数据预训练BERT模型,少量标注文物三元组对模型微调,解决文物领域标注三元组缺乏问题。实验表明,本文提出的方法使用35%标注数据在文物知识图谱补全任务中取得的结果优于对比方法。
马博[5]（2021）在《基于关键词和图模型的自动文摘抽取》文中进行了进一步梳理自动文本摘要技术通过算法将原始文档中重要信息摘录以形成摘要,便于阅读理解。针对现有自动文本摘要与关键词提取算法存在的不足,并降低信息过载程度,本文综合自动文本摘要和关键词提取技术,尝试高质量文本摘要方法。主要研究工作内容如下:（1）鉴于传统关键词提取方法未有效利用中文的结构特点,且文本特征信息不足等问题,本文提出At-Bi-LSTM-CRF网络模型,将关键词提取转变为实体的标注问题。首先,将向量化的文本序列输入双向长短时记忆神经网络层,得以提取文本双向长距离依赖特征。其次,利用注意力机制得到输入和输出之间的相关性,计算新权重后得到新输出的特征值,进一步提取了上下文信息,可以更准确地提取文本内容特征。最后,结合线性条件随机场处理标签之间的状态关系,得到全局最优标注序列,以获得更好的关键词提取效果。实验结果表明,与传统TF-IDF、CRF、LSTM等算法相比本文方法具有较好提取效果,并与不加注意力机制的算法相比,F1值仍有不错提升。（2）在计算文本相似度时,传统TextRank算法仅对比句子中重叠词数量,未考虑语义及结构信息,致使准确性降低,本文提出基于关键词和图模型的文本摘要提取算法。首先,融合关键词、词性、词句位置等特征信息并沿用至词移距离算法中,克服了传统词移距离算法的缺陷,实现了基于多特征加权融合的文本相似度计算算法,并获取语义相关层面的信息,从根本上提高了相似度的准确性。其次,根据相似度结果各句子权重被迭代计算,直至收敛。最终,依权重值排序,从高至低筛选文摘句。从实验结果来看,本文算法的提取效果优于传统MMR、TextRank算法以及优化过的ImpTextRank算法,提取的摘要与人工摘要更加相近,提高了文章摘要提取的质量。综上所述,本文采用优化的深度学习方法处理关键词,利用关键词作为特殊的文摘句这一特性,结合优化的TextRank方法抽取文本摘要。克服了传统TextRank方法忽略关键词的覆盖性、缺乏语义信息、结构信息等缺陷。
孙敏[6]（2021）在《基于BERT和混合神经网络的文本情感分析方法研究》文中指出文本情感分析作为自然语言处理领域的一个重要研究方向,能够有效的分析出文本包含的各种情感信息。面对互联网文本资源爆炸式增长的趋势,如何有效的利用文本数据,挖掘背后商业价值和研究价值,具有非常重要的意义。在大数据时代,网络词替换更新速度较快,基于情感词典的方法需要大量人力和财力不断的更新情感词典;基于传统机器学习的方法依赖于对文本的人工标注,很难学习到更深层次的语义信息。在这种形势下,基于深度学习的方法浮出水面,能够轻松处理海量的数据、自动提取特征,有很强的泛化能力。其中卷积神经网络和循环神经网络以及其变体以各自的优势在自然语言处理领域被广泛学者所关注。但目前深度学习方法在处理文本信息过程中也存在很多的问题,例如单个网络模型分类准确率不高、给所有的词语同样的关注度和无法解决词语多义性等问题。针对这些问题,本文主要的研究工作有:（1）针对循环神经网络（RNN）容易出现梯度消失、无法掌握长时间跨度的非线性关系容易造成长期依赖等问题,本文使用长短期记忆神经网络（BiLSTM）网络进行序列化学习,解决了RNN的梯度消失问题以及在分析文本时可以更好的关注上下文信息。结合卷积神经网络（CNN）能够提取文本局部特征和语义信息的优势,提出一种基于CNN-BiLSTM模型的文本情感分析方法。实验结果表明,CNN-BiLSTM模型比传统的单个CNN或BiLSTM模型有着更好的情感分析效果。（2）结合注意力机制能够根据重要程度不同的词语给不同的权重,和文本卷积神经网络（Text-CNN）通过使用多个不同大小的卷积核提取粒度不同的情感特征以及句子内部及句子之间的相互关系,双向门限循环神经网络（BiGRU）处理距离较大词语之间的依赖信息的优势,在CNN-BiLSTM模型的基础上进一步优化,构建了一种并行混合网络融入注意力机制的文本情感分析方法。首先分别使用Text-CNN提取不同粒度的情感特征、BiGRU获取时间步距离较大词语之间的依赖关系,然后将提取得到的信息进行融合之后再通过注意力机制高度关注重要词语的特征,进一步提高分类的准确率,有较强的应用能力。（3）针对传统的语言模型和Word2vec、Glove等词向量表示方法都无法解决词语多义性问题。针对此问题,本文使用BERT预训练模型动态获取词语的词向量作为机器学习和深度学习算法的输入进行情感特征的提取和情感极性的分类。使用了公开数据集进行实验,验证了BERT模型的有效性,然后将构建的模型应用在心理健康分析文本数据中,实验结果充分证明本文所提模型的有效性和通用性。
张良[7]（2021）在《基于领域优先选择策略的词义消歧研究》文中研究说明人类语言中普遍存在歧义性,这给自然语言处理技术带来了困难。作为在词语级别消除语言歧义性的方法,词义消歧旨在根据多义词所处的上下文环境来确定其词义。解决词义消歧问题对于机器翻译和内容分析等上层应用具有重要意义。词义消歧技术通常针对生活中的通用文本,需要利用上下文知识和构建消歧模型实现消歧。特定领域文本的词义消歧还面临着领域适应性问题,现有的词义消歧研究工作并未对领域知识的挖掘和利用给予足够的重视。随着面向特定领域的词义消歧研究的兴起,如何充分挖掘并利用领域知识改善词义消歧方法的性能,成为一个迫切需要解决的问题。基于上述问题,本文力求以领域知识的挖掘和利用为突破口,寻找提高词义消歧性能的方法。本文的主要工作主要包含以下三个方面:1.针对目前消歧算法提取的领域关联词质量不高导致消歧召回率低的问题,提出一种基于改进的对数似然比的词义消歧方法PPRank-LLRF（LogLikelihood Ratio and word Frequency,LLRF）。融合对数似然比与词频结合的方法,提取与目标领域相关度更高的关联词,并引入图模型,通过Personalized PageRank算法判定歧义词的词义。使用Koeling数据集测试词义消歧方法的性能,和改进前方法相比,Sports领域的消歧召回率提高了 1.81%,验证了所提方法的有效性。2.针对现有的领域消歧中的语义理解方法对领域判定不足的问题,提出一种基于领域优先选择策略的语义理解方法（Field Preference Strategy,FPS）。综合考虑词义领域和文档领域信息,判定歧义句的真实领域,并选择相应的消歧上下文构建图模型来表示语义。使用Koeling数据集测试词义消歧方法的性能,与改进前方法相比,在Sports和Finance领域数据集上召回率分别提高了 0.11%和0.31%,验证了领域优先选择策略的可行性和有效性。3.针对通用文本中领域知识利用不足的问题,对FPS算法进行领域泛化,提出一种改进的领域优先选择策略（Improved Field preference strategy,IFPS）,并引入扩展的领域知识,以适应通用文本词义消歧任务。使用Koeling数据集中的BNC实例测试词义消歧方法的性能,与改进前方法相比,词义消歧的召回率提高了 0.11%,验证了 IFPS方法的有效性。
谭俊杰[8]（2021）在《基于图模型的短文本分类算法研究》文中研究指明现实生活中不断产生大量的短文本数据,例如新闻文本,美团、大众点评等网站上用户发表的针对某些方面的评论。文本数据的产生必然伴随着对数据的归类,如何提升分类效率,减少人工成本,这便是文本数据分类的研究方向。此外从这些海量数据中挖掘出用户的情感,有助于精准地刻画用户,从而辅助平台进行针对性的提供服务。然而,目前大多数方法都忽略了文本单词之间的联系或是方面词与上下文之间的联系,导致分类性能表现不好。本文主要研究了基于图模型的文本分类算法,包括整体文本分类和方面级情感分析任务。通过图模型结合注意力机制挖掘单词之间、方面词与文本上下文之间的联系,学得更好的单词文本向量表示,从而提升模型性能。本文主要的研究内容如下:1)提出了一种整体文本分类的算法。该方法将每个文本以单词为节点,单词之间的关系为边构建一个文本图。同时建立一个连接到所有单词节点的超节点,用以表示文本整体信息。随后采用一个带有注意力机制的图卷积神经网络学习超节点以及单词节点的向量表示,最后融合两者向量的信息,提升文本分类准确率。2)提出了一种方面级情感分析的算法。首先将文本转化为图,然后构建一个连接方面词中所有单词的超节点。通过带有注意力机制和门控机制的图卷积神经网络学习单词向量表示和超节点向量表示。最后通过超节点向量作为方面词向量联合文本单词向量实现分类任务。同时还结合BERT预训练模型进一步提升分类性能。总体来说,本文所提出的方法都基于图模型,通过图模型挖掘文本单词之间的联系,学习更好的单词向量表示。同时利用注意力机制和门控机制控制图模型中节点信息的传递过程。在大量数据集的验证下,本文所提出的方法展现了较好的性能,能够用于处理短文本数据。
孙一博[9]（2020）在《面向表格数据的自动问答研究》文中研究说明智能问答是自然语言处理领域中的关键任务之一,其目的是为用户提出的自然语言查询自动提供答案。根据面向数据源的不同,智能问答可以分为面向结构化数据的自动问答和面向非结构化数据的自动问答。结构化数据包含知识图谱,表格等。非结构化数据包含自然语言文档,社区中的用户生成内容等。结构化数据相较于无结构化数据,其包含的信息歧义小,易于解析。表格数据属于一种结构化数据,它具有较高的时效性,易于维护且数量巨大。表格数据的上述特点使其通常作为搜索引擎和智能问答系统的重要答案来源之一。此外,由于大多数企业常用表格组织业务数据,面向表格数据的自动问答对于智能问答技术在企业中的落地具有重要意义。本文重点研究面向表格数据的自动问答技术。本文在充分考虑自然语言和表格数据特性的基础上,将研究内容概括为以下四个方面:1.基于表格内容建模的表格检索。对于一些用户提出的自然语言查询,表格数据本身即可作为令人满意的答案。故本文对表格检索任务中的关键技术进行了研究。给定一个自然语言查询,表格检索任务的目的是找到给定表格集合中与自然语言查询最相关的表格。现有研究主要利用表格周围的文本或网页信息来进行表格检索,而没有对表格本身的内容进行充分的探索。为了高效地对表格进行检索,需要解决以下问题:第一个问题是如何有效地表示一个半结构化的表格,第二个问题是如何构建一个良好模型来度量非结构化自然语言查询和半结构化表格之间的相关性。为了解决上述问题,本文在充分对表格和问句的各个粒度进行建模的基础上,提出了一个基于人工设计特征的模型,和一个从数据中进行学习的端到端的神经网络模型。这两个模型都在不同粒度对自然语言查询和表格之间的相关性进行了良好的建模。2.面向表格数据的单轮语义解析。为了用表格数据更精准地回答用户提出的问题,模型需要进一步分析表格数据,在其中找到表格某个具体的值,或者根据表格中的数据进行推理才能输出令用户满意的答案。在这种情况下,模型需要对表格的细粒度内容和问句的关联进行充分地理解并具备一定的推理能力。为了构建具备上述能力的模型,本文采用基于语义解析的方法将用户提出的自然语言查询转化为一种逻辑表达式,而这种逻辑表达式可以在对应的表格上通过现有的引擎执行后直接获得细粒度的答案。具体地,本文提出了一个可以将自然语言问题映射为SQL查询语句的生成模型。该模型通过综合考虑表格的结构和SQL语法来生成高质量的SQL查询语句。3.面向表格数据的多轮语义解析。在一些场景下,用户会对表格进行连续提问。用户的连续提问行为会造成问题语义缺省的现象。对于语义出现缺省的问题,模型需要综合考虑其上文才能准确地理解其语义。为了对面向表格数据的多轮提问进行回答,本文提出了一个可以将用户提出的每个自然语言查询都转化为对应的逻辑表达式的语义解析模型,其中自然语言查询所对应的逻辑表达式可以被执行以获得属于该查询答案。为了提高多轮查询情景下模型对问句的解析性能,本文在建模过程中融入了语法知识,专家知识和外部资源知识。该模型将生成逻辑表达式的过程转化为生成特定动作序列的过程,并通过对前序预测出的动作序列进行拷贝的方式处理了用户提出的一系列自然语言查询中存在的省略和指代等语言现象。4.基于反向翻译和元学习的低资源神经语义解析。在解决面向表格数据的自动问答任务时,基于语义解析的方法极其依赖大量的标注数据。由于针对表格的目标逻辑形式的专业性和复杂性,获得大量的标注数据的代价是非常昂贵的。为了缓解这个问题,本文提出了一个在低资源条件下用于训练面向表格数据问答的语义解析模型的算法。在缺乏问题答案和问题对应的逻辑表达式作为显示的监督信号时,该算法可以在有限数量的先验知识的基础上,利用反向翻译自动生成的训练数据,使用元学习技术按小样本学习的方式有效地训练一个神经语义解析器,从而在缺乏标注语料的情况下提高问答性能。
刁宇峰[10]（2020）在《双关语识别与生成关键技术研究》文中研究指明双关语是一种用来描述和理解词义歧义的修辞表达,主要通过词的多重含义或者同音近音的方式,从而使得双关语在上下文语境中具有双重含义,其语言表达更为含蓄、幽默。双关语不但是一种语言学的修辞现象,也是一种隐式情感表达方式,具有独特的研究风格,给人们留下深刻的印象。近年来,随着互联网及其技术的不断发展,微博、推特、论坛等社交媒体平台成为全球最大规模的公共数据源,而双关语文本出现在更加多元化的社交媒体平台上,得到了大多数研究学者更为广泛的关注。因此,研究学者们迫切需要利用自然语言处理技术深入理解和加工双关语信息。双关语研究旨在赋予计算机像人类一样分析双关语的能力,是一项富有挑战的研究课题。针对目前国内外双关语研究中语义信息利用不足、外部资源利用不充分等问题,本文深入研究双关语的语言学现象和表达特点,展开双关语识别研究、双关词定位研究和双关语生成研究,具体完成的工作主要如下:（1）对于双关语识别任务,双关语从类别上分为语义双关语和谐音双关语,对两类双关语分别进行识别。首先针对语义双关语识别方法存在由于词的一词多义性引起的语义理解不充分问题,提出了一种基于上下文表示和门控注意力机制的语义双关语识别方法。该方法深入挖掘语义双关语的歧义性,通过引入不同的语言环境中使用上下文语义表示来解决语义双关的一词多义性。另一方面,针对谐音双关语识别方法存在由于词的同音引起的语义表示不丰富问题,提出一种融合发音和拼写的注意力机制谐音双关语识别方法。该方法深入挖掘谐音双关语的语言特性,通过构建发音语义表示和拼写语义表示来捕获谐音双关语的歧义信息。实验表明,上述的双关语识别方法能够有效利用语义信息提升双关语识别的性能。（2）对于双关词定位任务,针对语义双关词定位方法存在忽视了语义双关语的语言学和语用学信息,提出了一种基于多维语义关系和语义相似度匹配的语义双关词定位方法。该方法根据相关的语言学理论,引入低维分布语义空间和外部语义资源提供的同义词信息。另一方面,针对谐音双关词定位方法存在忽视了谐音双关语的语言学和语用学信息,提出了一种基于细粒度语义表示和BiGRU-CRF的谐音双关词定位方法。该方法深入挖掘谐音双关词在双关语中的表达方式,构建融合字符、音素、词性、位置、词等级别的细粒度语义表示,利用新的标签策略和命名实体框架定位谐音双关词。实验表明,上述的双关词定位方法均获得了比目前先进的方法更好的结果。（3）对于双关语生成任务,针对生成的语义双关语缺乏歧义性和流畅性从而引起生成文本的质量不佳问题,提出了一种基于歧义性和流畅性的语义双关语生成方法。该方法引入生成对抗网络,由生成器和判别器组成,前者由层次ON-LSTM注意力机制构成,后者通过语义双关词及其不同的词义作为输入判断是真实文本还是生成文本,并结合层次的奖励机制和强化学习机制训练生成器。另一方面,针对生成的谐音双关语存在缺乏上下文语境信息从而引起生成文本的质量不佳问题,提出了一种基于语境理解和语义修正的谐音双关语生成方法。该方法包含语境理解模块和语义修正模块两个部分,前者包括局部语境理解和全局语境理解,后者首先通过预训练模型作为生成器生成谐音双关语,然后利用谐音双关语分类器获得激励得分,通过强化学习机制优化生成的谐音双关语。实验表明,上述提出的生成方法能够生成高质量的语义双关语和谐音双关语。
二、The Meaning of Words Depends on the Context（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、The Meaning of Words Depends on the Context（论文提纲范文）
（1）融合先验知识的蒙汉神经机器翻译研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.2.1 神经机器翻译研究现状 |
| 1.2.2 融合先验知识的机器翻译研究现状 |
| 1.2.3 蒙汉机器翻译研究现状 |
| 1.3 论文的主要内容 |
| 1.4 论文的组织结构 |
| 第二章 相关技术和理论分析 |
| 2.1 统计机器翻译相关模型 |
| 2.1.1 句法结构分析 |
| 2.1.2 统计机器翻译特征 |
| 2.1.3 统计机器翻译的对数线性模型 |
| 2.2 神经机器翻译相关模型 |
| 2.2.1 循环神经网络 |
| 2.2.2 循环神经网络变体 |
| 2.2.3 序列到序列模型 |
| 2.2.4 循环神经网络的注意力机制 |
| 2.3 机器翻译质量评估方法 |
| 2.4 本章小结 |
| 第三章 融合句法结构信息的蒙汉神经机器翻译研究 |
| 3.1 基于注意力机制的蒙汉翻译基线模型 |
| 3.1.1 蒙汉平行语料库的预处理 |
| 3.1.2 蒙汉神经机器翻译中的词嵌入 |
| 3.1.3 基于注意力机制的蒙汉神经机器翻译模型 |
| 3.2 融合句法结构信息的蒙汉翻译模型 |
| 3.2.1 汉语句法结构信息的获取 |
| 3.2.2 融合句法结构信息的蒙汉翻译模型 |
| 3.3 基线模型与融合句法结构信息模型的实验 |
| 3.3.1 数据集划分及训练参数设置 |
| 3.3.2 实验结果与分析 |
| 3.4 本章小结 |
| 第四章 融合外部短语信息的蒙汉神经机器翻译研究 |
| 4.1 蒙汉双语短语表的获取 |
| 4.1.1 额日和木翻译词库 |
| 4.1.2 蒙汉短语对的抽取与概率估计 |
| 4.1.3 蒙汉双语短语表预处理 |
| 4.2 融合外部短语信息的蒙汉翻译模型 |
| 4.2.1 编码器结构 |
| 4.2.2 解码器结构 |
| 4.2.3 融合外部短语信息的蒙汉翻译模型 |
| 4.2.4 多单词短语的空闲运行 |
| 4.2.5 短语的概率模型 |
| 4.3 融合外部短语信息模型的实验 |
| 4.3.1 实验数据及设置 |
| 4.3.2 实验结果与分析 |
| 4.4 本章小结 |
| 第五章 融合统计机器翻译建议的蒙汉神经机器翻译研究 |
| 5.1 蒙汉统计机器翻译模型研究 |
| 5.1.1 基于短语的统计机器翻译模型 |
| 5.1.2 统计机器翻译的对数线性模型 |
| 5.2 融合统计机器翻译建议的蒙汉翻译模型 |
| 5.2.1 统计机器翻译建议单词的生成 |
| 5.2.2 估计建议单词概率的SMT分类器 |
| 5.2.3 融合统计机器翻译建议词的门控机制 |
| 5.2.4 利用SMT建议替换UNK词 |
| 5.3 融合统计机器翻译模型的实验 |
| 5.3.1 模型训练与实验数据设置 |
| 5.3.2 实验结果与分析 |
| 5.3.3 实验对比与总结 |
| 5.4 本章小结 |
| 结论 |
| 参考文献 |
| 致谢 |
| 攻读学位期间发表的学术论文及取得的科研成果 |
（2）面向知识库问答的实体链接及关系预测研究（论文提纲范文）
| 摘要 |
| abstract |
| 第1章 绪论 |
| 1.1 选题背景及意义 |
| 1.2 国内外研究现状 |
| 1.2.1 实体链接研究现状 |
| 1.2.2 关系预测研究现状 |
| 1.3 本文主要研究内容 |
| 1.4 本文结构 |
| 第2章 知识库问答与相关基础知识 |
| 2.1 知识库问答简介 |
| 2.2 知识库问答关键技术 |
| 2.3 关键技术相关基础知识 |
| 2.3.1 词向量技术 |
| 2.3.2 深度学习模型 |
| 2.3.3 注意力机制 |
| 2.4 本章小结 |
| 第3章 数据集构建及预处理 |
| 3.1 数据集介绍 |
| 3.2 FB2M知识库扩充 |
| 3.3 基于编辑距离的数据清洗 |
| 3.4 实体对齐数据集设计 |
| 3.4.1 实体识别数据集标注 |
| 3.4.2 实体链接数据集生成 |
| 3.5 关系预测数据集重建 |
| 3.6 本章小结 |
| 第4章 基于多维度匹配的实体链接方法 |
| 4.1 基于Bi LSTM-CRF的实体识别 |
| 4.1.1 实体识别描述与分析 |
| 4.1.2 Bi LSTM-CRF实体识别模型 |
| 4.1.3 实体识别实验设计 |
| 4.1.4 实体识别实验结果与分析 |
| 4.2 基于MDM-EL的实体链接方法 |
| 4.2.1 实体链接描述与分析 |
| 4.2.2 MDM-EL实体链接模型 |
| 4.2.3 实体链接实验设计 |
| 4.2.4 实体链接实验结果与分析 |
| 4.3 本章小结 |
| 第5章 基于层次语义抽取的关系预测方法 |
| 5.1 关系预测描述与分析 |
| 5.2 SA-Hse Net关系预测模型 |
| 5.2.1 SA-Hse Net模型架构 |
| 5.2.2 输入模块 |
| 5.2.3 语义编码器模块 |
| 5.2.4 关系解码器模块 |
| 5.2.5 输出模块 |
| 5.3 关系限制子图 |
| 5.4 关系预测实验 |
| 5.4.1 关系预测实验设计 |
| 5.4.2 超参数选择与分析 |
| 5.4.3 消融实验结果与分析 |
| 5.4.4 对比实验结果与分析 |
| 5.5 知识库问答整体实验 |
| 5.5.1 循环校准框架设计 |
| 5.5.2 知识库问答整体实验结果与分析 |
| 5.6 本章小结 |
| 第6章 总结和展望 |
| 6.1 总结 |
| 6.2 未来工作展望 |
| 参考文献 |
| 攻读学位期间取得的研究成果 |
| 致谢 |
（3）语句意图匹配方法研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 课题的研究背景及意义 |
| 1.2 语句意图匹配方法研究现状 |
| 1.2.1 意图匹配数据集研究现状 |
| 1.2.2 意图匹配算法研究现状 |
| 1.2.3 词义学习方法研究现状 |
| 1.3 论文的研究内容及创新点 |
| 1.3.1 研究内容概述 |
| 1.3.2 主要创新点 |
| 1.4 论文的组织结构 |
| 第2章 基于无监督方法的问句意图匹配语料构建 |
| 2.1 引言 |
| 2.2 相关技术简介 |
| 2.2.1 Word2Vec词向量 |
| 2.2.2 GloVe词向量 |
| 2.3 LCQMC意图语料构建 |
| 2.3.1 意图数据收集 |
| 2.3.2 基于无监督距离算法的句对过滤方法 |
| 2.3.3 问句对人工标注 |
| 2.3.4 语料构建代价 |
| 2.4 评价与实验 |
| 2.4.1 评价指标 |
| 2.4.2 评价方法 |
| 2.4.3 实验结果 |
| 2.5 LCQMC语料质量分析 |
| 2.5.1 基于关键词的数据构建方法分析 |
| 2.5.2 语料中数据匹配类型统计 |
| 2.5.3 语料中句对词汇重叠率 |
| 2.6 本章小结 |
| 第3章 基于语句差异性特征的匹配方法 |
| 3.1 引言 |
| 3.2 相关技术简介 |
| 3.2.1 循环神经网络语言模型 |
| 3.2.2 预训练BERT语言模型 |
| 3.3 语义差特征意图匹配模型 |
| 3.3.1 语句中词汇差抽取 |
| 3.3.2 基于LSTM编码的语句差异性特征表示 |
| 3.3.3 基于BERT编码的语句差异性特征表示 |
| 3.3.4 门控机制原理 |
| 3.4 评价与实验 |
| 3.4.1 数据集与评价指标 |
| 3.4.2 实验对比方法 |
| 3.4.3 实验设置 |
| 3.4.4 实验结果 |
| 3.4.5 样例分析 |
| 3.5 基于语句差异性特征的模型分析 |
| 3.5.1 语句差异性特征的时序信息分析 |
| 3.5.2 词汇差与非重叠词汇差异对比 |
| 3.5.3 门控机制可视化 |
| 3.5.4 模型通用性实验 |
| 3.5.5 重叠词汇有效性实验 |
| 3.5.6 错误样例 |
| 3.6 本章小结 |
| 第4章 面向意图匹配的词向量分解词义学习方法 |
| 4.1 引言 |
| 4.2 相关技术简介 |
| 4.2.1 胶囊神经网络简介 |
| 4.2.2 注意力机制简介 |
| 4.3 基于胶囊网络的向量分解与词义学习 |
| 4.3.1 基于胶囊网络的词向量分解 |
| 4.3.2 词语上下文学习 |
| 4.3.3 词义匹配训练 |
| 4.4 评价与实验 |
| 4.4.1 数据集与评价指标 |
| 4.4.2 实验对比方法 |
| 4.4.3 实验结果 |
| 4.5 基于胶囊网络的词向量分解方法分析 |
| 4.5.1 Caps Dec E2S模型消融实验 |
| 4.5.2 上下文词义相似性可视化 |
| 4.5.3 上下文注意力权重分析 |
| 4.5.4 错误样例分析 |
| 4.6 词义向量在意图匹配任务上的应用效果 |
| 4.6.1 数据预处理 |
| 4.6.2 实验方法改进 |
| 4.6.3 实验结果 |
| 4.7 本章小结 |
| 第5章 基于意图的领域内知识与文本匹配方法 |
| 5.1 引言 |
| 5.2 相关技术简介 |
| 5.2.1 知识图谱简介 |
| 5.2.2 LDA主题模型简介 |
| 5.3 基于关系与主题胶囊网络的意图匹配方法 |
| 5.3.1 基于意图关系与主题的胶囊网络结构 |
| 5.3.2 意图关系相关性计算 |
| 5.3.3 意图主题重要性计算 |
| 5.4 评价与实验 |
| 5.4.1 数据集与评价指标 |
| 5.4.2 实验对比方法 |
| 5.4.3 实验结果 |
| 5.5 实验结果分析 |
| 5.5.1 有效性测试 |
| 5.5.2 RTCaps模型消融实验 |
| 5.5.3 意图信息可视化 |
| 5.6 本章小结 |
| 结论 |
| 参考文献 |
| 攻读博士学位期间发表的论文及其他成果 |
| 致谢 |
| 个人简历 |
（4）面向文物领域的知识图谱构建技术研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状及存在的问题 |
| 1.2.1 文物领域知识图谱研究现状 |
| 1.2.2 知识图谱构建技术研究现状 |
| 1.2.3 存在的问题 |
| 1.3 本文的研究内容 |
| 1.3.1 基于自训练算法的半监督文物实体抽取 |
| 1.3.2 基于词注意力机制的胶囊网络文物关系抽取 |
| 1.3.3 基于多特征相似度的文物实体对齐 |
| 1.3.4 融合实体类型的BERT文物知识图谱补全 |
| 1.4 本文的创新点 |
| 1.5 本文的组织结构 |
| 第二章 基于自训练算法的半监督文物实体抽取 |
| 2.1 引言 |
| 2.2 文物实体抽取方法 |
| 2.2.1 文物实体形式化描述 |
| 2.2.2 文物实体抽取模型 |
| 2.3 基于ELMo的词表示 |
| 2.4 基于Bi LSTM和 CRF的特征提取和实体预测 |
| 2.4.1 基于Bi LSTM的特征提取 |
| 2.4.2 基于CRF的实体预测 |
| 2.5 基于双重标注的高置信度样本选择 |
| 2.5.1 双重标注样本选择策略 |
| 2.5.2 基于双重标注样本选择策略的自训练算法 |
| 2.6 实验与结果分析 |
| 2.6.1 数据集及预处理 |
| 2.6.2 实验设置 |
| 2.6.3 文物实体抽取的实验结果 |
| 2.6.4 初始标注样本比例对模型性能的影响 |
| 2.6.5 不同词表示对模型性能的影响 |
| 2.6.6 样本选择策略对模型性能的影响 |
| 2.7 本章小结 |
| 第三章 基于词注意力机制的胶囊网络文物关系抽取 |
| 3.1 引言 |
| 3.2 文物关系抽取方法 |
| 3.2.1 文物关系形式化描述 |
| 3.2.2 文物关系抽取模型 |
| 3.3 融合词性和位置信息的文本表示 |
| 3.3.1 基于字和词的联合词表示 |
| 3.3.2 融合词性和位置信息的文本表示 |
| 3.4 基于双向Bi LSTM的低层特征提取 |
| 3.5 基于词注意力机制胶囊网络的特征聚类 |
| 3.5.1 基于胶囊网络的丰富特征提取 |
| 3.5.2 基于词注意力机制的动态路由算法 |
| 3.6 多重关系预测 |
| 3.7 实验与结果分析 |
| 3.7.1 数据集及预处理 |
| 3.7.2 实验设置 |
| 3.7.3 文物关系抽取的实验结果 |
| 3.7.4 词表征对模型性能的影响 |
| 3.7.5 词注意力机制对模型性能的影响 |
| 3.8 本章小结 |
| 第四章 基于多特征相似度的文物实体对齐 |
| 4.1 引言 |
| 4.2 文物实体对齐方法 |
| 4.2.1 文物实体特征形式化描述 |
| 4.2.2 文物实体对齐流程 |
| 4.3 基于动态规划的LCS实体属性相似度 |
| 4.3.1 动态规划最长公共子序列查找算法 |
| 4.3.2 实体属性相似度计算 |
| 4.4 基于TF-IDF和余弦相似度的实体摘要相似度 |
| 4.4.1 基于TF-IDF的特征向量获取 |
| 4.4.2 实体摘要相似度计算 |
| 4.5 基于LDA主题模型的实体全文相似度 |
| 4.5.1 基于LDA模型的主题建模 |
| 4.5.2 实体全文主题特征生成 |
| 4.5.3 实体全文相似度计算 |
| 4.6 文物实体对齐模型及算法 |
| 4.6.1 文物实体对齐模型 |
| 4.6.2 文物实体对齐算法 |
| 4.7 实验与结果分析 |
| 4.7.1 数据集及预处理 |
| 4.7.2 实验设置 |
| 4.7.3 文物实体对齐的实验结果 |
| 4.7.4 主题个数对文物实体对齐结果的影响 |
| 4.7.5 阈值对文物实体对齐结果的影响 |
| 4.7.6 实体特征对文物实体对齐结果的影响 |
| 4.8 本章小结 |
| 第五章 融合实体类型的BERT文物知识图谱补全 |
| 5.1 引言 |
| 5.2 文物知识图谱补全方法 |
| 5.2.1 知识图谱补全问题描述 |
| 5.2.2 文物知识图谱补全模型 |
| 5.3 融合外部知识的文物文本语义增强表示 |
| 5.4 基于多头注意力机制的特征提取与序列编码 |
| 5.4.1 基于多头自注意力机制的特征获取 |
| 5.4.2 基于Transformer编码器的序列编码 |
| 5.5 BERT模型的预训练和微调 |
| 5.5.1 基于无监督的BERT模型预训练 |
| 5.5.2 基于预训练模型的参数微调 |
| 5.6 文物知识图谱补全模型的输出 |
| 5.7 实验与结果分析 |
| 5.7.1 数据集及预处理 |
| 5.7.2 实验设置 |
| 5.7.3 三元组分类的实验结果 |
| 5.7.4 链接预测的实验结果 |
| 5.7.5 关系预测的实验结果 |
| 5.7.6 训练数据比例对模型性能的影响 |
| 5.8 本章小结 |
| 第六章 总结与展望 |
| 6.1 全文总结 |
| 6.2 工作展望 |
| 参考文献 |
| 攻读博士学位期间取得的科研成果 |
| 致谢 |
| 作者简介 |
（5）基于关键词和图模型的自动文摘抽取（论文提纲范文）
| 摘要 |
| Abstract |
| 1 绪论 |
| 1.1 选题的背景与意义 |
| 1.2 国内外研究现状 |
| 1.2.1 关键词提取 |
| 1.2.2 文本摘要提取 |
| 1.2.3 目前待解决的问题 |
| 1.3 本文的研究内容 |
| 1.4 本文的组织结构 |
| 2 相关理论基础 |
| 2.1 关键词提取 |
| 2.1.1 无监督关键词提取方法 |
| 2.1.2 有监督关键词提取方法 |
| 2.2 命名实体识别 |
| 2.2.1 传统标记方法 |
| 2.2.2 深度学习方法 |
| 2.3 条件随机场 |
| 2.4 自动文本摘要 |
| 2.4.1 抽取式摘要 |
| 2.4.2 生成式摘要 |
| 2.5 小结 |
| 3 基于注意力机制的Bi-LSTM-CRF关键词提取模型 |
| 3.1 模型构建 |
| 3.1.1 文本向量输入层 |
| 3.1.2 Bi-LSTM神经网络层 |
| 3.1.3 注意力机制层 |
| 3.1.4 标签分类层 |
| 3.2 实验与结论 |
| 3.2.1 实验数据 |
| 3.2.2 实验分析 |
| 3.2.3 对比分析 |
| 3.3 小结 |
| 4 基于关键词和图模型的自动文摘抽取 |
| 4.1 自动文摘抽取算法思想 |
| 4.2 多特征融合权重构建 |
| 4.3 基于多特征融合的词移距离算法 |
| 4.4 基于Text Rank算法的句子权重 |
| 4.5 实验及分析 |
| 4.5.1 实验数据 |
| 4.5.2 实验分析 |
| 4.6 小结 |
| 5 总结与展望 |
| 5.1 总结 |
| 5.2 展望 |
| 致谢 |
| 参考文献 |
| 附录 攻读学位期间成果 |
（6）基于BERT和混合神经网络的文本情感分析方法研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景与意义 |
| 1.1.1 研究背景 |
| 1.1.2 研究意义 |
| 1.2 国内外研究现状 |
| 1.2.1 情感分析技术研究现状 |
| 1.2.2 深度学习研究现状 |
| 1.2.3 注意力机制研究现状 |
| 1.3 本文研究的主要内容 |
| 1.4 论文组织结构 |
| 1.5 本章小结 |
| 第二章 相关理论与方法 |
| 2.1 文本向量化表示方法 |
| 2.1.1 One-hot |
| 2.1.2 Word2vec |
| 2.1.3 Glove |
| 2.1.4 BERT |
| 2.2 神经网络模型 |
| 2.2.0 卷积神经网络CNN |
| 2.2.1 循环神经网络RNN |
| 2.2.2 长短期记忆网络LSTM |
| 2.2.3 门限循环单元GRU |
| 2.3 注意力机制 |
| 2.4 模型评价指标 |
| 2.5 本章小结 |
| 第三章 基于CNN-BiLSTM模型的文本情感分析 |
| 3.1 CNN-BiLSTM模型结构 |
| 3.1.1 词向量表示文本 |
| 3.1.2 CNN层 |
| 3.1.3 BiLSTM层 |
| 3.1.4 Dropout层 |
| 3.1.5 情感分类层 |
| 3.1.6 算法处理流程 |
| 3.2 实验设置 |
| 3.2.1 实验数据集 |
| 3.2.2 实验环境 |
| 3.2.3 实验参数设置 |
| 3.3 实验结果与分析 |
| 3.3.1 词向量维度的选择 |
| 3.3.2 BiLSTM隐藏层节点数的选择 |
| 3.3.3 Dropout值的选择 |
| 3.3.4 Batch_size值的选择 |
| 3.3.5 优化器的选择 |
| 3.3.6 对比实验设置与结果分析 |
| 3.4 本章小结 |
| 第四章 基于并行混合网络融入注意力机制的文本情感分析 |
| 4.1 注意力机制 |
| 4.2 并行混合网络融入注意力机制模型结构 |
| 4.2.1 词向量表示文本 |
| 4.2.2 Text-CNN层 |
| 4.2.3 BiGRU层 |
| 4.2.4 注意力机制层 |
| 4.2.5 情感分类层 |
| 4.2.6 算法处理流程 |
| 4.3 实验设置 |
| 4.3.1 实验数据集与环境 |
| 4.3.2 实验参数设置与优化 |
| 4.4 实验结果与分析 |
| 4.4.1 对比实验设置 |
| 4.4.2 实验结果与分析 |
| 4.5 本章小结 |
| 第五章 基于BERT模型的文本情感分析 |
| 5.1 Transformer模型 |
| 5.2 BERT预训练语言模型 |
| 5.2.1 BERT模型结构 |
| 5.2.2 BERT的预训练 |
| 5.2.3 BERT的微调 |
| 5.3 实验数据集 |
| 5.4 基于BERT-SVM模型的文本情感分析 |
| 5.4.1 BERT-SVM模型结构 |
| 5.4.2 实验结果与分析 |
| 5.5 基于BERT-Text-CNN模型的文本情感分析 |
| 5.5.1 BERT-Text-CNN模型结构 |
| 5.5.2 实验结果分析 |
| 5.6 基于BERT-BiGRU模型的文本情感分析 |
| 5.6.1 BERT-BiGRU模型结构 |
| 5.6.2 实验结果分析 |
| 5.7 基于BERT和注意力机制的文本情感分析 |
| 5.7.1 BERT和注意力机制结构 |
| 5.7.2 实验结果分析 |
| 5.8 实验总结 |
| 5.9 BERT模型在心理健康分析中的应用 |
| 5.10 本章小结 |
| 第六章 总结与展望 |
| 6.1 本文总结 |
| 6.2 研究展望 |
| 参考文献 |
| 致谢 |
| 个人简介 |
（7）基于领域优先选择策略的词义消歧研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.1.1 研究背景 |
| 1.1.2 研究意义 |
| 1.2 国内外研究现状 |
| 1.2.1 词义消歧技术研究现状 |
| 1.2.2 领域知识发现和利用研究现状 |
| 1.3 研究内容 |
| 1.4 论文组织结构 |
| 第二章 理论基础和关键技术 |
| 2.1 词义消歧的任务描述 |
| 2.2 词义消歧的上下文 |
| 2.3 词义消歧的知识源 |
| 2.4 词义消歧任务评价指标 |
| 2.5 基于知识的词义消歧算法 |
| 2.5.1 基于相似度的词义消歧方法 |
| 2.5.2 基于图模型的词义消歧方法 |
| 2.6 本章小结 |
| 第三章 基于改进的对数似然比的词义消歧方法 |
| 3.1 对数似然比算法LLR分析 |
| 3.1.1 文档领域知识 |
| 3.1.2 对数似然比算法LLR分析 |
| 3.2 基于改进的对数似然比的词义消歧方法PPRank-LLRF |
| 3.2.1 改进的对数似然比算法LLRF |
| 3.2.2 基于改进的对数似然比的词义消歧方法PPRank-LLRF |
| 3.2.3 构建特定领域的消歧图模型 |
| 3.3 实验设计与结果 |
| 3.3.1 数据集和评价指标 |
| 3.3.2 实验设置 |
| 3.3.3 实验设计 |
| 3.3.4 实验结果及分析 |
| 3.4 本章小结 |
| 第四章 基于领域优先选择策略的语义理解方法FPS |
| 4.1 现有的领域消歧中的语义理解研究分析 |
| 4.2 基于领域优先选择策略的语义理解方法FPS |
| 4.2.1 词义领域知识 |
| 4.2.2 领域优先选择策略FPS |
| 4.2.3 基于领域优先选择策略的语义理解方法FPS |
| 4.2.4 FPS构建特定领域消歧图模型 |
| 4.3 实验设计与结果 |
| 4.3.1 数据集和评价指标 |
| 4.3.2 实验设置 |
| 4.3.3 实验设计 |
| 4.3.4 实验结果及分析 |
| 4.4 本章小结 |
| 第五章 FPS的领域泛化 |
| 5.1 现有的基于领域知识的通用文本词义消歧方法分析 |
| 5.2 FPS的领域泛化 |
| 5.2.1 改进的领域优先选择策略IFPS |
| 5.2.2 扩展的词义领域知识 |
| 5.2.3 IFPS词义消歧流程 |
| 5.2.4 IFPS构建通用文本消歧图模型 |
| 5.3 实验设计与结果 |
| 5.3.1 数据集和评价指标 |
| 5.3.2 实验设置 |
| 5.3.3 实验设计 |
| 5.3.4 实验结果与分析 |
| 5.4 本章小结 |
| 第六章 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 致谢 |
| 攻读学位期间发表的学术论文目录 |
（8）基于图模型的短文本分类算法研究（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 研究工作的背景与意义 |
| 1.2 国内外研究现状 |
| 1.2.1 图网络模型算法研究 |
| 1.2.2 文本分类算法研究 |
| 1.3 主要研究内容 |
| 1.3.1 整体文本分类算法设计 |
| 1.3.2 方面级情感分析算法设计 |
| 1.4 论文组织结构 |
| 第二章 相关理论及技术 |
| 2.1 文本分类任务 |
| 2.1.1 整体文本分类和方面级情感分析 |
| 2.2 单词嵌入表示 |
| 2.3 图模型相关理论 |
| 2.3.1 图卷积神经网络 |
| 2.4 注意力机制 |
| 2.4.1 注意力机制计算 |
| 2.4.2 自注意力与多头注意力机制 |
| 2.5 其他相关技术模型 |
| 2.5.1 TF-IDF |
| 2.5.2 CNN文本分类 |
| 2.5.3 门控机制 |
| 2.5.4 BERT模型 |
| 第三章 基于图模型的整体文本分类算法 |
| 3.1 引言 |
| 3.2 问题定义 |
| 3.3 算法模型设计 |
| 3.3.1 模型总览 |
| 3.3.2 文本数据建模为图结构 |
| 3.3.3 表示学习过程 |
| 3.3.4 向量融合及分类 |
| 3.4 实验设置 |
| 3.4.1 数据集描述及数据处理 |
| 3.4.2 对比方法介绍 |
| 3.4.3 模型训练及验证 |
| 3.4.4 实验评价指标 |
| 3.5 实验结果及分析 |
| 3.5.1 模型分类性能分析 |
| 3.5.2 训练集比例的影响 |
| 3.5.3 文本向量可视化分析 |
| 3.6 本章小结 |
| 第四章 基于图模型的方面级情感分析算法 |
| 4.1 引言 |
| 4.2 问题定义 |
| 4.3 算法模型设计 |
| 4.3.1 模型总览 |
| 4.3.2 文本图建模过程 |
| 4.3.3 词向量与超节点向量表示学习 |
| 4.3.4 向量融合及分类 |
| 4.4 实验设置 |
| 4.4.1 数据集描述及数据处理 |
| 4.4.2 对比方法介绍 |
| 4.4.3 模型参数设置及评价指标 |
| 4.5 实验结果及分析 |
| 4.5.1 模型分类性能分析 |
| 4.5.2 GAGCN中使用的GCN与普通GCN对比 |
| 4.5.3 数据增扩效果验证 |
| 4.5.4 实验参数比较 |
| 4.6 本章小结 |
| 第五章 总结与展望 |
| 5.1 本文工作总结 |
| 5.2 未来工作展望 |
| 致谢 |
| 参考文献 |
| 攻读硕士学位期间取得的成果 |
（9）面向表格数据的自动问答研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第1章 绪论 |
| 1.1 课题背景及意义 |
| 1.1.1 课题背景 |
| 1.1.2 课题意义 |
| 1.2 研究现状及分析 |
| 1.2.1 自动问答的相关研究 |
| 1.2.2 表格自动问答的相关研究 |
| 1.2.3 语义解析的相关研究 |
| 1.3 研究内容及安排 |
| 第2章 基于表格内容建模的表格检索 |
| 2.1 引言 |
| 2.2 相关工作 |
| 2.3 任务定义 |
| 2.4 基于排序的表格检索模型 |
| 2.4.1 候选表格抽取 |
| 2.4.2 表格排序 |
| 2.4.3 基于人工的特征设计 |
| 2.4.4 基于神经网络的特征 |
| 2.5 实验结果与分析 |
| 2.5.1 实验设置 |
| 2.5.2 WebQueryTable数据集上的实验结果及分析 |
| 2.5.3 WikiTableQuestions数据集上的实验结果及分析 |
| 2.6 本章小结 |
| 第3章 面向表格数据的单轮语义解析 |
| 3.1 引言 |
| 3.2 相关工作 |
| 3.2.1 数据库自然语言接口 |
| 3.2.2 基于语法结构指导的神经解析器 |
| 3.3 任务定义 |
| 3.4 结合表格结构和SQL语法的语义解析模型 |
| 3.4.1 背景知识 |
| 3.4.2 感知语法和表结构的语义解析器 |
| 3.4.3 利用表格列标题和单元格关系提升模型 |
| 3.4.4 利用策略梯度提升模型 |
| 3.4.5 训练和推理 |
| 3.5 实验结果与分析 |
| 3.5.1 实验设置 |
| 3.5.2 WikiSQL数据集上的实验结果 |
| 3.5.3 WikiSQL数据集的细粒度准确率分析 |
| 3.5.4 WikiSQL数据集上的难度分析 |
| 3.5.5 WikiSQL数据集上的可执行性分析 |
| 3.5.6 样例分析 |
| 3.5.7 错误分析 |
| 3.5.8 对WikiTableQuestions数据集的应用 |
| 3.6 本章小结 |
| 第4章 面向表格数据的多轮语义解析 |
| 4.1 引言 |
| 4.2 相关工作 |
| 4.3 任务定义 |
| 4.4 多轮语义解析目标语法 |
| 4.5 面向表格数据的对话型语义解析器模型 |
| 4.5.1 问句编码器 |
| 4.5.2 表格编码器 |
| 4.5.3 控制器 |
| 4.5.4 表格列预测模块 |
| 4.5.5 操作符预测模块 |
| 4.5.6 值预测模块 |
| 4.5.7 拷贝操作预测模块 |
| 4.6 训练数据构造 |
| 4.7 实验结果与分析 |
| 4.7.1 实验设置 |
| 4.7.2 SequentialQA数据集上的实验结果 |
| 4.7.3 SequentialQA数据集上的细粒度分析 |
| 4.7.4 SequentialQA数据集上的错误分析 |
| 4.8 本章小结 |
| 第5章 基于反向翻译和元学习的低资源神经语义解析 |
| 5.1 引言 |
| 5.2 相关工作 |
| 5.2.1 元学习 |
| 5.2.2 反向翻译 |
| 5.3 问题定义 |
| 5.4 基于元学习和反向翻译的训练算法 |
| 5.4.1 反向翻译 |
| 5.4.2 质量控制 |
| 5.4.3 元学习 |
| 5.5 实验结果与分析 |
| 5.5.1 面向表格数据的单轮语义解析 |
| 5.5.2 面向表格数据的多轮语义解析 |
| 5.5.3 基于知识库的自动问答 |
| 5.6 本章小结 |
| 结论 |
| 参考文献 |
| 攻读博士学位期间发表的论文及其他成果 |
| 致谢 |
| 个人简历 |
（10）双关语识别与生成关键技术研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 主要符号表 |
| 1 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状与发展趋势 |
| 1.2.1 文本情感分类 |
| 1.2.2 双关语相关介绍 |
| 1.2.3 双关语的研究任务 |
| 1.3 面临的问题与挑战 |
| 1.4 本文的主要工作 |
| 1.5 本文的内容安排 |
| 2 双关语识别技术研究 |
| 2.1 引言 |
| 2.2 相关工作 |
| 2.3 基于上下文表示和门控注意力机制的语义双关语识别方法 |
| 2.3.1 语义表示向量 |
| 2.3.2 全局语义理解表示 |
| 2.3.3 局部语义理解表示 |
| 2.3.4 整合语义信息 |
| 2.3.5 语义双关语识别 |
| 2.3.6 实验与分析 |
| 2.4 融合发音和拼写理解的谐音双关语识别方法 |
| 2.4.1 发音理解模块 |
| 2.4.2 拼写理解模块 |
| 2.4.3 融合模块 |
| 2.4.4 实验与分析 |
| 2.5 本章小结 |
| 3 双关词定位技术研究 |
| 3.1 引言 |
| 3.2 相关工作 |
| 3.3 基于多维语义关系和语义相似度匹配的语义双关词定位方法 |
| 3.3.1 语义透明度 |
| 3.3.2 语义相关性 |
| 3.3.3 语义特征集 |
| 3.3.4 语义双关词定位MSRLP算法 |
| 3.3.5 实验与分析 |
| 3.4 基于细粒度语义表示和BiGRU-CRF的谐音双关词定位方法 |
| 3.4.1 问题定义 |
| 3.4.2 细粒度语义表示 |
| 3.4.3 FR-BiGRU-CRF模型 |
| 3.4.4 实验与分析 |
| 3.5 本章小结 |
| 4 双关语生成技术研究 |
| 4.1 引言 |
| 4.2 相关工作 |
| 4.2.1 文本生成 |
| 4.2.2 双关语生成 |
| 4.2.3 生成对抗网络 |
| 4.3 基于歧义性和流畅性的语义双关语生成对抗方法 |
| 4.3.1 双关语生成器 |
| 4.3.2 双关语判别器 |
| 4.3.3 训练方式 |
| 4.3.4 实验与分析 |
| 4.4 基于语境理解和语义修正的谐音双关语生成方法 |
| 4.4.1 语境理解模块 |
| 4.4.2 语义修正模块 |
| 4.4.3 实验与分析 |
| 4.5 本章小结 |
| 5 结论与展望 |
| 5.1 结论 |
| 5.2 创新点 |
| 5.3 展望 |
| 参考文献 |
| 攻读博士学位期间科研项目及科研成果 |
| 致谢 |
| 作者简介 |
四、The Meaning of Words Depends on the Context（论文参考文献）
- [1]融合先验知识的蒙汉神经机器翻译研究[D]. 庞蕊. 内蒙古工业大学, 2021(01)
- [2]面向知识库问答的实体链接及关系预测研究[D]. 张森. 四川大学, 2021(02)
- [3]语句意图匹配方法研究[D]. 刘欣. 哈尔滨工业大学, 2021(02)
- [4]面向文物领域的知识图谱构建技术研究[D]. 张敏. 西北大学, 2021(10)
- [5]基于关键词和图模型的自动文摘抽取[D]. 马博. 西安科技大学, 2021(02)
- [6]基于BERT和混合神经网络的文本情感分析方法研究[D]. 孙敏. 安徽农业大学, 2021(02)
- [7]基于领域优先选择策略的词义消歧研究[D]. 张良. 北京邮电大学, 2021(01)
- [8]基于图模型的短文本分类算法研究[D]. 谭俊杰. 电子科技大学, 2021(01)
- [9]面向表格数据的自动问答研究[D]. 孙一博. 哈尔滨工业大学, 2020(02)
- [10]双关语识别与生成关键技术研究[D]. 刁宇峰. 大连理工大学, 2020(01)