计算机软件及计算机应用论文_知识感知的预训

文章摘要:随着自然语言处理领域预训练技术的快速发展，基于经典预训练语言模型的系列改进研究中，将外部知识注入到预训练语言模型的知识驱动方法在自然语言处理任务中表现优异。知识表示学习和预训练技术为知识融合的预训练方法提供理论依据。简要概述经典预训练方法研究成果，聚焦新兴预训练技术支持下具有代表性的知识感知的预训练语言模型，依据外部知识的种类划分，分别详细介绍了引入不同外部知识的预训练语言模型，并结合相关实验数据，评估知识感知的预训练语言模型在自然语言处理各个下游任务中的表现。对当前预训练语言模型有关研究所面临的问题加以分析，立足所面临的问题和挑战，对领域发展前景作出展望。

文章关键词:自然语言处理,知识表征,知识感知,预训练,语言模型,

项目基金:国家重点研发计划项目(2017YFC0820702-3),

作者单位:1. 新疆大学信息科学与工程学院 2. 新疆多语种信息技术实验室 3. 新疆多语种信息技术研究中心 4. 新疆大学软件学院 

论文DOI: 10.19678/j.issn.1000-3428.0060823

论文分类号: TP391.1

相似文献:面向自然语言处理的预训练技术研究综述.....作者:李舟军,范宇,吴贤杰,刊载期刊：《计算机科学》
自然语言处理预训练技术综述.....作者:陈德光,马金林,马自萍,周洁,刊载期刊：《计算机科学与探索》
不同在线协同评价方式对学生概念知识表征的影响研究.....作者:王靖,董玉琦,马志强,刊载期刊：《电化教育研究》
效率为先：机器翻译译后编辑技术综述.....作者:孟福永,唐旭日,刊载期刊：《计算机工程与应用》
结合集成学习的序贯三支情感分类方法研究.....作者:王琴,刘盾,刊载期刊：《计算机工程与应用》
融合上下文信息的隐式情感句判别方法.....作者:王素格,王敏,廖健,陈鑫,刊载期刊：《山西大学学报(自然科学版)》
基于刑事Electra的编-解码关系抽取模型.....作者:王小鹏,孙媛媛,林鸿飞,刊载期刊：《计算机应用》
基于预训练语言模型的中文知识图谱问答系统.....作者:王鑫雷,李帅驰,杨志豪,林鸿飞,王健,刊载期刊：《山西大学学报(自然科学版)》
基于神经网络语言模型的作者身份验证.....作者:郭旭,祁瑞华,刊载期刊：《情报理论与实践》
基于预训练语言模型的关键词感知问题生成.....作者:于尊瑞,毛震东,王泉,张勇东,刊载期刊：《计算机工程》

相关文章:大数据的技术创新和应用—以人口普查为例.....作者:冯乃林
大数据融合应用技术框架与行业应用.....作者:段飞虎
大数据人工智能驱动图书馆知识服务和学科建设.....作者:姜爱蓉
基于大数据的知识共享与协同创新.....作者:顾新建
敦煌莫高窟文化遗产数字化保护——数字敦煌.....作者:夏生平
Looking at People Through the Lens of Images 透过镜头理解人物行为.....作者:Li CHENG
The Role of Digitization in Post COVID Scenarios 数字化在后疫情场景中的角色.....作者:Rafiq Ahmad
Computational Analysis of the Voynich Manuscript 十五世纪伏尼契码的智能解析.....作者:Greg Kondrak

上一篇： 儿科学论文_家长指导促进语言发育迟缓儿童交
下一篇：没有了