计算机软件及计算机应用论文_面向语言模型的全
文章摘要:可微神经网络结构搜索（DARTS）是目前主流的神经结构搜索（Neural architecture search，NAS）方法之一，但大多数基于DARTS的方法都应用于计算机视觉领域，在自然语言处理领域的研究相对较少。语言模型是目前NAS在自然语言领域应用较多的任务，DARTS在应用于语言模型任务时，会先对输入进行人工处理，整个过程为：输入-人工处理-结构搜索-输出，不满足NAS不靠人工干预，让机器自动设计网络结构的初衷。本文在DARTS的基础上提出了一种基于全自动搜索单元的NAS方法：1.移除结构搜索前的人工处理过程，实现整个单元搜索过程自动化；2.增加节点和操作数量抵消移除人工处理过程带来的模型规模和复杂度降低的影响；3.Softmax决策优化。本文提出的方法实现了单元搜索过程全自动化，搜索到的模型结构也在PTB和WT2数据集上取得了一定的竞争性。
文章关键词:
