横扫六大权威榜单后 阿里达摩院开源深度语言模

我们获悉，阿里巴巴达摩院已正式开源深度语言模型体系AliceMind。

历经三年研发，AliceMind从通用语言模型StructBERT的基础上，拓展到多语言、生成式、多模态、结构化、知识驱动等领域，能力全面；先后登顶GLUE等六大AI权威榜单，6月还入选了2021世界人工智能大会最高奖SAIL奖TOP30榜单。

达摩院相关负责人表示，希望通过开源来降低业界研究和创新应用的门槛，助推语言AI进入大工业时代。

自然语言处理（NLP）被誉为AI皇冠上的明珠，传统NLP模型制作复杂，耗时耗力，且用途单一，难以复用，犹如手工作坊。但近几年兴起的预训练语言模型，正在改变局面，有望让语言AI走向入可规模化复制的工业时代。如果用炼钢来类比，以前要获得一个可用的NLP应用模型，要从铁矿石开始炼钢，周期长，费用高，产量低；但现在有了开源的预训练语言模型，相当于有了现成的粗钢，只需要把粗钢炼成所需的特定钢材，效率大为提升。

据介绍，达摩院深度语言模型体系AliceMind，包括通用语言模型StructBERT、多语言VECO、生成式PALM、多模态StructVBERT、结构化StructuralLM、知识驱动LatticeBERT、机器阅读理解UED、超大模型PLUG等，此次大部分已开源。（ Benchmark、多语言XTREME在内的六大权威AI榜单，上周再次登顶的多模态权威榜单VQA Challenge 2021，类似看图问答，给定一张图像和关于图像的自然语言问题，AI需要提供准确的自然语言答案。

AliceMind战胜了微软、Facebook等几十家国际顶尖团队，将纪录从去年第一名的76.36%显著提升到79.78%，接近人类水平（80.78%）。

霸榜背后，是AliceMind持续创新和进化。达摩院团队在BERT基础上提出优化模型StructBERT，2020年多次在NLP顶级赛事GLUE Benchmark上夺冠。该模型通过在句子和词级别引入两个新的目标函数，好比给AI装上“语法识别器”，在面对语法错乱时，AI依然能准确理解并给出正确回应，大大提高机器对语言的整体理解力。而此次在VQA Challenge 2021登顶的多模态模型StrucVBERT，融合了通用模型StructBERT和结构化模型StructuralLM，同时引入文本和图像模态，利用更高效的视觉特征和创新的注意力机制在统一的多模态语义空间进行联合建模。

据了解，AliceMind掌握语言超过100种，具有阅读、写作、翻译、问答、搜索、摘要生成、对话等多种能力，目前已成为阿里的语言技术底座，日均调用量超过50亿次，活跃场景超过200个，已在跨境电商、客服、广告等数十个核心业务应用落地。在阿里之外，AliceMind广泛运用于医疗、能源、金融等多个行业。其中，浙江电网公司以AliceMind为底座为员工构建智能化运维平台，应用于变压器检修、供电抢修等业务，已经开始在国家电网公司统一推广。

阿里达摩院深度语言模型团队负责人黄松芳表示，“预训练语言模型已成为NLP领域的基石和原材料，AliceMind开源将降低NLP领域研究和应用创新的门槛，助推行业从手工业时代走向大工业时代。”

上一篇：新时代语言规范：稳定与发展的平衡
下一篇：没有了