这项最新调查劝退效果拉满：67% 的 NLPer 怀疑自己

还有网友吐槽：连塔罗牌都比 NLP 靠谱。

Q3-2：大规模机器学习建模（例如语言建模和强化学习）的最新进展是 AGI 发展的重要表现。

在地区分布上，受访者中的 58% 来自美国，23% 来自欧洲，8%来自亚洲。其中，来自中国的 NLP 研究者占 3%。

过去 5 年发表的构建可解释模型的大多数研究都走错了方向；等等。

受访者被询问是否预计在不久的将来会出现一个“NLP 寒冬”，即资金和就业机会较峰值下降至少 50%。

有高达 82% 的人认为 NLP 研究需要借鉴更多相关领域科学。问题是，虽然有这么多的人嘴上都强调这一点，但实际上做得却并不怎么好，真正的问题可能不是 NLP 研究者没有意识到跨学科的重要性，而是我们还缺乏能推动实施的知识和工具。

Q3-4：在本世纪，由 AI/ML 系统做出的决策可能会引发一场全面核战争级别的严重灾难。

被引用最多的研究成果将来自工业界而不是学术界，如今工业界在引领 NLP 领域发展进程方面的影响力过大；

尽管 30 %不是一个大数字，但这也反映了这一部分 NLP 研究者的一种信念，即 NLP 研究将在不久的将来发生重大变化（至少在谁提供资金以及提供多少资金方面）。为什么他们的态度会相对悲观？背后有许多可能原因，比如由于工业界影响力过大而导致的创新停滞，工业界将凭借少量资源充足的实验室来垄断行业，NLP 和其他 AI 子领域之间的界限将消失，等等。

“NLP 寒冬”将在未来 30 年内来临；

Q1-2：未来 10 年被引用最多的论文更有可能来自工业界，而不是学术界。

相比之下，只有 36% 的人认为，纯文本评估可以衡量语言理解。这表明在很多人看来，评估是一个独立的问题，理解可能是可学习的，但不可测量。

73% 的受访者认为，AI 的自动化可能很快会带来革命性的社会变革，这也是有那么多人认为 AGI 是一个重要问题的原因。值得注意的是，有 23% 的人尽管认同这种变革，但并不同意 AGI 的重要性，所以，关于 NLP 的讨论或许没有必要牵扯进关于 AGI 的辩论中。

语言模型到底有没有理解语言？

有一半（51%） 的人同意 LM 理解语言，如果模型还可以访问多模态数据（图像等），同意的人则占比更多，为 67%。

一味追求大模型是不是走错了路？

在关于 AGI 的问题上，受访者的意见分布比较均衡，58% 的人认为 AGI 应当是 NLP 研究者的一个重要关注点，57% 的人相信最近的研究显著推动了我们向 AGI 方向发展。这两种观点具有高度正相关性。

NLP 方向走错了吗？

过于关注规模化和基准

首先简单介绍一下本次调查的受访者情况：

Q1-4：我预计未来 30 年内将出现“NLP 寒冬”。

然而，这项调查的结果表明，NLP 研究者对 Sutton 这种观点的认可程度实际上远远低于预期。仅有 17 % 的人同意或弱同意：鉴于本世纪算力和数据的可能发展程度，扩大现有技术的实施规模将足以解决 NLP 的所有重要问题。在人人似乎都对大模型趋之若鹜的当下，这个数字是极低的。

规模最大化是终极方案吗？

在许多人看来，一项工作的被引用次数并不能很好地代表其价值或重要性，而且，工业界对该领域的持续主导地位将产生负面影响，比如在基础系统方面的绝对控制地位，就像 GPT-3 和 PaLM。

未来最有影响力的进展是会来自工业界还是学术界？

此外，有 61% 的受访者表示，2030 年被引用次数最多的五个系统很可能会从过去 50 年语言学或认知科学研究中获取灵感。而事实上，当前系统对认知科学的借鉴还仅仅停留在对神经元、注意力、token 的粗略解释上。

73% 的受访者来自学术界，22% 的受访者来自工业界，4% 从事非营利组织或政府工作。其中，教师和高级管理人员占 41%，23% 是初级研究人员（包括博士后），33% 是博士生，2% 是硕士研究生或本科生。

上一篇：2022东北亚语言文化论坛发布东北亚国家语言动态
下一篇：没有了