设为首页收藏本站

人工智能写作检测工具不靠谱,美国宪法竟被认为是机器人写的

[复制链接]
查看2485 | 回复3 | 2023-7-17 03:35:00 | 显示全部楼层 |阅读模式

7 月 16 日消息,近日有网友发现,如果将美国最重要的法律文件美国宪法输入一些专门用来检测人工智能写作的工具中,会得到一个令人惊讶的结果:美国宪法几乎肯定是由人工智能写的。除非詹姆斯麦迪逊(美国第四任总统," 美国宪法之父 ")是个穿越者,否则这显然是不可能的。那么为什么这些 AI 检测工具会出现这样的错误呢?外媒 Arstechnica 采访了几位专家,以及 AI 检测工具 GPTZero 的开发者,来揭开其中的缘故因由。

在教育范畴,人工智能写作引发了不少争议。长期以来,教师们依赖于传统的讲授方法,将论文作为衡量学生对某一主题掌握水平的工具。许多老师试图依靠 AI 工具来检测 AI 生成的写作,但迄今为止的证据表明,它们并不可靠。由于存在误报的情况,AI 检测工具如 GPTZero、ZeroGPT 和 OpenAI 的文天职类器都不靠谱,不能用来判定文章是否是由大型语言模子(LLM)生成的。

当将美国宪法的一部分输入 GPTZero 时,GPTZero 会称这段文字 " 很可能完全由 AI 写成 "。在过去的六个月里,其他 AI 检测工具显示出雷同结果的截图多次在社交媒体上疯传。现实上,如果输入《圣经》中的一些内容,也会出现同样的情况。要解释为什么这些工具会犯这样显着的错误,我们首先需要相识它们是如何工作的。

据 相识,不同的人工智能写作检测器使用略有不同的检测方法,但基本原理相似:通过一个人工智能模子,在大量文本(包罗数百万个写作示例)和一套假定的规则(用来确定写作是更可能由人类照旧人工智能生成)上举行了训练。

例如,GPTZero 的核心是一个神经网络,它在 " 一个大型、多样化的语料库上举行了训练,该语料库包罗人类写作和人工智能生成的文本,重点是英语散文 "。接下来,该系统使用 " 狐疑度 " 和 " 突发性 " 等属性来评估文本并举行分类。

在机器学习中,狐疑度是衡量一段文本与一个人工智能模子在训练过程中所学习内容之间偏离水平的指标。丈量狐疑度的思路是,当人工智能模子写作时,它们会自然地选择它们最认识的内容,这些内容来自于它们的训练数据。输出越靠近训练数据,狐疑度就越低。人类则是更混乱的写作者,人类也可以用低狐疑度来写作,尤其是当模仿法律或某些类型的学术写作中使用的正式风格时。而且,我们使用的许多短语都出奇地常见。

好比说,我们要猜测这个短语中的下一个词:" 我想要一杯 _____。" 大多数人会用 " 水 "、" 咖啡 " 或 " 茶 " 来填空。一个在大量英语文本上举行训练的语言模子也会这样做,因为这些短语在英语写作中常常出现,这些结果中的任何一个都会有很低的狐疑度。

GPTZero 丈量的文本的另一个属性是 " 突发性 ",它是指某些单词或短语快速连续出现或在文本中 " 突发 " 的现象。本质上,突发性评估整个文本中句子长度和结构的可变性。人类作家常常体现出动态的写作风格,导致文本具有可变的句子长度和结构,而人工智能生成的文本每每更加一致和统一。然而,突发性也不是检测人工智能生成内容的万无一失的指标。与 " 狐疑度 " 一样,也有破例。人类作家可能会以高度结构化、一致的风格写作,从而导致突发性得分较低。相反,人工智能模子可以经过训练,在句子长度和结构上模拟更靠近人类的可变性,从而提高其突发性得分。究竟上,随着人工智能语言模子的改进,研究表明它们的写作看起来越来越像人类的写作。

回复

使用道具 举报

xcor | 2024-3-29 13:36:52 | 显示全部楼层
回复 支持 反对

使用道具 举报

xcor | 2024-3-29 13:38:01 | 显示全部楼层
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则