Claude 3用几分钟，搞定了语言学家两年的工作

@高飞 :Claude 3 用几分钟，搞定了语言学家两年的工作，也是一个惊人的案例。（昨天我们发了一个 Claude3 几分钟搞定了新量子算法的，今天这个是文科语言学的，人类是不太容易高出这么大的知识范畴的）

原文作者叫 An Qu（hahahahohohe on X.com），在 X 上发布了一个利用 Claude3 的案例。具体而言，他用了几千个翻译对数据，就实现了一个小众语言的明白翻译，到达了一个专业学者两年的工作。他在 GPT-4 上进行了相同的测试，就失败了。（看好 OpenAI 近期发布某些重大更新，不然有落伍之忧）

全文如下：

今天在测试 @AnthropicAI 的新型模型 Claude 3 Opus 时，我经历了一件令人震撼的事，感觉仿佛见证了一个古迹。虽然不想听起来太夸张，但这真是我当时的感受。

配景很告急：已往两年里，我不停在为我的母语 —— 车臣语（Circassian）研究天然语言处置惩罚（NLP）。车臣语资源非常稀缺，在互联网上几乎无迹可寻。它属于孤立的车臣 - 阿布哈兹语言群，没有任何相关的语言。复杂的形态结构和有限的数据资源，让它成为了语言模型面临的一大挑战。

这几年，我艰苦地从少数资源中整理出了 64K 对翻译配对，并利用特定的模型（如 T5、MLM-100、NLLB-200 等）成功实现了俄语 - 卡巴尔迪安语的呆板翻译，取得了不错的成绩。

我决定对 Claude Opus 进行一项试验。我发起了一个新对话，只上传了 5.7K 随机选取的翻译对，这只是我 64K 数据会合的一小部分，乃至没有覆盖全部的词汇量。我想看看它是否能够基于这些例子翻译新的句子。

我没怀有太多渴望，仅仅是让它将一个简单的句子 —— " 我躺在床上 " 从俄语翻译成车臣语。Claude 不仅提供了完美的翻译，还具体解析了语法和形态学结构。

早先，我以为这只是可巧，这个特定的句子大概恰好在提供的例子中。但并非如此。

我尝试构造了一个独一无二、极不寻常的句子，理论上不大概存在于数据中。结果，Claude 再次提供了无懈可击的翻译和分析。仅仅依靠极少量的数据，Claude 的表现竟然靠近于我为呆板翻译特殊训练的模型。这让我难以置信。

进一步的测试包括文学作品中的复杂段落、最近的消息报道，乃至是语法和誊写系统都明显不同的车臣方言文本。Claude 一致地展现了对语言结构深刻的明白，智能地推断出未知词汇，恰当利用借用词，提供大概的词源分析，在翻译中保存原文风格，乃至在必要时创造新词。所有这些成就都是基于仅几千个翻译对完成的。车臣语是一种具有复杂形态结构和语法的黏着语言。

要完成这些任务，必要深入明白语言自己，若由一个不熟悉这种语言的语言学家来做，大概必要至少一年的时间。然而，Opus 仅仅通过 5.7K 个随机翻译对，在不到一分钟内就轻松把握了这些细微之处。

作为对比，我在 GPT-4 上进行了相同的测试，结果完全失败。它乃至无法翻译最简单的句子，更不用说明白语法的复杂性了。我之前也试过在类似的数据集上对 GPT-3.5 进行微调，但得到的也只是杂音。

我不确定 Anthropic 是怎样做到这一点的，但这显着与其他任何东西都不同。虽然很多人对其在合成基准测试中的领先职位表示怀疑，但我亲眼见证的，在一个全新且极具挑战性的基准测试上取得的成果，确实令人震惊，这在训练数据会合几乎是不大概的。

为了清除潜在的数据污染，我尝试了相同的提示，但没有附上样本翻译，结果 Claude 无法进行翻译，并表示不熟悉车臣语。

这一发现意义重大。我两年辛劳工作的成果，Claude 只用几千个示例就轻松实现了。这对于资源匮乏的语言来说，无疑是一次飞跃，对很多其他范畴也同样有着深远的影响。

我原本以为如许的进步必要多年才能实现，但它已经发生了。将来已经到来，而且它令人惊叹不已。

@木遥 : 原作者厥后发了个更新，发现自己弄错了 Claude 3 并不是完全不懂车臣语，以是不是纯粹通过样本学会的（当然结果照旧很好，但没有「那么」神奇