性能比 GPT-4 强很多。

大模型的纯文本方向，已经卷到头了？ 昨晚，OpenAI 最大的竞争对手 Anthropic 发布了新一代 AI 大模型系列 ——Claude 3。 该系列包含三个模型，按能力由弱到强排列分别是 Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。其中，能力最强的 Opus 在多项基准测试中得分都超过了 GPT-4 和 Gemini 1.0 Ultra，在数学、编程、多语言理解、视觉等多个维度树立了新的行业基准。 Anthropic 表示，Claude 3 Opus 拥有人类本科生水平的知识。

在新模型发布后，Claude 首次带来了对多模态能力的支持（Opus 版本的 MMMU 得分为 59.4%，超过 GPT-4V，与 Gemini  1.0 Ultra 持平）。用户现在可以上传照片、图表、文档和其他类型的非结构化数据，让 AI 进行分析和解答。 此外，这三个模型也延续了 Claude 系列模型的传统强项 —— 长上下文窗口。其初始阶段支持 200K token 上下文窗口，不过，Anthropic 表示，三者都支持 100 万 token 的上下文输入（向特定客户开放），这大约是英文版《白鲸》或《哈利・波特与死亡圣器》的长度。

不过，在定价上，能力最强的 Claude 3 也比 GPT-4 Turbo 要贵得多：GPT-4 Turbo 每百万 token 输入 / 输出收费为 10/30 美元 ；而 Claude 3 Opus 为 15/75 美元。

不过，也有人表示，在实际体验方面，Claude 3 并没有彻底击败 GPT-4。

第一手实测Claude3

Claude 3 是否真的像官方所宣称的那样，性能全面超越了 GPT-4？目前大多数人认为，确实有那么点意思。

以下是部分实测效果：

首先来一个脑筋急转弯，哪一个月有二十八天？实际正确答案是每个月都有。看来 Claude 3 还不擅长做这种题。

接着我们又测试了一下 Claude 3 比较擅长的领域，从官方介绍可以看出 Claude 擅长「理解和处理图像」，包括从图像中提取文本、将 UI 转换为前端代码、理解复杂的方程、转录手写笔记等。 对于大模型来说，经常分不清炸鸡和泰迪，当我们输入一张含有泰迪和炸鸡的图片时，Claude 3 给出了这样的答案「这张图片是一组拼贴画，包含狗和炸鸡块或鸡块，它们与狗本身有着惊人的相似之处……」，这一题算过关。

接下来我们详看一下 Claude 3 系列模型的特性和性能表现。 全面超越 GPT-4，实现智能水平新 SOTA 作为 Claude 3 系列中智能水平最高的模型，Opus 在 AI 系统的大多数评估基准上都优于竞品，包括本科水平专家知识（MMLU）、研究生水平专家推理（GPQA） 、基础数学（GSM8K）等基准。并且，Opus 在复杂任务上表现出接近人类水平的理解力和流畅度，引领通用智能的前沿。 此外，包括 Opus 在内，所有 Claude 3 系列模型都在分析和预测、细致内容创建、代码生成以及西班牙语、日语和法语等非英语语言对话方面实现了能力增强。 下图为 Claude 3 模型与竞品模型在多个性能基准上的比较，可以看到，最强的 Opus 全面优于 OpenAI 的 GPT-4。

近乎实时响应 Claude 3 模型可以支持实时客户聊天、自动补充和数据提取等响应必须立即且实时的任务。 Haiku 是智能类别市场上速度最快且最具成本效益的型号。它可以在不到三秒的时间内读完一篇包含密集图表和图形信息的 arXiv 平台论文（约 10k tokens）。 对于绝大多数工作，Sonnet 的速度比 Claude 2 和 Claude 2.1 快 2 倍，且智能水平更高。它擅长执行需要快速响应的任务，例如知识检索或销售自动化。Opus 的速度与 Claude 2 和 2.1 相似，但智能水平更高。 强大的视觉能力  Claude 3 具有与其他头部模型相当的复杂视觉功能。它们可以处理各种视觉格式数据，包括照片、图表、图形和技术图表。 Anthropic 表示，它们的一些客户 50% 以上的知识库以各种数据格式进行编程，例如 PDF、流程图或演示幻灯片。因此，新模型强大的视觉能力非常有帮助。

从目前的评测基准和体验看来，Claude 3 在智能水平、多模态能力和速度上都取得了长足的进步。随着新系列模型的进一步优化和应用，我们或许将看到更加多元化的大模型生态。

最后分享一个我常用的AI工具：

https://chat.tuigemao.com

推荐指数：（⭐⭐⭐⭐⭐）

适合人群：办公写作、视频脚本、 文章润色、广告文案、论文大纲，多语言翻译等等