春节假期的最后两天，大模型迎来了今年首个高潮。

今年万众期待的GPT-5，还需些许时日。而Sora视频模型横空出世引发全网热议。

在OpenAI光环过分闪耀之下，咱们也别错过谷歌的新一代模型Gemini 1.5就来了。这家老牌大厂铆足劲和OpenAI一较高下，开启了高产模式。

与Sora发布的同日，谷歌最新一代多模态大模型——Gemini 1.5诞生。

其中最大亮点是最高可支持10000K Token的超长上下文。

对比GPT-4 Turbo的128K Tokens，以及Glaude 2.1的200K Tokens，可谓直接“爆杀”！

数据集吞吐能力彻底碾压一切主流大模型，直接晋升宇宙第一！

百万级Token，我们可以直接给AI投喂数十万字的超长文档、拥有数百个文件的数十万行代码库、一部完整的好莱坞大片等等，让它协助解读。

要知道，《三体》平均二三十万字一部，Gemini 1.5可以一口气吞下去。

这个技能点，放在2023年是完全不敢想的。

为了介绍新模型，谷歌准备了58页的技术文档。

毫不夸张地说，大语言模型进入了崭新阶段!

谷歌成功将吞吐量世界纪录提升到百万级数，甚至在实验室还创造过极限1000万Tokens，直接拉爆友商啦~~

也许不少刚接触AI的家人还无法理解——

大语言模型的Tokens吞吐能力到底有什么意义?

AI大模型发展现在这个阶段，大模型需要处理的网络信息量呈现指数级的增长，上下文窗口的Tokens能力，已经成为了关键的掣肘。

模型Tokens需要处理各种复杂的单词、图像、视频、音频、代码等等信息。上下文窗口越大，它能接纳的信息量就越多，就更有机会输出符合用户需求的内容。

打个比方：一个学霸可以在一夜之间啃完一本教科书，一个学渣即便在老师的辅导下，也很难在一个学期内掌握一门课程。

谷歌Gemini 1.5 Pro目前能够一次性处理海量信息：

话不多说，实测一下！

犹如鲸鱼吞水般吸纳海量信息

我们甩给它一份美国“阿波罗”11号登月任务的402页飞行报告，总计32万+ Tokens，里边包含了各种文字记载与图表，Gemini 1.5 Pro可以一次性处理复杂信息，并表现出深刻的理解。

我们从“阿波罗”登月里边挑选了三个改变世界的历史时刻，让它进行表述。

前后只花了30秒出头，答案就已经生成了!

Gemini 1.5 Pro清楚列出了包括阿姆斯特朗经典名言在内的三个有趣的历史瞬间。

接下来，再测试它的多模态能力——

我们把一张手绘脚穿一只靴子的简笔画上传，询问它：「这是什么时刻?」

它会回答：月球上的一小步，人类的一大步。Bingo!

不仅如此，这次谷歌还为Gemini 1.5开发了一项新功能，允许用户上传多个文件，并整合理解后回答问题。

更大的Tokens，模型能够处理更多信息，输出一致性更好更精准的结果。

横跨不同媒介综合思考

谷歌Gemini 1.5 Pro还展现了不可思议的内容理解能力和推理能力。

得益于Gemini出色的多模态能力，大模型会将上传的视频拆分成数千个画面片段进行理解，从而回答关于视频相关的各种问题。

比如，我们上传了一部44分钟的无声电影——Buster Keaton主演的《小神探夏洛克》，接近于70万Tokens的数据。

需要注意的是，目前Gemini暂不支持有声电影里边的对白理解。

大模型不仅能够精准地捕捉到电影的情节发展与转折，还能洞察到人类观众极易忽略的细微之处。

下面提问：请找出「一张纸从主角口袋中被拿出」的瞬间，然后告诉我关于这个细节的信息。

Gemini 1.5 Pro大约花费60秒准确地找出这个镜头位于12分01秒的位置，还描述出了相关的细节。

「12点01分，从这个人的口袋里取出一张纸。这是一张当票，是1924年10月23日从高盛典当行寄出的一张当票，用于典当一块手表和一条项链，价值4美元。这张当票是威尔·史密斯的署名。」

震惊!Gemini所描述的细节是完全准确的。

大模型不仅可以读懂动态画面的内容，还可以读懂画面里边的文本信息。

紧接着，我们上传一张粗糙的局部涂鸦，画了一个蓄水水塔，并要求Gemini找出与电影场景当中相对应的相似场景，它在一分钟内也给出了答案。

高效处理更长的代码

除了更强的多模态信息吞吐、理解与输出能力，Gemini 1.5 Pro在处理长达超过10万行的“屎山代码”时，还具备超强的纠错能力。

面对如此庞大的代码量，Gemini不仅能够深入分析各个示例，提出实用的修改建议，还能详细解释代码的各个部分是如何协同工作的。

凭借海量Tokens，开发者可以直接一次性上传一整套代码库，利用这个模型快速熟悉、理解代码结构。

Gemini 1.5 Pro的理论性能可以比肩「超大杯」的Gemini Ultra，大幅超越1.0版本。

在涵盖文本、代码、图像、音频和视频的综合性测试中，Gemini 1.5 Pro在87%的基准测试上完成了对自己的超越;与Gemini 1.0 Ultra相比性能也相差无几。

Gemini 1.5 Pro在专用于测试大模型Tokens能力的「大海捞针」测试中，它能够在长达100万Token的文本里边，准确找出隐藏有特定信息的文本片段的成功率高达99%，数据检索进度条几乎全绿。

测评到了这里，OpenAI的GPT-4的确在这项能力望尘莫及。

让Gemini来评价Sora会发生什么？

当谷歌Gemini 1.5 Pro遇上抢走它头条的Sora会怎样?

它甚至可以“辨别”视频是否由AI生成。

有取得Sora内测资格的大佬尝试Gemini 1.5 Pro去分析Sora生成的那个著名的「日本雪樱CityWalk」场景的AI视频。

我们将整段视频投喂给大模型。对此，Gemini 1.5 Pro给出的评价是：

视频呈现的是日本一条覆盖着雪的街道，樱花正盛开。但几处明显的问题暗示这个视频可能是AI制作的。

首先，尽管雪下得非常大，樱花却依然绽放。通常，樱花在春季开放，那时天气温暖，不会有雪；

其次，雪以一种过于规律的方式落下，这与现实中雪的降落方式不符；

再者，尽管正下着大雪，视频中的人们却没有穿戴任何冬季服装。

总而言之，虽然视频的视觉效果令人赞叹，但这些问题表明它并非真实场景所拍。