作者：发现明日产品的
昨晚DeepSeek多模态研究员陈小康在X上发了一条推，并公布了DeepSeek关于多模态技术的新论文《Thinking with Visual Primitives》，表示「Excited to release」。
今天一早，推文删了，GitHub上的论文也撤了。
但APPSO在它消失之前把全文读完了。读完之后觉得，这篇论文被撤可能不是因为内容有问题。
恰恰相反，它可能透露了太多了。
前天我们刚实测完DeepSeek的识图模式，让它数手指，它思考了一通，自己吐槽「我真的是数晕了」，然后答错了。当时以为是灰测阶段的小问题。
这篇论文告诉我们，数手指数晕这件事，背后藏着一个GPT、Claude、Gemini集体没解好的技术瓶颈。
而DeepSeek给出的解法，说出来几乎有点可笑的朴素：给AI装一根手指。
陈小康在那条推文里写道：
「Traditional CoT stays in the linguistic space,but visual reasoning needs more.By using points and boxes as cognitive anchors,our model bridges the Reference Gap—mimicking the "point-to-reason" synergy humans use.」
「传统的思维链停留在语言空间里，但视觉推理需要更多。通过使用点和框作为认知锚点，我们的模型弥合了「引用鸿沟」，模拟了人类「边指边想」的协同机制。」
看得清和指得准，是两回事
目前所有多模态大模型做图像推理，本质都是把看到的画面转化成文字，然后在文字空间里做思维链推理。GPT-5.4、Claude-Sonnet-4.6、Gemini-3-Flash，全是这个路子。
过去两年，OpenAI、Google、Anthropic的改进方向集中在一个问题：怎么让模型看得更清楚。高分辨率裁切、动态分块、把图片放大再塞进去。DeepSeek管这个叫Perception Gap，感知鸿沟。
但这篇论文指出了另一个瓶颈：Reference Gap，引用鸿沟。模型看清了，但在推理过程中没法精确指向图中的某个东西。
你可以这样理解：一张图里25个人密密麻麻站在一起，你用语言去描述「左边第三排穿蓝色球衣那个人旁边的那个」，描述本身就是模糊的。模型数着数着就丢了上下文，忘了刚才数到谁。
人类怎么解决这个问题？够原始的：伸出手指，指一个数一个。
284B参数的模型，装上了一根手指
DeepSeek的方案：让模型在思考过程中直接输出图片上的坐标。
想象一下，模型看到一张图里有很多人，它的思维链不再是「我看到左边有个穿蓝衣服的人」，而是「我看到这个人」然后附上一个框的坐标，把人圈出来。每数一个人就圈一个框，圈完之后数框的数量就行了。
两种坐标格式：一种是框（bounding box），画个矩形把物体圈住，适合标定物体位置；一种是点（point），在图上戳一个位置，适合追踪路径和走迷宫。DeepSeek管这两种东西叫「视觉原语」，最小的思维单元。
关键变化在这里：以前模型输出坐标是作为最终答案（「目标在这里」），现在坐标嵌入了思考过程本身。坐标是草稿纸上的标记，不是答卷上的答案。
把一张图压缩7056倍，然后还能数清楚里面有几个人
模型底座是DeepSeek-V4-Flash，一个284B参数的MoE模型。MoE的意思是：模型脑子很大，但每次回答问题只调用一小部分神经元来干活，推理时只激活13B参数。类似于一个百人团队，每个任务只派5个人上场。
视觉编码器这边，做了三级压缩。打个比方：你有一张照片要发给朋友，网速很慢。第一步，你把照片切成小方格备用；第二步，每9个小方格合并成1个（3×3压缩）；第三步，再在传输时进一步精简掉冗余信息（KV Cache压缩4倍）。
实际数字：一张756×756的图，57万像素，一路压下去变成81个信息单元。压缩比7,056倍。
我看到这个数字的第一反应是：这还能看清东西？但论文里的结果说明，确实能。不光能看清，还能精确数出图里有25个人。
对比一下：同样800×800的图，Gemini-3-Flash消耗约1100个token来表示这张图，Claude-Sonnet-4.6约870个，GPT-5.4约740个。DeepSeek在最终计算时只用90个信息单元。别人用一千多个格子来记住一张图，DeepSeek用90个格子就够了，然后腾出来的算力全拿去「指」。
4000万条训练数据怎么攒出来的
DeepSeek从Huggingface等平台把所有带「目标检测」标签的数据集都爬了下来，初筛得到97,984个数据源。
然后做了两轮筛选。
第一轮查标签质量。用AI自动审核三类问题：标签是无意义的数字编号（类别名叫「0」「1」的那种）、标签是私人实体（「MyRoommate」）、标签是模糊缩写（工业检测里的「OK」「NG」，一个苹果「OK」和一个电路板「OK」长得完全不一样，AI学不了）。这轮砍掉56%，剩43,141个。
第二轮查框的质量。三个标准：漏标太多的（标了一半就不标了）、框画歪了切掉物体一半的、框大到把整张图都框住的（说明原始数据是图片分类硬转成的检测数据，没有定位信息）。再砍27%，剩31,701个。
最后按类别采样、去重，产出超过4000万高质量样本。
DeepSeek选择先把框的数据做大，点的数据后面再补。原因也简单：你让AI标一个框，答案基本唯一（把物体刚好圈住）；但让AI标一个点，物体上哪个位置都算对，没有唯一正确答案，训练信号太模糊。而且框本身就包含了两个点（左上角和右下角），学会画框之后标点就是降维操作。
怎么把「指」这个能力教给模型
后训练的策略是「先分头练，再合并」。
DeepSeek先拿框的数据训练一个专门画框的专家模型，再拿点的数据训练一个专门标点的专家模型。分开训练是因为数据量还不够大，两种能力混在一起容易互相干扰。
然后对两个专家分别做强化学习。怎么判断模型「画对了框」或「走对了路」？DeepSeek设计了一套多维度的打分系统：格式对不对（坐标语法正确吗）、逻辑通不通（思考过程有没有自相矛盾）、答案准不准（最终结果和标准答案差多少）。
强化学习的数据筛选也有讲究：先让模型做N遍同一道题，全做对的题太简单没训练价值，全做错的题太难学不到东西，只留「有对有错」的题来练。
最后一步是把两个专家的能力合到一个模型里。具体做法：让统一模型照着两个专家的输出去学，类似于一个学生同时跟两个老师学不同科目。
给了它手指之后，它是怎么数数的
数25个人
给模型一张足球队合照，问「图里有多少人？」
思考过程：先判断「这是团队合照，要数所有人，包括球员和教练」。然后一次性输出25个框坐标，每个人身上圈一个框。接着按排数统计：前排坐着4个+中排9个+后排8个+左侧2个教练+右侧2个教练=25。
「地上的熊有几只？」
图中有三只熊。模型逐一给每只画框并判断位置：第一只，在树干上垂直攀爬，排除；第二只，在岩石边缘走动，算；第三只，在碎木和泥土间，算。答案：2只。
不是先数出三只再减一只，而是对每只都做了「是不是在地面上」的判断，每个判断背后都有一个具体坐标锚定。它真的在逐个检查，不是在猜。
多跳空间推理
一个3D渲染场景里有一堆彩色几何体。问题：「存不存在一个紫色橡胶物体跟灰色金属物体一样大？」
模型先框出灰色金属球体，确认是个小号物体。然后逐一框出场景里其他小号物体：棕色金属圆柱、蓝色金属方块、蓝色橡胶方块、黄色橡胶圆柱……六个物体逐个查，颜色、材质、大小三个属性一一核对。结论：不存在紫色橡胶的。
六次定位，六次判断。每一步都有坐标锚着，不会出现「等等刚才查到哪了」的情况。
论文中更多案例参考：
迷宫导航：别人掷硬币，DeepSeek真的在搜索
论文测了四种任务，迷宫是差距拉得最开的一个。
任务很直接：给一张迷宫图，问从起点到终点有没有路，有的话画出来。迷宫有三种形状，方格的、圆环的、蜂巢的。
模型走迷宫的方式跟你小时候用铅笔在纸上画一样：选一条岔路走到头，走不通就退回来试另一条。区别是它每走一步都在图上标一个坐标点，留下记录。
论文里展示了一个圆形迷宫的完整过程：模型先标出起点和终点的位置，然后开始探索。走了18步，中间两次钻进死胡同又退出来，最后绕出了一条通路，把整条路径的坐标点串起来输出。
DeepSeek还设计了一批陷阱迷宫：乍一看有路，但中间某段被偷偷堵住了。这种迷宫考的是耐心，模型不能只看起点附近的走势就下结论，得老老实实把能走的路都试一遍才能确认走不通。
准确率对比：
-DeepSeek：66.9%
-GPT-5.4：50.6%
-Claude-Sonnet-4.6：48.9%
-Gemini-3-Flash：49.4%
-Qwen3-VL：49.6%
迷宫只有两种答案：有路，或者没路。随机猜正好50%。GPT、Claude、Gemini、Qwen全在50%附近晃，跟掷硬币没什么区别。DeepSeek的66.9%不算高，但它确实是在一步步走的，不是在蒙。
路径追踪：大家来找茬的终极版本
这个任务更直观：一堆线缠在一起，每条线从一个标记通向另一个标记。你的耳机线从口袋里掏出来是什么样，画面就是什么样。题目问你：C这条线通向哪个终点？
模型的做法是沿着线一路输出坐标点，像手指划过纸面。线弯得厉害的地方点标得密，直线段标得疏。人用眼睛追一根线的时候也是这样，弯道处慢下来，直线处一扫而过。
论文还加了一个加难版测试：所有线颜色粗细都一样。不能靠颜色区分是哪根线了，只能靠曲线本身的走势连续性来判断交叉口该跟着哪条走。
-DeepSeek：56.7%
-GPT-5.4：46.5%
-Claude-Sonnet-4.6：30.6%
-Gemini-3-Flash：41.4%
Claude的30.6%有点出乎意料。终点一般有四五个选项，随机猜也该有20%出头，30.6%只比瞎猜强一点点。可能它在这类纯空间追踪任务上，语言推理的惯性反而帮了倒忙。
怎么教AI走迷宫不作弊
迷宫的训练有一个现实问题：如果只看最终答对没答对来给分，模型很快就学精了，与其费劲搜索还可能答错，不如直接猜一个，反正认真走了答错跟没走答错，分数一样是零。
DeepSeek的解决办法是把过程也算进分数。每一步合法的探索都给分，穿墙扣分，走得越远越好。哪怕最后没到终点，只要认真搜索了大部分区域，也能拿到不错的成绩。这样一来，模型就没有偷懒的动力了。
不可解迷宫的要求更高：不能光说一句「走不通」，还得证明你确实把能到的地方都走遍了。搜索覆盖率也算分。
一个彩蛋，三个局限
后训练数据里没有中文。但模型能用中文做视觉原语推理。
给它一张咖啡机的照片，用中文问「怎么做拿铁」，它用中文标注了蒸汽棒、奶壶、咖啡豆、拿铁按钮的位置坐标，然后给出操作步骤。多语言能力是从基座模型那里继承的，视觉原语的训练没有把它破坏掉。
它还能把看图和世界知识结合起来：给一张金门大桥的照片问「这附近有NBA球队吗？」它先框出金门大桥，推理出这是旧金山，然后回答金州勇士队。
能理解幽默：一块水果切面上的天然斑点恰好组成了一张忧郁猫脸的模样，模型能指出相似点在哪里并解释为什么好笑。
能做密室逃脱指导：框出高处的钥匙、地板上的椅子、带锁的门，建议「把椅子搬到钥匙下方→踩上去拿钥匙→去开门」。
论文很坦诚地写了目前做不到的事。
输入分辨率有限制。ViT输出被卡在81到384个视觉信息单元之间，遇到很精细的场景（比如数手指这种），坐标精度还不够。这可能就是前天实测时数手指翻车的直接原因。
目前需要特定触发词才能激活视觉原语模式。模型还不能自己判断「这道题我该伸手指来做」，得有人提醒它。
拓扑推理的泛化能力有限。在训练过的迷宫类型上效果好，换一种新的空间结构就可能掉链子。陈小康在那条已删推文里也说了：
「We're still in the early stages;generalization in complex topological reasoning tasks isn't perfect yet,but we're committed to solving it.」
「我们还在早期阶段，复杂拓扑推理任务的泛化还不完善，但我们会持续解决。」
前天实测时，DeepSeek识图模式展现的那些能力（追问发布者身份、联想鲸鱼logo含义、自我纠正、给自己开「小型答辩会」），和这篇论文描述的思维方式一脉相承。它在脑中建立视觉锚点，围绕锚点做推理，碰到矛盾就回溯修正。
而数手指数晕了，就是Reference Gap的活体演示。手指交叉重叠的画面里，纯靠语言描述去区分「从左数第三根」和「从右数第二根」，跟你自己不伸手指去数一群挤在一起的人一个道理，注定混乱。
这篇论文指向的方向是：多模态推理的下一步进化在锚定机制上。DeepSeek用90个信息单元就打平了别人用上千token的效果，省下来的算力全拿去让模型「一边想一边指」。
分辨率军备竞赛可以缓一缓了，教会模型伸出手指，比给它配一副更贵的眼镜管用。
这只鲸鱼开了眼之后，还长出了手指。66.9%的迷宫准确率离完美还远，但至少它在认真走，不像隔壁那几位在掷硬币。
美港通证券提示：文章来自网络，不代表本站观点。
