Claude/GPT/Gemini 视觉多模态 API 实战:图片、PDF、视频识别国内怎么调(2026 最新)

2026 年的大模型已经不再只会聊天。Claude Opus 4.8、GPT-5.5、Gemini 3 Pro 三家在视觉多模态(Vision / Multimodal)上的能力都拉到了一个新的水位:一张工程图纸丢进去能直接读懂尺寸标注,一份 200 页的合同 PDF 能逐条抽出风险点,一段 10 分钟的视频能给出带时间戳的剧情摘要。这是真正能写进生产系统的能力,而不是 demo。

但国内开发者真要把这些视觉 API 用起来,会遇到三个老问题:接口连不上、信用卡付不了、不同家 SDK 写法不一样。这篇文章把 2026 年三家视觉模型的实战能力、调用方式和国内落地方案讲清楚,你看完就能直接接到自己的项目里。

三家视觉模型 2026 现状横评

先看一张能力对比表,后面每个能力点都有具体的调用代码。

三句话总结:看图纸/UI 截图选 Claude,做数学/公式题选 GPT,长视频和成本敏感选 Gemini。下面进入代码。

实战一:发票/工程图纸识别(Claude Opus 4.8 Vision)

Claude 对版式还原非常强,把一张拍歪的发票丢进去,它能输出结构化的 JSON,而不是流水账。这里直接用 OpenAI 兼容协议调用 Safa API 中转,免翻墙、不用境外卡。

import base64, requests, json

img_b64 = base64.b64encode(open("invoice.jpg","rb").read()).decode()

resp = requests.post(
    "https://aisafa.xyz/v1/chat/completions",
    headers={"Authorization": "Bearer sk-xxx"},
    json={
        "model": "claude-opus-4-8",
        "messages": [{
            "role": "user",
            "content": [
                {"type": "text", "text": "提取这张发票的开票方、金额、税号、日期,输出 JSON。"},
                {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{img_b64}"}}
            ]
        }]
    }
).json()
print(resp["choices"][0]["message"]["content"])

注意两点:一是 image_url 用 base64 data URL 比传外网链接稳得多(国内服务器拉不到境外图床的情况太常见);二是 prompt 里直接要 JSON,模型 2026 版的格式遵循已经很可靠,不需要再套 function calling。

实战二:200 页合同 PDF 风险抽取(GPT-5.5 Vision)

合同审查是 2026 年视觉 API 落地最猛的场景之一。GPT-5.5 现在支持把整份 PDF 直接当成一条 user message 传进去,模型会自己处理分页、表格、印章。

import requests

files = {"file": open("contract.pdf","rb")}
up = requests.post(
    "https://aisafa.xyz/v1/files",
    headers={"Authorization":"Bearer sk-xxx"},
    files=files, data={"purpose":"assistants"}
).json()
file_id = up["id"]

resp = requests.post(
    "https://aisafa.xyz/v1/chat/completions",
    headers={"Authorization":"Bearer sk-xxx"},
    json={
        "model": "gpt-5.5",
        "messages": [{
            "role": "user",
            "content": [
                {"type":"file", "file":{"file_id": file_id}},
                {"type":"text", "text":"列出本合同对甲方不利的条款,标注页码与原文。"}
            ]
        }]
    }
).json()

实测 200 页中文 PDF 大约 3-5 万 token,单次调用成本几毛到一块。比传统 OCR + RAG 拼起来的那一套省心太多,关键是版式、印章位置、手写批注它都能看懂。

实战三:1 小时视频自动剪辑摘要(Gemini 3 Pro)

Gemini 3 Pro 是目前唯一原生支持视频输入的主流模型,最长 1 小时,会自己抽帧 + 听音轨。这对做内容运营、会议纪要、监控分析的同学是降维打击。

import requests, base64

video_b64 = base64.b64encode(open("meeting.mp4","rb").read()).decode()

resp = requests.post(
    "https://aisafa.xyz/v1beta/models/gemini-3-pro:generateContent",
    headers={"Authorization":"Bearer sk-xxx"},
    json={
        "contents":[{"parts":[
            {"inline_data":{"mime_type":"video/mp4","data": video_b64}},
            {"text":"输出带时间戳的会议纪要,标注每位发言者的关键观点。"}
        ]}]
    }
).json()

大文件建议用 File API 先上传再引用,避免单条请求体过大被网关截断。Safa API 中转完整透传了 Gemini 的 File API 协议,不用改代码。

国内落地的三个老问题怎么破

视觉 API 用起来比纯文本敏感得多,因为请求体大、超时长、对网络抖动零容忍。国内直连境外接口基本三个症状:连不上、传到一半 RST、信用卡刷不了。三家原厂没一家解决这个。

这也是我自己上线的项目最后都接到 Safa API 中转的原因:

• 免翻墙直连:国内机房可达,延迟基本和 native 一样,大文件上传用国内中转的回源链路,不会跑一半断。
• 一个 base URL 三家模型:Claude / GPT / Gemini 共用 OpenAI 兼容协议,上面三段代码只换 model 名就能跑,不用为 SDK 兼容性折腾。
• 人民币付费:支付宝/微信直接充值,不需要境外卡,公司报销也方便,发票能开。
• 不降智:官方直连透传,没有上下文窗口阉割、没有 system prompt 注入,出来的结果和原厂一致。

注册地址 aisafa.xyz/register,把 base URL 换成 https://aisafa.xyz/v1,API Key 换成自己的,Cursor、Claude Code、Chatbox、自家后端代码都能直接接。

给生产环境的三条建议

把视觉 API 接到产品里之前,这三个坑务必先踩一遍:

1. 图片预处理别偷懒:超过 2048px 的图先压到 1568px,token 数能砍一半,识别精度几乎不掉。PDF 也是一样,扫描件先过一遍 deskew。
2. 超时一定要给到 120s 以上:视觉请求比纯文本慢 3-5 倍,默认 30s 超时直接全军覆没。流式输出 + 心跳保活是标配。
3. 失败重试加指数退避:大文件请求失败率天然比文本高,重试 2 次 + 切换备用模型(比如 Claude 失败 fallback 到 Gemini)是经验值。

视觉多模态在 2026 年已经不是炫技,而是把「人眼+人脑」的工作量直接外包给 API。把这套链路在国内跑稳,你会发现很多原来要外包给三方公司的 OCR、合同审查、视频剪辑业务,自己几百行代码就能搞定。