OpenAI Vision 视觉指南:让模型分析图片输入
视觉输入让模型根据图片回答问题,适合界面检查、票据字段提取、商品图描述和文档辅助阅读。它与图像生成不同:视觉任务读取已有图片,图像生成任务创建或编辑图片。
1、同时提供图片与问题
请求应说明要观察什么、输出什么,以及看不清时如何处理。图片可以使用官方文档支持的 URL、上传文件或编码方式;具体字段应以当前 API 参考为准。下面展示请求结构的核心思路:
const response = await client.responses.create({
model: "gpt-5.6",
input: [{
role: "user",
content: [
{ type: "input_text", text: "列出图片中可见的三个界面问题;看不清的内容标记未知。" },
{ type: "input_image", image_url: imageUrl },
],
}],
});
图片 URL 不应允许模型或用户访问任意内网地址。服务端需要限制来源、大小、格式和下载超时,避免把视觉功能变成服务器端请求伪造入口。
2、改善分析质量
使用清晰、方向正确、包含目标区域的图片。不要只问“这是什么”,而要给出观察维度,例如“读取表头与金额,逐项返回;无法确认的字符不要猜”。对密集小字、手写内容、遮挡和复杂空间关系应预期更高错误率。
OCR 式提取最好使用结构化输出,并在后端校验日期、金额和枚举值。模型可能输出格式正确但内容识别错误,因此关键字段仍要与原图并排人工核对。
3、隐私与风险边界
上传前删除不必要的人脸、地址、证件号和客户信息,并为文件设置保留与删除策略。不要把视觉模型用于未经验证的身份识别、医学诊断或影响个人权益的自动决策。
视觉结果应描述为“根据当前图片可见内容”,而不是完整现实事实。下一页介绍另一条能力:根据文字创建或编辑图片。