AI 基础入门
什么是多模态 AI？
多模态 AI 在单个模型中处理多种类型的输入——文本、图像、音频和视频。GPT-4o 和 Gemini 1.5 Pro 是典型代表。
TL;DR: 多模态 AI 在单个模型中处理多种类型的输入——文本、图像、音频和视频。GPT-4o 和 Gemini 1.5 Pro 是典型代表。
单模态 vs 多模态
早期 AI 是单模态的——文本模型只处理文本，图像模型只处理图像。多模态模型统一了这些，允许单个模型跨文本 + 图像 + 音频一起推理，就像人类自然做的那样。
unimodalmultimodalcross-modal reasoning
当前模型能做什么
GPT-4o：接受文本 + 图像输入，输出文本。Gemini 1.5 Pro：接受文本 + 图像 + 音频 + 视频，输出文本。Claude 3.5 Sonnet：文本 + 图像输入，输出文本。所有这些都能读取图表、示意图、截图并详细描述图像。
visionimage understandingaudio processingvideo analysis
实用多模态使用案例
从截图调试 UI。从收据照片中提取数据。分析图表并解释趋势。为无障碍访问描述图像。转录和总结会议音频。审查架构图。
图像生成 vs 图像理解
理解：GPT-4o 读取和描述图像（视觉输入）。生成：DALL-E 3、Midjourney、Stable Diffusion 从文本提示创建图像。一些模型（集成 DALL-E 的 GPT-4o）既能理解又能生成图像。