技术之家

Spring AI 支持 MiniMax 全系列大语言模型，可用于构建多语种对话交互系统，同时内置联网搜索（WebSearch）与函数调用能力。前提条件在 MiniMax 官网注册账号并创建 API Key配置密钥：spring.ai.minimax.api-key基础配置（application.properties）spring.ai.minimax.api-key=<your-minimax-api-key>环境变量安全配置（推荐）# application.yml spring:   ai:     minimax:  &nb...

Spring AI 全面支持 Mistral AI 旗下各类大语言模型，可用于构建多语种对话助手。Mistral AI 同时提供 OpenAI API 兼容接口，你也可以通过 Spring AI OpenAI 集成模块调用 Mistral 服务。前提条件在 Mistral AI 官网注册账号并创建 API Key将密钥配置到 Spring AI 配置项：spring.ai.mistralai.api-key基础配置（application.properties）spring.ai.mistralai.api-key=<your-mistralai-api-key>安全配置（环境变量）# application....

Hugging Face 文本生成推理引擎（TGI）是一款专门用于在云端部署大语言模型（LLM）的服务化解决方案，可通过 API 对外提供模型服务。TGI 通过持续批处理、令牌流式传输、高效内存管理等特性，为文本生成任务提供了极致的性能优化。文本生成推理引擎要求模型与其架构专属优化方案兼容。虽然支持许多主流大语言模型，但并非 Hugging Face Hub 上的所有模型都能使用 TGI 部署。如果你需要部署其他类型的模型，建议使用标准的 Hugging Face 推理端点。    如需查看完整且最新的支持模型与架构列表，参考文本生成推理引擎支持模型文档。前提条件你需要在 Hugging Face 上创建推理端点...

Groq 是一款基于 LPU™ 架构的**超高速 AI 推理引擎**，支持多种主流 AI 模型、工具/函数调用功能，并提供与 OpenAI API 兼容的服务端点。Spring AI 通过**复用现有的 OpenAI 客户端**实现与 Groq 的集成。你只需获取 Groq API 密钥，将基础地址设置为 api.groq.com/openai，并选择对应的 Groq 模型即可使用。注意：Groq API 与 OpenAI API 并非完全兼容，存在部分兼容性限制。此外，Groq 目前不支持多模态消息。    可查看 GroqWithOpenAiChatModelIT.java 测试文件，了解 Spring AI...

Vertex AI Gemini API 允许开发者使用 Gemini 模型构建生成式人工智能应用。Vertex AI Gemini API 支持多模态提示词作为输入，并输出文本或代码。多模态模型能够处理来自多种模态的信息，包括图像、视频和文本。例如，你可以向模型发送一盘饼干的照片，并让它为你提供这些饼干的配方。Gemini 是由谷歌 DeepMind 开发的生成式人工智能模型系列，专为多模态场景设计。通过 Gemini API，你可以使用 Gemini 2.0 Flash 和 Gemini 2.0 Flash-Lite 模型。有关 Vertex AI Gemini API 模型的规格说明，请参阅模型信息文档。前提条件安装适用于你操...

Google GenAI API 允许开发者通过 Gemini 开发者 API 或 Vertex AI，使用谷歌的 Gemini 模型构建生成式人工智能应用。Google GenAI API 支持多模态提示词作为输入，并输出文本或代码。多模态模型能够处理来自多种模态的信息，包括图像、视频和文本。例如，你可以向模型发送一盘饼干的照片，并让它为你提供这些饼干的配方。Gemini 是由谷歌 DeepMind 开发的生成式人工智能模型系列，专为多模态场景设计。通过 Gemini API，你可以使用 Gemini 2.0 Flash、Gemini 2.0 Flash-Lite、所有 Gemini Pro 模型，以及最新的 Gemini 3 P...

Docker Model Runner 是一款人工智能推理引擎，提供来自各类服务商的丰富模型。Spring AI 通过复用已有的 OpenAI 对话客户端，实现了与 Docker Model Runner 的集成。使用时需将基础 URL 设置为 localhost:12434/engines，并选择提供的大语言模型之一。可查看 DockerModelRunnerWithOpenAiChatModelIT.java 测试文件，了解 Spring AI 结合 Docker Model Runner 的使用示例。前提条件下载适用于 Mac 的 Docker Desktop 4.40.0 版本。通过以下任一方式启用 Model Runner...

DeepSeek ChatSpring AI 支持来自深度求索（DeepSeek）的各类人工智能大语言模型。你可以与 DeepSeek 大语言模型进行交互，并基于 DeepSeek 模型创建多语种对话助手。前提条件你需要创建一个 DeepSeek API 密钥才能访问 DeepSeek 大语言模型。在 DeepSeek 注册页面创建账号，并在 API 密钥页面生成令牌。Spring AI 项目定义了一个名为 spring.ai.deepseek.api-key 的配置属性，你需要将其设置为从 API 密钥页面获取的 API 密钥值。你可以在 application.properties 文件中设置该配置属性：spring.ai.de...

由 ChatGPT 提供能力支撑的 Azure OpenAI 服务，超越了传统原生 OpenAI 的基础能力，可提供功能更强大的 AI 文本生成能力。Azure 还额外提供了 AI 安全管控与负责任 AI 相关特性，详情可参考官方最新更新文档。Azure 允许 Java 开发者将 AI 能力与各类 Azure 云服务无缝集成，充分释放人工智能的全部潜力，其中就包含 Azure 向量存储等 AI 相关资源。前置条件Azure OpenAI 客户端提供三种连接认证方式：使用 Azure API 密钥、使用原生 OpenAI API 密钥、使用 Microsoft Entra 身份认证。Azure API 密钥与访问端点若要通过 API...

Anthropic Claude 是一系列基础人工智能模型，可应用于各类场景。开发者与企业可借助 API 接入能力，直接基于 Anthropic 的 AI 基础设施进行二次开发。Spring AI 支持 Anthropic 消息 API，可实现同步与流式文本生成。Anthropic 的 Claude 模型也可通过 Amazon Bedrock 对话服务使用，Spring AI 同样提供了专属的 Amazon Bedrock 对接 Anthropic 的客户端实现。前置要求你需要在 Anthropic 官网控制台创建 API 密钥。前往 Anthropic API 控制台注册账号，并在「获取 API 密钥」页面生成密钥。Spring...

Amazon Bedrock Converse APIAmazon Bedrock Converse API 为对话式 AI 模型提供了统一接口，具备更强的能力，包括函数/工具调用、多模态输入、流式响应等。Bedrock Converse API 主要核心特性如下：工具/函数调用：支持在对话中定义函数并调用工具能力多模态输入：对话中可同时处理文本与图片输入流式支持：支持模型响应实时流式返回系统消息：支持系统级指令与对话上下文设定Bedrock Converse API 为多家模型厂商提供统一接口，同时屏蔽了 AWS 认证与底层基础设施细节。目前 Converse API 支持的模型包括：Amazon Titan、Amazon Nov...

聊天模型对比下表对比了 Spring AI 支持的各类聊天模型，详细列出各项能力特性：多模态(Multimodality)：模型可处理的输入类型（文本、图片、音频、视频等）工具/函数调用(Tools/Function Calling)：是否支持函数调用与工具调用能力流式输出(Streaming)：是否支持流式响应返回重试机制(Retry)：是否内置重试机制支持可观测性(Observability)：是否具备监控、日志调试能力原生JSON输出(Built-in JSON)：是否原生支持结构化JSON输出本地部署(Local deployment)：是否支持本地私有化部署OpenAI接口兼容(OpenAI API Compatibili...

聊天模型 API聊天模型 API 为开发者提供了将 AI 驱动的对话补全能力集成到应用程序中的能力。它利用预训练语言模型（如生成式预训练 Transformer，即 GPT），对用户输入的自然语言生成类人化的响应。该 API 的工作方式通常是：向 AI 模型发送提示词或不完整的对话内容，模型基于其训练数据和对自然语言模式的理解，生成对话的补全内容或续文。生成完成的响应会返回给应用程序，应用程序可将其展示给用户，或用于后续业务处理。Spring AI 聊天模型 API 被设计为一个简洁、可移植的接口，用于对接各类 AI 模型，让开发者只需极少的代码修改即可在不同模型之间切换。这一设计符合 Spring 模块化、可替换的核心设计理念。借...

多模态 API「凡是自然相连的事物，都应当结合起来教授」——约翰·阿莫斯·夸美纽斯，《图画中可见的世界》，1658年人类处理知识时，会同时通过多种数据模态进行。我们的学习方式、人生体验都是多模态的。我们并非只拥有视觉、只拥有听觉，也并非只拥有文本。与这一规律相反，传统机器学习通常专注于针对单一模态设计的专用模型。例如，我们开发用于文本转语音、语音转文本的音频模型，以及用于目标检测、分类任务的计算机视觉模型。但如今，新一代多模态大语言模型开始涌现。典型代表包括 OpenAI 的 GPT-4o、谷歌 Vertex AI Gemini 1.5、Anthropic 的 Claude3，以及开源模型 Llama3.2、LLaVA 和 BakL...

结构化输出转换器大语言模型（LLM）生成结构化输出的能力，对于依赖可靠解析输出值的下游应用至关重要。开发者希望快速将AI模型的返回结果转换为JSON、XML或Java类等数据类型，以便传递给应用的其他函数和方法使用。Spring AI 结构化输出转换器可帮助将LLM输出转换为结构化格式。如下图所示，该方案围绕LLM文本补全接口运行：结构化输出转换器架构使用通用补全API从大语言模型（LLM）生成结构化输出，需要谨慎处理输入和输出。结构化输出转换器在LLM调用前后均发挥关键作用，确保生成符合预期的输出结构。在调用LLM之前，转换器会将格式指令追加到提示词中，为模型提供明确的生成指导。这些指令相当于蓝图，引导模型的响应符合指定格式。随着...

提示词基础提示词是引导AI模型生成特定输出的输入内容。提示词的设计与措辞会极大影响模型的回复结果。在Spring AI与AI模型交互的底层层面，提示词的处理方式和Spring MVC中视图（View）的管理有些相似：都是构建带有占位符的大段文本，再根据用户请求或应用内其他代码动态替换占位符内容。也可以类比为带有表达式占位符的SQL语句。随着Spring AI的迭代演进，会推出更高层级的抽象来简化AI模型交互。本节介绍的基础类，其作用和地位可类比JDBC：ChatModel 类比JDK中核心的JDBC基础库；ChatClient 类比 JdbcClient，基于 ChatModel 构建，通过顾问（Advisor）提供更高级能力，比如...

递归顾问 什么是递归顾问？ 递归顾问是一类特殊的顾问，能够多次循环遍历下游的顾问链。当你需要重复调用大语言模型（LLM）直至满足特定条件时，这种模式非常实用，典型场景包括： 循环执行工具调用，直到无需再调用任何工具 校验结构化输出，若校验失败则重新尝试 实现附带请求修改的评估逻辑 实现附带请求修改的重试逻辑 CallAdvisorChain.copy(CallAdvisor after) 方法是实现递归顾问模式的核心工具。它会创建一个新的顾问链，该子链仅包含原链中指定顾问之后的所有顾问，并允许递归顾问根据需要调用这个子链。这种方案能够保证： 递归顾问可以循环遍历链中...

本博客翻译了 Spring AI 1.1.5 的参考文档，可按顺序阅读，方便大家快速入门，官网地址：https://docs.spring.io/spring-ai/reference/index.htmlSpring AI 是什么？有哪些特性？Spring AI 1.1.5 版本发行说明，包含 9 项问题修复、3 处文档优化、11 项功能改进。Spring AI 所用到的核心概念有哪些？如何理解Spring AI 的设计实现思想？Spring AI 的快速入门指南Chat Client API 完整使用教程｜Spring AI 聊天客户端实战指南Spring AI Advisors APISpring AI 递归顾问 Recurs...

Advisors APISpring AI Advisors API 提供了一种灵活且强大的方式，用于在你的 Spring 应用程序中拦截、修改和增强由 AI 驱动的交互。通过利用 Advisors API，开发者可以创建更复杂、可复用且易于维护的 AI 组件。其核心优势包括：封装通用的生成式 AI 模式、转换与大语言模型（LLMs）之间传输的数据，以及在各类模型和用例间提供可移植性。你可以使用 ChatClient API 配置现有的通知器，如下例所示：ChatMemory chatMemory = ... // 初始化你的聊天记忆存储 VectorStore vect...

聊天客户端APIChatClient 提供流式风格API，用于与AI模型进行通信。它同时支持同步编程模型和流式编程模型。请参阅本文档末尾的实现说明，了解在 ChatClient 中命令式编程模型与响应式编程模型的组合使用方式。该流式API提供了构建提示词（Prompt）各组成部分的方法，提示词将作为输入传递给AI模型。提示词包含引导AI模型输出内容与行为的指令文本。从API视角来看，提示词由一组消息集合构成。AI模型主要处理两类消息：用户消息（来自用户的直接输入）和系统消息（由系统生成，用于引导对话流程）。这些消息通常包含占位符，程序运行时会根据用户输入替换占位符内容，从而定制AI模型对用户输入的响应结果。同时还可配置提示词相关选项...