技术之家

简介音频 API 提供了基于 OpenAI 文本转语音（TTS）模型的语音合成接口，支持用户实现以下功能：为书面博客文章进行语音播报；生成多语言的语音音频；通过流式传输实现实时音频输出。前提条件注册 OpenAI 账号并获取 API 密钥。你可以在 OpenAI 注册页面创建账号，并在 API 密钥页面生成 API 密钥。将 spring-ai-openai 依赖添加到项目的构建文件中。更多信息请参考依赖管理章节。自动配置Spring AI 自动配置、启动器模块的工件名称发生了重大变化。有关详细信息，请参阅升级说明。Spring AI 为 OpenAI 文本转语音客户端提供了 Spring Boot 自动配置。要启用该功能，请将以下...

Spring AI 通过 TextToSpeechModel 和 StreamingTextToSpeechModel 接口为文本转语音（TTS）提供了统一的 API。这让你可以编写可在不同 TTS 服务提供商之间通用的可移植代码。支持的服务提供商OpenAI 语音合成 APIEleven Labs 文本转语音 API通用接口所有 TTS 服务提供商均实现以下共享接口：TextToSpeechModelTextToSpeechModel 接口提供了文本转语音的转换方法：public interface TextToSpeechModel extends Model, Streamin...

Spring AI 支持 OpenAI 的语音转文字模型。前提条件你需要创建一个 OpenAI API 密钥才能访问 ChatGPT 模型。在 OpenAI 注册页面创建账户，并在 API 密钥页面生成令牌。Spring AI 项目定义了一个名为 spring.ai.openai.api-key 的配置属性，你需要将其设置为从 openai.com 获取的 API 密钥值。导出环境变量是设置该配置属性的一种方式：自动配置Spring AI 自动配置、启动器模块的工件名称发生了重大变化。有关详细信息，请参阅升级说明。Spring AI 为 OpenAI 语音转文字客户端提供了 Spring Boot 自动配置。要启用它，请将以下依赖项...

Spring AI 支持 Azure Whisper 模型。前提条件从 Azure 门户的 Azure OpenAI 服务部分获取你的 Azure OpenAI 终端节点和 API 密钥。Spring AI 定义了一个名为 spring.ai.azure.openai.api-key 的配置属性，你需要将其设置为从 Azure 获取的 API 密钥值。还有一个名为 spring.ai.azure.openai.endpoint 的配置属性，你需要将其设置为在 Azure 中配置模型时获取的终端节点 URL。导出环境变量是设置该配置属性的一种方式：自动配置Spring AI 自动配置、启动器模块的工件名称发生了重大变化。有关详细信息，...

Spring AI 通过 TranscriptionModel 接口提供了统一的语音转文本转录API。这让你可以编写跨不同转录服务提供商兼容的可移植代码。支持的服务提供商OpenAI 的 Whisper APIAzure OpenAI Whisper API通用接口所有转录服务提供商都实现了以下共享接口：TranscriptionModel该接口提供了将音频转换为文本的方法：public interface TranscriptionModel extends Model{     /**     &nbs...

Spring AI 支持智谱AI的图像生成模型CogView。前提条件你需要在智谱AI创建API以访问智谱AI语言模型。在智谱AI注册页面创建账号，并在API密钥页面生成令牌。Spring AI项目定义了一个名为spring.ai.zhipuai.api-key的配置属性，你需要将其设置为从API密钥页面获取的API密钥值。你可以在application.properties文件中设置该配置属性：spring.ai.zhipuai.api-key=<your-zhipuai-api-key>为了在处理API密钥等敏感信息时提升安全性，你可以使用Spring表达式语言（SpEL）引用自定义环境变量：# In&nb...

Spring AI 支持 Stability AI 的文本生成图像模型。前提条件你需要在 Stability AI 上创建 API 密钥以访问其 AI 模型。请参考官方入门文档获取你的 API 密钥。Spring AI 项目定义了一个名为 spring.ai.stabilityai.api-key 的配置属性，你需要将其设置为从 Stability AI 获取的 API 密钥值。你可以在 application.properties 文件中设置该配置属性：spring.ai.stabilityai.api-key=<your-stabilityai-api-key>为了在处理 API 密钥等敏感信息时提升安全性，你可以使...

在本节中，我们将学习如何通过保存、加载和运行模型预测来持久化模型状态。import torch import torchvision.models as models保存和加载模型权重PyTorch 模型将学习到的参数存储在一个名为state_dict的内部状态字典中。这些参数可以通过torch.save方法进行持久化：model = models.vgg16(weights='IMAGENET1K_V1') torch.save(model.state_dict(), 'model_weights.pth')Downloadi...

优化模型参数现在我们已经拥有了模型和数据，接下来该通过在数据上优化模型参数来训练、验证和测试我们的模型了。训练模型是一个迭代过程；在每次迭代中，模型会对输出结果进行预测，计算预测误差（损失），计算误差相对于参数的导数（正如我们在上一节中看到的），并使用梯度下降法优化这些参数。有关该过程的更详细讲解，可以查看3Blue1Brown关于反向传播的视频。前置代码import torch from torch import nn from torch.utils.data import DataLoader from torchvision im...

训练神经网络时，最常用的算法是反向传播。在该算法中，参数（模型权重）会根据损失函数相对于给定参数的梯度进行调整。为了计算这些梯度，PyTorch 内置了一个名为 torch.autograd 的微分引擎。它支持对任意计算图自动计算梯度。考虑最简单的单层神经网络，包含输入 x、参数 w 和 b，以及某个损失函数。它可以在 PyTorch 中按以下方式定义：import torch x = torch.ones(5)  # input tensor y = torch.zeros(3)  # expected&...

神经网络由对数据执行操作的层/模块组成。torch.nn 命名空间提供了构建自定义神经网络所需的所有基础组件。PyTorch 中的每个模块都继承自 nn.Module。神经网络本身就是一个由其他模块（层）组成的模块，这种嵌套结构可以轻松构建和管理复杂的架构。在接下来的章节中，我们将构建一个神经网络，用于对 FashionMNIST 数据集中的图像进行分类。import os import torch from torch import nn from torch.utils.data import DataLoader from tor...

数据并非总是以训练机器学习算法所需的最终处理形式呈现。我们使用转换对数据进行一些处理，使其适合用于训练。所有 TorchVision 数据集都有两个参数——transform 用于修改特征，target_transform 用于修改标签——这两个参数接受包含转换逻辑的可调用对象。torchvision.transforms 模块提供了多种开箱即用的常用转换方法。FashionMNIST 的特征为 PIL 图像格式，标签为整数。为了进行训练，我们需要将特征转换为归一化张量，将标签转换为独热编码张量。为了实现这些转换，我们使用 torchvision.transforms.v2 API 以及 torch.nn.functional.on...

处理数据样本的代码可能会变得混乱且难以维护；理想情况下，我们希望数据集代码与模型训练代码解耦，以提高可读性和模块化程度。PyTorch 提供了两个数据原语：torch.utils.data.DataLoader 和 torch.utils.data.Dataset，允许你使用预加载的数据集以及自定义数据。Dataset 存储样本及其对应的标签，DataLoader 在 Dataset 基础上包装了一个可迭代对象，以便轻松访问样本。PyTorch 领域库提供了许多预加载的数据集（例如 FashionMNIST），这些数据集继承自 torch.utils.data.Dataset 并实现特定数据的功能。它们可用于对模型进行原型设计和基准...

Spring AI 支持 OpenAI 的图像生成模型 DALL-E。前提条件你需要创建 OpenAI API 密钥才能访问 ChatGPT 模型。在 OpenAI 注册页面创建账号，并在 API 密钥页面生成令牌。Spring AI 项目定义了一个名为 spring.ai.openai.api-key 的配置属性，你需要将其设置为从 openai.com 获取的 API 密钥值。你可以在 application.properties 文件中设置该配置属性：spring.ai.openai.api-key=<your-openai-api-key>为了在处理 API 密钥等敏感信息时提高安全性，你可以使用 Spring...

Spring AI 通过 OpenAI Java SDK 支持 OpenAI 的 DALL-E 图像生成模型，提供了与 OpenAI 服务（包括微软云服务和 GitHub 模型）的健壮、官方维护的集成方案。该实现使用 OpenAI 官方提供的 Java SDK。如需替代的 Spring AI 实现方案，请参考 OpenAI 图像生成文档。 DALL-E 是 OpenAI 推出的顶尖图像生成模型，能够根据自然语言描述创建逼真的图像和艺术作品。OpenAI SDK 模块会根据你提供的基础 URL 自动检测服务提供商（OpenAI、微软云服务或 GitHub 模型）。身份认证身份认证通过基础 URL 和 API 密钥完成。该实现支持通过...

Spring AI 支持 Azure OpenAI 提供的 gpt-image-1-mini 图像生成模型。前提条件在 Azure 门户的 Azure OpenAI 服务板块中获取你的 Azure OpenAI 端点和 API 密钥。Spring AI 定义了两个配置属性：spring.ai.azure.openai.api-key：设置为从 Azure 获取的 API 密钥值。spring.ai.azure.openai.endpoint：设置为在 Azure 中部署模型时获取的端点 URL。你可以在 application.properties 文件中设置这些配置属性：spring.ai.azure.openai.api-key...

Spring 图像模型 API 旨在提供一个简洁、可移植的接口，用于与各类专用于图像生成的 AI 模型交互，让开发者仅需极少的代码修改即可在不同的图像相关模型之间切换。该设计符合 Spring 的模块化和可互换性理念，确保开发者能够快速让应用适配不同的图像处理相关 AI 能力。此外，借助 ImagePrompt（输入封装）和 ImageResponse（输出处理）等配套类的支持，图像模型 API 统一了与图像生成专用 AI 模型的通信流程。它封装了请求准备和响应解析的复杂逻辑，为图像生成功能提供了直接、简化的 API 交互方式。Spring 图像模型 API 构建于 Spring AI 通用模型 API 之上，提供了图像专用的抽象层...

Spring AI 支持智谱AI的文本嵌入模型。智谱AI文本嵌入用于衡量文本字符串的相关性。嵌入是一个由浮点数组成的向量（列表），两个向量之间的距离可衡量它们的相关性：距离越小，相关性越高；距离越大，相关性越低。前提条件你需要创建智谱AI API 密钥才能访问智谱AI大语言模型。在智谱AI注册页面创建账号，并在 API 密钥页面生成令牌。Spring AI 项目定义了一个名为 spring.ai.zhipuai.api-key 的配置属性，你需要将其设置为从 API 密钥页面获取的 API 密钥值。你可以在 application.properties 文件中设置该配置属性：spring.ai.zhipuai.api-key=<...

实验性功能。仅用于实验目的，暂不兼容向量存储库。Vertex AI 支持两种类型的嵌入模型：文本嵌入模型和多模态嵌入模型。本文档介绍如何使用 Vertex AI 多模态嵌入 API 创建多模态嵌入。多模态嵌入模型可根据你提供的输入生成 1408 维向量，输入内容可包含图像、文本和视频数据的组合。生成的嵌入向量可用于图像分类、视频内容审核等后续任务。图像嵌入向量与文本嵌入向量处于同一语义空间，且维度相同。因此，这些向量可互换使用，适用于文本搜图、图像搜视频等场景。Vertex AI 多模态 API 存在以下使用限制。对于纯文本嵌入场景，我们建议使用 Vertex AI 文本嵌入模型。前提条件根据你的操作系统安装对应的 gcloud 命...

Vertex AI 支持两种类型的嵌入模型：文本嵌入模型和多模态嵌入模型。本文档介绍如何使用 Vertex AI 文本嵌入 API 创建文本嵌入。Vertex AI 文本嵌入 API 采用稠密向量表示形式。与稀疏向量（直接将单词映射为数值）不同，稠密向量旨在更好地表示文本的语义含义。在生成式 AI 中使用稠密向量嵌入的优势在于：无需搜索精确的单词或语法匹配项，而是可以精准查找与查询语义匹配的文本片段，即便这些片段使用的语言不同。前提条件根据你的操作系统安装对应的 gcloud 命令行工具。执行以下命令完成身份验证。将 PROJECT_ID 替换为你的谷歌云项目 ID，ACCOUNT 替换为你的谷歌云用户名。gcloud c...