Spring AI 使用谷歌 Vertex AI 多模态嵌入模型

实验性功能。仅用于实验目的，暂不兼容向量存储库。

Vertex AI 支持两种类型的嵌入模型：文本嵌入模型和多模态嵌入模型。本文档介绍如何使用 Vertex AI 多模态嵌入 API 创建多模态嵌入。

多模态嵌入模型可根据你提供的输入生成 1408 维向量，输入内容可包含图像、文本和视频数据的组合。生成的嵌入向量可用于图像分类、视频内容审核等后续任务。

图像嵌入向量与文本嵌入向量处于同一语义空间，且维度相同。因此，这些向量可互换使用，适用于文本搜图、图像搜视频等场景。

Vertex AI 多模态 API 存在以下使用限制。

对于纯文本嵌入场景，我们建议使用 Vertex AI 文本嵌入模型。

前提条件

根据你的操作系统安装对应的 gcloud 命令行工具。

执行以下命令完成身份验证。将 PROJECT_ID 替换为你的谷歌云项目 ID，ACCOUNT 替换为你的谷歌云用户名。

gcloud config set project <PROJECT_ID> &&
gcloud auth application-default login <ACCOUNT>

添加仓库和物料清单（BOM）

Spring AI 构件发布在 Maven 中央仓库和 Spring 快照仓库中。参考构件仓库章节，将这些仓库添加到你的构建系统中。

为了简化依赖管理，Spring AI 提供了物料清单（BOM），确保整个项目使用一致版本的 Spring AI。参考依赖管理章节，将 Spring AI BOM 添加到你的构建系统中。

自动配置

Spring AI 自动配置、启动器模块的构件名称发生了重大变更。更多信息请参考升级说明。

Spring AI 为 Vertex AI 嵌入模型提供了 Spring Boot 自动配置。如需启用该功能，请在项目的 Maven pom.xml 文件中添加以下依赖：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-vertex-ai-embedding</artifactId>
</dependency>

或在 Gradle 的 build.gradle 构建文件中添加：

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-vertex-ai-embedding'
}

参考依赖管理章节，将 Spring AI BOM 添加到你的构建文件中。

嵌入模型属性

以 spring.ai.vertex.ai.embedding 为前缀的属性，用于配置与 Vertex AI 嵌入 API 的连接。

嵌入模型自动配置的启用与禁用，现在通过以 spring.ai.model.embedding 为前缀的顶级属性进行配置。

启用配置：spring.ai.model.embedding.multimodal=vertexai（默认已启用）

禁用配置：spring.ai.model.embedding.multimodal=none（或任何不等于 vertexai 的值）

该变更用于支持多模型配置。

以 spring.ai.vertex.ai.embedding.multimodal 为前缀的属性，用于配置 Vertex AI 多模态嵌入的 EmbeddingModel 实现类。

手动配置

VertexAiMultimodalEmbeddingModel 实现了 DocumentEmbeddingModel 接口。

在项目的 Maven pom.xml 文件中添加 spring-ai-vertex-ai-embedding 依赖：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-vertex-ai-embedding</artifactId>
</dependency>

或在 Gradle 的 build.gradle 构建文件中添加：

dependencies {
    implementation 'org.springframework.ai:spring-ai-vertex-ai-embedding'
}

参考依赖管理章节，将 Spring AI BOM 添加到你的构建文件中。

接下来，创建 VertexAiMultimodalEmbeddingModel 实例并用于生成嵌入向量：

VertexAiEmbeddingConnectionDetails connectionDetails =
    VertexAiEmbeddingConnectionDetails.builder()
        .projectId(System.getenv(<VERTEX_AI_GEMINI_PROJECT_ID>))
        .location(System.getenv(<VERTEX_AI_GEMINI_LOCATION>))
        .build();

VertexAiMultimodalEmbeddingOptions options = VertexAiMultimodalEmbeddingOptions.builder()
    .model(VertexAiMultimodalEmbeddingOptions.DEFAULT_MODEL_NAME)
    .build();

var embeddingModel = new VertexAiMultimodalEmbeddingModel(this.connectionDetails, this.options);

Media imageMedial = new Media(MimeTypeUtils.IMAGE_PNG, new ClassPathResource("/test.image.png"));
Media videoMedial = new Media(new MimeType("video", "mp4"), new ClassPathResource("/test.video.mp4"));

var document = new Document("Explain what do you see on this video?", List.of(this.imageMedial, this.videoMedial), Map.of());

EmbeddingResponse embeddingResponse = this.embeddingModel
	.embedForResponse(List.of("Hello World", "World is big and salvation is near"));

DocumentEmbeddingRequest embeddingRequest = new DocumentEmbeddingRequest(List.of(this.document),
        EmbeddingOptions.EMPTY);

EmbeddingResponse embeddingResponse = multiModelEmbeddingModel.call(this.embeddingRequest);

assertThat(embeddingResponse.getResults()).hasSize(3);