收藏本站,收获最前沿的人工智能与编程资讯!!

Spring AI 使用 Perplexity

技术文档 13℃ 0

Perplexity AI 提供独特的AI服务,将其语言模型与实时搜索能力相结合。它提供多种模型,并支持对话AI的流式响应。

Spring AI 通过复用现有的 OpenAI 客户端与 Perplexity AI 集成。开始之前,你需要获取 Perplexity API 密钥、配置基础 URL 并选择支持的模型之一。

Spring AI 与 Perplexity 集成说明

Perplexity API 与 OpenAI API 并非完全兼容。Perplexity 将实时网络搜索结果与其语言模型响应相结合。与 OpenAI 不同,Perplexity 不暴露工具调用(函数调用)机制。此外,目前 Perplexity 不支持多模态消息。

查看 PerplexityWithOpenAiChatModelIT.java 测试类,获取 Spring AI 集成 Perplexity 的使用示例。

前提条件

  • 创建 API 密钥:访问此处创建 API 密钥。在 Spring AI 项目中通过 spring.ai.openai.api-key 属性配置。

  • 设置 Perplexity 基础 URL:将 spring.ai.openai.base-url 属性设置为 https://api.perplexity.ai

  • 选择 Perplexity 模型:通过 spring.ai.openai.chat.model=<模型名称> 属性指定模型,支持选项请参考支持的模型。

  • 设置聊天补全路径:将 spring.ai.openai.chat.completions-path 设置为 /chat/completions,详情参考聊天补全 API。

可在 application.properties 文件中配置上述属性:

spring.ai.openai.api-key=<your-perplexity-api-key>
spring.ai.openai.base-url=https://api.perplexity.ai
spring.ai.openai.chat.model=llama-3.1-sonar-small-128k-online
spring.ai.openai.chat.completions-path=/chat/completions

为提升 API 密钥等敏感信息的安全性,可使用 Spring 表达式语言(SpEL)引用自定义环境变量:

application.yml 配置:

spring:
  ai:
    openai:
      api-key: ${PERPLEXITY_API_KEY}
      base-url: ${PERPLEXITY_BASE_URL}
      chat:
        model: ${PERPLEXITY_MODEL}
        completions-path: ${PERPLEXITY_COMPLETIONS_PATH}

环境变量或 .env 文件配置:

export PERPLEXITY_API_KEY=<your-perplexity-api-key>
export PERPLEXITY_BASE_URL=https://api.perplexity.ai
export PERPLEXITY_MODEL=llama-3.1-sonar-small-128k-online
export PERPLEXITY_COMPLETIONS_PATH=/chat/completions

也可在应用代码中通过编程方式配置:

// 从安全源或环境变量获取配置
String apiKey = System.getenv("PERPLEXITY_API_KEY");
String baseUrl = System.getenv("PERPLEXITY_BASE_URL");
String model = System.getenv("PERPLEXITY_MODEL");
String completionsPath = System.getenv("PERPLEXITY_COMPLETIONS_PATH");

添加仓库与物料清单(BOM)

Spring AI 构件发布于 Maven Central 和 Spring 快照仓库。参考构件仓库章节,将这些仓库添加到构建系统中。

为简化依赖管理,Spring AI 提供 BOM(物料清单),确保整个项目使用一致的 Spring AI 版本。参考依赖管理章节,将 Spring AI BOM 添加到构建系统中。

自动配置

Spring AI 自动配置、启动器模块的构件名称发生了重大变更。更多详情请参考升级说明文档。

Spring AI 为 OpenAI 聊天客户端提供 Spring Boot 自动配置。如需启用,在项目的 Maven pom.xml 或 Gradle build.gradle 中添加以下依赖:

Maven 依赖:

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

请参考依赖管理章节,将 Spring AI BOM 添加到构建文件中。

聊天配置项

重试配置项

属性前缀 spring.ai.retry 用于配置 OpenAI 聊天模型的重试机制。

属性说明默认值
spring.ai.retry.max-attempts最大重试次数10
spring.ai.retry.backoff.initial-interval指数退避策略的初始休眠时长2 秒
spring.ai.retry.backoff.multiplier退避间隔乘数5

聊天选项配置项

属性说明默认值
spring.ai.openai.chat.options.maxTokensAPI 返回的最大补全 token 数。max_tokens 请求的 token 总数加上 messages 中的提示词 token 数,不得超过所选模型的上下文窗口限制。未指定时,模型将持续生成 token 直到遇到停止符或上下文窗口结束。-
spring.ai.openai.chat.options.presencePenalty取值范围 -2.0 至 2.0。正值根据新token在已有文本中的出现情况进行惩罚,提升模型讨论新话题的概率。与 frequency_penalty 不兼容。0
spring.ai.openai.chat.options.topP核采样阈值,取值范围 0 至 1。模型仅考虑累计概率质量达到 top_p 的token结果。建议仅调整 top_k 或 top_p 其中之一。0.9
spring.ai.openai.chat.options.stream-usage(仅流式响应生效)设置后会返回一个额外的块,包含整个请求的token使用统计。该块的 choices 字段为空数组,其他块也会包含 usage 字段但值为 null。false

所有 spring.ai.openai.chat.options 前缀的配置项,都可以在调用 Prompt 时添加请求级运行时选项来覆盖。

运行时选项

OpenAiChatOptions.java 类提供模型配置,如使用的模型、温度、频率惩罚等。

启动时,可通过 OpenAiChatModel(api, options) 构造器或 spring.ai.openai.chat.options.* 配置默认选项。

运行时,可在调用 Prompt 时覆盖默认配置,示例:

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        OpenAiChatOptions.builder()
            .model("llama-3.1-sonar-large-128k-online")
            .temperature(0.4)
        .build()
    ));

除了模型专属的 OpenAiChatOptions,也可使用通用的 ChatOptions 实例(通过 ChatOptions#builder() 创建)。

函数调用

Perplexity 不支持显式函数调用,而是直接将搜索结果集成到响应中。

多模态

目前 Perplexity API 不支持媒体内容(图片、音频等)。

示例控制器

创建 Spring Boot 项目并添加 spring-ai-starter-model-openai 依赖。

在 src/main/resources 目录下创建 application.properties 配置文件:

spring.ai.openai.api-key=<PERPLEXITY_API_KEY>
spring.ai.openai.base-url=https://api.perplexity.ai
spring.ai.openai.chat.completions-path=/chat/completions
spring.ai.openai.chat.options.model=llama-3.1-sonar-small-128k-online
spring.ai.openai.chat.options.temperature=0.7

# Perplexity API 不支持嵌入功能,需禁用
spring.ai.openai.embedding.enabled=false

将 api-key 替换为你的 Perplexity API 密钥。

配置完成后会自动创建 OpenAiChatModel 实例,可直接注入使用。以下是用于文本生成的简单 @RestController 示例:

@RestController
public class ChatController {

    private final OpenAiChatModel chatModel;

    @Autowired
    public ChatController(OpenAiChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", this.chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
	public FluxgenerateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Prompt prompt = new Prompt(new UserMessage(message));
        return this.chatModel.stream(prompt);
    }
}

支持的模型

Perplexity 提供多款针对搜索增强对话AI优化的模型,详情参考支持的模型文档。

相关推荐