PostgresML 嵌入

Spring AI 支援 PostgresML 文字嵌入模型。

嵌入是文字的數值表示。它們用於將單字和句子表示為向量，即數字陣列。嵌入可用於透過比較使用距離度量的數值向量的相似性來尋找相似的文字片段，或者它們可以用作其他機器學習模型的輸入特徵，因為大多數演算法無法直接使用文字。

許多預訓練的 LLM 可用於從 PostgresML 中的文字產生嵌入。您可以瀏覽所有模型以在 Hugging Face 上找到最佳解決方案。

新增儲存庫和 BOM

Spring AI 構件發佈在 Spring Milestone 和 Snapshot 儲存庫中。請參閱儲存庫章節，將這些儲存庫新增至您的建置系統。

為了協助進行相依性管理，Spring AI 提供了 BOM（物料清單）以確保在整個專案中使用一致版本的 Spring AI。請參閱相依性管理章節，將 Spring AI BOM 新增至您的建置系統。

自動配置

Spring AI 為 Azure PostgresML 嵌入模型提供 Spring Boot 自動配置。若要啟用它，請將下列相依性新增至專案的 Maven pom.xml 檔案

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-postgresml-spring-boot-starter</artifactId>
</dependency>

或您的 Gradle build.gradle 建置檔案。

dependencies {
    implementation 'org.springframework.ai:spring-ai-postgresml-spring-boot-starter'
}

請參閱相依性管理章節，將 Spring AI BOM 新增至您的建置檔案。

使用 spring.ai.postgresml.embedding.options.* 屬性來配置您的 PostgresMlEmbeddingModel。連結

嵌入屬性

前綴 spring.ai.postgresml.embedding 是配置 PostgresML 嵌入的 EmbeddingModel 實作的屬性前綴。

屬性

描述

預設值

spring.ai.postgresml.embedding.enabled

啟用 PostgresML 嵌入模型。

true

spring.ai.postgresml.embedding.create-extension

執行 SQL 'CREATE EXTENSION IF NOT EXISTS pgml' 以啟用擴充功能

false

spring.ai.postgresml.embedding.options.transformer

用於嵌入的 Hugging Face transformer 模型。

distilbert-base-uncased

spring.ai.postgresml.embedding.options.kwargs

其他 transformer 特定選項。

空地圖

spring.ai.postgresml.embedding.options.vectorType

用於嵌入的 PostgresML 向量類型。支援兩個選項：PG_ARRAY 和 PG_VECTOR。

PG_ARRAY

spring.ai.postgresml.embedding.options.metadataMode

文件元數據聚合模式

EMBED

所有以 spring.ai.postgresml.embedding.options 為前綴的屬性都可以在執行時透過將請求特定的執行階段選項新增至 EmbeddingRequest 呼叫來覆寫。

執行階段選項

使用 PostgresMlEmbeddingOptions.java 來配置具有選項的 PostgresMlEmbeddingModel，例如要使用的模型等等。

啟動時，您可以將 PostgresMlEmbeddingOptions 傳遞至 PostgresMlEmbeddingModel 建構子，以配置用於所有嵌入請求的預設選項。

在執行階段，您可以在 EmbeddingRequest 中使用 PostgresMlEmbeddingOptions 來覆寫預設選項。

例如，若要覆寫特定請求的預設模型名稱

EmbeddingResponse embeddingResponse = embeddingModel.call(
    new EmbeddingRequest(List.of("Hello World", "World is big and salvation is near"),
            PostgresMlEmbeddingOptions.builder()
                .withTransformer("intfloat/e5-small")
                .withVectorType(VectorType.PG_ARRAY)
                .withKwargs(Map.of("device", "gpu"))
                .build()));

範例控制器

這將建立一個 EmbeddingModel 實作，您可以將其注入到您的類別中。以下是一個簡單的 @Controller 類別範例，該類別使用 EmbeddingModel 實作。

spring.ai.postgresml.embedding.options.transformer=distilbert-base-uncased
spring.ai.postgresml.embedding.options.vectorType=PG_ARRAY
spring.ai.postgresml.embedding.options.metadataMode=EMBED
spring.ai.postgresml.embedding.options.kwargs.device=cpu

@RestController
public class EmbeddingController {

    private final EmbeddingModel embeddingModel;

    @Autowired
    public EmbeddingController(EmbeddingModel embeddingModel) {
        this.embeddingModel = embeddingModel;
    }

    @GetMapping("/ai/embedding")
    public Map embed(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        EmbeddingResponse embeddingResponse = this.embeddingModel.embedForResponse(List.of(message));
        return Map.of("embedding", embeddingResponse);
    }
}

手動配置

您可以手動建立 PostgresMlEmbeddingModel，而不是使用 Spring Boot 自動配置。為此，請將 spring-ai-postgresml 相依性新增至專案的 Maven pom.xml 檔案

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-postgresml</artifactId>
</dependency>

或您的 Gradle build.gradle 建置檔案。

dependencies {
    implementation 'org.springframework.ai:spring-ai-postgresml'
}

請參閱相依性管理章節，將 Spring AI BOM 新增至您的建置檔案。

接下來，建立一個 PostgresMlEmbeddingModel 實例，並使用它來計算兩個輸入文字之間的相似度

var jdbcTemplate = new JdbcTemplate(dataSource); // your posgresml data source

PostgresMlEmbeddingModel embeddingModel = new PostgresMlEmbeddingModel(this.jdbcTemplate,
        PostgresMlEmbeddingOptions.builder()
            .withTransformer("distilbert-base-uncased") // huggingface transformer model name.
            .withVectorType(VectorType.PG_VECTOR) //vector type in PostgreSQL.
            .withKwargs(Map.of("device", "cpu")) // optional arguments.
            .withMetadataMode(MetadataMode.EMBED) // Document metadata mode.
            .build());

embeddingModel.afterPropertiesSet(); // initialize the jdbc template and database.

EmbeddingResponse embeddingResponse = this.embeddingModel
	.embedForResponse(List.of("Hello World", "World is big and salvation is near"));

手動建立時，您必須在設定屬性之後和使用用戶端之前呼叫 afterPropertiesSet()。將 PostgresMlEmbeddingModel 建立為 @Bean 會更方便（且更佳）。這樣您就不必手動呼叫 afterPropertiesSet()

@Bean
public EmbeddingModel embeddingModel(JdbcTemplate jdbcTemplate) {
    return new PostgresMlEmbeddingModel(jdbcTemplate,
        PostgresMlEmbeddingOptions.builder()
             ....
            .build());
}