WeaviateIngestOperator¶

使用 WeaviateIngestOperator 与 Weaviate API 交互，为给定文本创建嵌入向量并将其摄取到数据库中。另外，您也可以为您的文本提供可摄取到数据库中的自定义向量。

使用操作符¶

WeaviateIngestOperator 需要将 input_data 作为操作符的输入。使用 conn_id 参数指定用于连接到您的账户的 Weaviate 连接。

一个使用操作符从 XCOM 获取自定义向量并摄取数据的示例

tests/system/weaviate/example_weaviate_operator.py

    batch_data_with_vectors_xcom_data = WeaviateIngestOperator(
        task_id="batch_data_with_vectors_xcom_data",
        conn_id="weaviate_default",
        collection_name=COLLECTION_NAME,
        input_data=store_data_with_vectors_in_xcom(),
        trigger_rule="all_done",
    )

一个使用操作符从 Python 可调用对象获取自定义向量并摄取数据的示例

tests/system/weaviate/example_weaviate_operator.py

    batch_data_with_vectors_callable_data = WeaviateIngestOperator(
        task_id="batch_data_with_vectors_callable_data",
        conn_id="weaviate_default",
        collection_name=COLLECTION_NAME,
        input_data=get_data_with_vectors(),
        trigger_rule="all_done",
    )

一个使用操作符从 XCOM 获取不带向量的数据并摄取数据的示例，操作符将为此生成嵌入向量

tests/system/weaviate/example_weaviate_operator.py

    batch_data_without_vectors_xcom_data = WeaviateIngestOperator(
        task_id="batch_data_without_vectors_xcom_data",
        conn_id="weaviate_default",
        collection_name="QuestionWithOpenAIVectorizerUsingOperator",
        input_data=xcom_data_without_vectors["return_value"],
        trigger_rule="all_done",
    )

一个使用操作符从 Python 可调用对象获取不带向量的数据并摄取数据的示例，操作符将为此生成嵌入向量

tests/system/weaviate/example_weaviate_operator.py

    batch_data_without_vectors_callable_data = WeaviateIngestOperator(
        task_id="batch_data_without_vectors_callable_data",
        conn_id="weaviate_default",
        collection_name="QuestionWithOpenAIVectorizerUsingOperator",
        input_data=get_data_without_vectors(),
        trigger_rule="all_done",
    )