Llama.cpp#
本页介绍如何在LangChain中使用llama.cpp (opens in a new tab)，分为两部分：安装和设置，以及特定Llama-cpp包装器的参考资料。
安装和设置#
-
使用
pip install llama-cpp-python安装Python包。 -
下载支持的模型 (opens in a new tab)并按照说明 (opens in a new tab)将其转换为llama.cpp格式。
包装器#
LLM#
存在一个 LlamaCpp LLM 包装器，您可以使用以下方式访问
from langchain.llms import LlamaCpp
有关更详细的步骤，请参见 此教程
嵌入#
存在一个 LlamaCpp 嵌入包装器，您可以使用以下方式访问
from langchain.embeddings import LlamaCppEmbeddings
有关更详细的步骤，请参见 此教程