Runhouse#
本页面介绍如何在LangChain中使用Runhouse (opens in a new tab)生态系统。它分为三个部分:安装和设置、LLMs和嵌入。
安装和设置#
-
使用
pip install runhouse
安装Python SDK。 -
如果您想使用按需群集,请使用
sky check
检查您的云凭据。
自托管LLMs#
对于基本的自托管LLM,您可以使用SelfHostedHuggingFaceLLM
类。对于更多定制的LLM,您可以使用SelfHostedPipeline
父类。
from langchain.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM
有关自托管LLM的更详细演练,请参见此教程
自托管嵌入#
通过Runhouse,使用自托管嵌入的LangChain有几种方法。
对于来自Hugging Face Transformers模型的基本自托管嵌入,您可以使用SelfHostedEmbedding
类。
from langchain.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM
有关自托管嵌入的更详细演练,请参见此教程