@@ -61,9 +61,9 @@ model_dir = snapshot_download('qwen/Qwen1.5-7B-Chat', cache_dir='/root/autodl-tm
6161
6262## 代码准备
6363
64- 为便捷构建 LLM 应用,我们需要基于本地部署的 Qwen2 -LM,自定义一个 LLM 类,将 Qwen2 接入到 LangChain 框架中。完成自定义 LLM 类之后,可以以完全一致的方式调用 LangChain 的接口,而无需考虑底层模型调用的不一致。
64+ 为便捷构建 LLM 应用,我们需要基于本地部署的 Qwen1.5 -LM,自定义一个 LLM 类,将 Qwen1.5 接入到 LangChain 框架中。完成自定义 LLM 类之后,可以以完全一致的方式调用 LangChain 的接口,而无需考虑底层模型调用的不一致。
6565
66- 基于本地部署的 Qwen2 自定义 LLM 类并不复杂,我们只需从 LangChain.llms.base.LLM 类继承一个子类,并重写构造函数与 _ call 函数即可:
66+ 基于本地部署的 Qwen1.5 自定义 LLM 类并不复杂,我们只需从 LangChain.llms.base.LLM 类继承一个子类,并重写构造函数与 _ call 函数即可:
6767
6868``` python
6969from langchain.llms.base import LLM
@@ -72,8 +72,8 @@ from langchain.callbacks.manager import CallbackManagerForLLMRun
7272from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig, LlamaTokenizerFast
7373import torch
7474
75- class Qwen2_LLM (LLM ):
76- # 基于本地 Qwen2 自定义 LLM 类
75+ class Qwen1_5_LLM (LLM ):
76+ # 基于本地 Qwen1.5 自定义 LLM 类
7777 tokenizer: AutoTokenizer = None
7878 model: AutoModelForCausalLM = None
7979
@@ -102,10 +102,10 @@ class Qwen2_LLM(LLM):
102102 return response
103103 @ property
104104 def _llm_type (self ) -> str :
105- return " Qwen2_LLM "
105+ return " Qwen1_5_LLM "
106106```
107107
108- 在上述类定义中,我们分别重写了构造函数和 _ call 函数:对于构造函数,我们在对象实例化的一开始加载本地部署的 Qwen2 模型,从而避免每一次调用都需要重新加载模型带来的时间过长;_ call 函数是 LLM 类的核心函数,LangChain 会调用该函数来调用 LLM,在该函数中,我们调用已实例化模型的 generate 方法,从而实现对模型的调用并返回调用结果。
108+ 在上述类定义中,我们分别重写了构造函数和 _ call 函数:对于构造函数,我们在对象实例化的一开始加载本地部署的 Qwen1.5 模型,从而避免每一次调用都需要重新加载模型带来的时间过长;_ call 函数是 LLM 类的核心函数,LangChain 会调用该函数来调用 LLM,在该函数中,我们调用已实例化模型的 generate 方法,从而实现对模型的调用并返回调用结果。
109109
110110在整体项目中,我们将上述代码封装为 LLM.py,后续将直接从该文件中引入自定义的 LLM 类。
111111
@@ -117,8 +117,8 @@ class Qwen2_LLM(LLM):
117117然后就可以像使用任何其他的langchain大模型功能一样使用了。
118118
119119``` python
120- from LLM import Qwen2_LLM
121- llm = Qwen2_LLM (mode_name_or_path = " /root/autodl-tmp/qwen/Qwen1.5-7B-Chat" )
120+ from LLM import Qwen1_5_LLM
121+ llm = Qwen1_5_LLM (mode_name_or_path = " /root/autodl-tmp/qwen/Qwen1.5-7B-Chat" )
122122llm(" 你是谁" )
123123```
124124
0 commit comments