FastChat

FastChat 是一个开放平台，用于训练、服务和评估大型语言模型。

FastChat提供了大型语言模型的权重、训练代码和评估代码，包括先进的模型如Vicuna和FastChat-T5。它还提供了一个分布式的多模型服务系统，具有Web UI和OpenAI兼容的RESTful API。

安装和使用

使用 pip 进行安装：

pip3 install fschat

FastChat 有三部分组成：

先启动 controller：

python3 -m fastchat.serve.controller

注：如果要后台运行，最后加一个 &

再启动 model workers：

python3 -m fastchat.serve.model_worker --model-path ~/.cache/huggingface/hub/models--THUDM--chatglm2-6b/snapshots/b1502f4f75c71499a3d566b14463edd62620ce9f

注：如果要后台运行，最后加一个 &

这里模型名称是最后一级目录名：b1502f4f75c71499a3d566b14463edd62620ce9f

测试模型：

python3 -m fastchat.serve.test_message --model-name b1502f4f75c71499a3d566b14463edd62620ce9f

如果看到有对话返回说明启动成功。

启动 Web server：

python3 -m fastchat.serve.gradio_web_server

注：如果要后台运行，最后加一个 &

Web 服务运行于 http://0.0.0.0:7860 端口。

启动 OpenAI 兼容 API：

python3 -m fastchat.serve.openai_api_server --host 0.0.0.0 --port 8000

模型支持

FastChat支持广泛的模型，具体参见这篇文章。

vicuna-13b-v1.5-16k

开启 8bit 量化

python3 -m fastchat.serve.model_worker --model-path lmsys/vicuna-13b-v1.5-16k --load-8bit

ChatGLM2-6B

模型需要自己从 Hugging Face 下载。运行命令：

python3 -m fastchat.serve.model_worker --model-path ~/.cache/huggingface/hub/models--THUDM--chatglm2-6b/snapshots/b1502f4f75c71499a3d566b14463edd62620ce9f

网络资料：

5. Web GUI服务

FastChat允许通过Web UI服务模型，并提供了详细的步骤来启动控制器、模型工作器和Gradio Web服务器。

6. API和集成

FastChat提供了与OpenAI兼容的API和Hugging Face生成API，以及与LangChain的集成。

7. 评估和微调

FastChat使用MT-bench进行模型评估，并提供了细致的微调指导，包括数据准备、代码和超参数设置。

8. 许可和贡献

FastChat在Apache-2.0许可下发布，并有116位贡献者参与。

深入思考

FastChat的GitHub仓库提供了丰富的资源和文档，有助于深入了解和利用这个强大的平台。

网络资料

langchain-ChatGLM/docs/fastchat.md at master · chatchat-space/langchain-ChatGLM

本文作者：Maeiee

本文链接：FastChat

版权声明：如无特别声明，本文即为原创文章，版权归 Maeiee 所有，未经允许不得转载！

喜欢我文章的朋友请随缘打赏，鼓励我创作更多更好的作品！