首页 > 游戏资讯 > 游戏攻略

用于本地运行大型语言模型的最佳工具集

发布时间：2024-10-18浏览：22

大家好，用于本地运行大型语言模型的最佳工具集相信很多的网友都不是很明白，包括也是一样，不过没有关系，接下来就来为大家分享关于用于本地运行大型语言模型的最佳工具集和的一些知识点，大家可以关注收藏，免得下次来找不到哦，下面我们开始吧！

如果您想要一个在本地运行且不会向其他地方发送数据的聊天机器人，GPT4All 提供了一个非常易于设置的桌面客户端供下载。它包括在本地系统上运行模型的选项，并且有适用于Windows、macOS 和Ubuntu 的版本。

GPT4All中的部分模型下载接口。打开应用程序的使用部分后，下载的模型将自动出现。

还有一个测试版LocalDocs 插件可以在本地与您自己的文档“聊天”。可以在“设置”“插件”选项卡中的“LocalDocs 插件（BETA）设置”标题下启用它，并可以选择在特定文件夹路径创建集合。

这个测试版插件目前处于封闭测试阶段，即使大语言模型能够访问到添加的专家信息，它仍然可能会“产生幻觉”（编造事情）。尽管如此，它仍然是一个有趣的功能，随着开源模型变得更加强大，它可能会得到改进。

除了聊天机器人应用程序之外，GPT4All 还支持Python、Node 和命令行界面(CLI)。此外，它还支持服务器模式，通过HTTP API提供本地Web AI平台供其他本地机器交互使用。

LLM：命令行大型模型

LLM是最简单的开源大型模型之一，支持本地部署和使用。 Python系统开发需要本地Python语言环境。以Mac为例，通过Homebrew包管理器一键下载安装：

酿造安装llm

windows下可以使用pip：

pip安装llm

LLM 默认使用OpenAI 模型，但您可以使用插件在本地运行其他模型。例如，如果您安装了gpt4all 插件，则可以使用GPT4All 访问其他本地模型，例如llama、MLC、MPT-30B 等模型的插件。

插件安装命令为llm install，例如

llm安装llm-gpt4all

您可以使用以下命令查看所有可用模型（远程模型和已安装模型），包括有关每个模型的简要信息：llm models list

当要求LLM 列出可用模型时显示的内容。

LLM的使用也很简单：

llm -m the-model-name '查询内容'

Llm 支持GPT4All 兼容型号。如果本地系统上不存在GPT4All 模型，LLM 工具将在运行查询之前自动下载它。下载模型时，您将在终端中看到一个进度条。

您还可以为LLM中的模型设置别名：

llm 别名设置falcon ggml-model-gpt4all-falcon-q4_0

要查看所有可用的别名，请使用

llm 别名

LLM 还有其他功能，例如参数标志，它支持继续之前的聊天并能够在Python 脚本中使用它。

Ollama：桌面上的Llama 模型

Ollama 是比LLM 更简单的下载和运行模型的方法。

Ollama的安装和设置非常简单，只需一键即可完成。尽管Ollama 是一个命令行工具，但只有一个命令，其语法如下：ollama run model-name。与LLM一样，如果系统中尚不存在模型，则会自动下载。

可用模型包括基于Llama 的模型的多个版本，包括Llama 3、Code Llama CodeUp 和medllama2（经过微调以回答医学问题）。关于Ollama操作硬件，其官方推荐是：

您应该至少有8GB RAM 来运行3B 模型，16GB 来运行7B 模型，32GB 来运行13B 模型。

Ollama 这次有一些额外的功能，例如LangChain 集成以及与PrivateGPT 一起运行的能力。 Ollama 还支持在终端窗口中运行，每次您需要提问时都会弹出它。

h2oGPT：与您自己的文档聊天

H2O.ai致力于自动化机器学习，其工具更适合具有特定领域知识的专业人士。

h2oGPT 测试版的安装快速而简单，即使对于新手来说也是如此。

您可以将此应用程序用作通用聊天机器人，而无需添加您自己的文件。或者您可以上传一些文件并提出有关它们的问题。兼容的文件格式包括PDF、Excel、CSV、Word、Text、Markdown 等。

h2oGPT UI 提供了一个专家选项卡，其中包含许多配置选项，以便用户了解他们在做什么。这为更有经验的用户提供了尝试改进结果的选择。

如果您想更好地控制更多模型的流程和选项，请下载完整的应用程序。对于仅具有GPU 或CPU 的系统，有适用于Windows 和macOS 的一键安装程序。

PrivateGPT：安全且保护隐私的本地大型模型

PrivateGPT 还旨在让用户使用自然语言查询自己的文档并获得生成式人工智能响应。应用程序中的文档可以包含数十种不同的格式。 PrivateGPT保证用户100%的数据隐私保护，任何数据都不会离开执行环境。用户可以在没有互联网连接的情况下提取文档并提出问题。

PrivateGPT 提供脚本来摄取数据文件，将它们分割成块，创建“嵌入”（文本含义的数字表示），并将这些嵌入存储在本地Chroma 矢量存储中。当提出问题时，应用程序会搜索相关文档并将这些文档发送到大型语言模型以生成答案。

对于熟悉Python的同学，可以完全克隆完整的PrivateGPT代码并在本地运行。如果您对Python了解较少，您可能需要下载预打包的简化版本，它更容易设置。

PrivateGPT 可能包含终端中“与您自己的文档聊天”应用程序中最想要的功能，但文档警告说它不适合生产，一旦运行它，即使是小型模型选项在家庭级上运行也很差电脑。慢的。

本地GPT

LocalGPT 是PrivateGPT 的衍生品，包含更多模型选项。人们可能对这种安装和设置是否“简单”有不同的看法，但它看起来确实很有前途。然而，与PrivateGPT 一样，它仅在CPU 上运行速度会很慢。

扬

Jan 是一个相对较新的开源项目，旨在通过“开放、本地优先的产品”“实现人工智能的民主化”。该应用程序易于下载和安装，界面在可定制性和易用性之间实现了良好的平衡。这是一个使用起来很有趣的应用程序。

选择一月份使用的模型很容易。应用程序中有30 多个模型的描述可供一键下载，其中一些模型带有视觉效果。其他格式也可以以GGUF 格式导入。 Jan中心列出的型号如果硬件不足，将会显示“内存不足”标签。

Jan的聊天界面包括一个右侧面板，允许您设置LLM的系统命令和调整参数。

除了在本地运行LLMS 之外，Jan 还允许在云端使用OpenAI 模型。此外，Jan 可以设置为使用远程或本地API 服务器。

与RTX 聊天

Nvidia 的Chat with RTX 演示应用程序旨在回答有关文档目录的问题。自今年2 月推出以来，RTX 可以使用Mistral 或Llama 2 LLM 本地运行。运行该应用程序需要配备Nvidia GeForce RTX 30 系列或更高GPU 和至少8GB GPU RAM 的Windows PC。由于压缩下载的大小为35GB，因此还需要稳定的互联网连接。

解压后，Chat with RTX 界面简单，非常易于使用。单击该图标将启动Windows 终端，该终端运行脚本以在默认浏览器中启动应用程序。

选择LLM 和文件路径，等待应用程序文件创建嵌入（您可以在终端窗口中跟踪进度），然后提出问题。响应包括指向LLM 用于生成答案的文档的链接，如果您想确保信息准确，这会很有帮助，因为模型可能会根据它知道的其他信息而不仅仅是您的特定文档进行回答。该应用程序目前支持.txt、pdf 和.doc 文件以及YouTube 视频的URL。

骆驼文件

Mozilla 推出的llamafile 允许开发人员将大型语言模型的关键部分转换为可执行文件。它还附带了可以下载GGUF 格式的LLM 文件、导入它们并在本地浏览器内聊天界面中运行它们的软件。

要运行llamafile，

curl -L github /Mozilla-Ocho/llamafile/releases/download/0.1/llamafile-server-0.1llamafilechmod +x llamafile

然后，下载选定的模型。下载后，可以在终端中运行模型

./llamafile --模型./zephyr-7b-alpha.Q4_0.gguf

无论模型位于何处，都不要使用zephyr，而是等待它加载，然后在浏览器中打开它：127.0.0.1:8080，您将看到一个带有各种聊天选项的屏幕：

在底部输入您的查询，它将变成一个基本的聊天机器人界面：

您可以使用项目GitHub 存储库上的示例文件之一来测试运行单个可执行文件：mistral-7b-instruct、llava-v1.5-7b-server 或Wizardcoder-python-13b。

LM工作室

LM Studio 提供了一个漂亮、干净的界面：

LM Studio 提供了一个内置服务器，可以用作OpenAI API 的直接替代品。