如何在思源笔记中使用本地部署的lmstdio提供的api。

书接上文

【AI】如何安装LM Studio并配置qwen2.5本地ai 一文中,介绍了如何安装LM Studio软件并使用通义千问本地AI大模型。

LM Studio软件可以基于本地大模型提供一个和openai api兼容的本地AI服务器,基于此,我们可以使用思源笔记自带的AI模块,利用本地的LM Studio来在思源笔记中使用本地部署的AI。

思源笔记中AI模块有两种用法,一种是选择内容后,让AI帮忙写总结、续写、格式优化等(AI输出的内容会插入到选中内容之后),另外一种就是直接问AI,AI的回答会直接插入到我们的问题之后。

如何操作

启动LM Studio本地服务器Server

首先需要配置好并打开LM Studio,点击developer开发者页面,在这里可以选中一个你想使用的模型,然后点击左上角的start server启动本地服务器。

image.png

成功启动,可以在下方的终端中看到如下内容

image.png

思源笔记中配置LM Studio的API

来到思源笔记的设置中,需要填写如下内容,参考官方文档 lm-studio.cn/docs/api/openai-api

参数
urlhttp://127.0.0.1:1234/v1
api keylm-stdio
模型查看lmstdio本地服务器页面显示的模型名字

其中模型的名称可以在LM Studio开发者页面右侧的API Usage中看到,复制此处的模型名称即可 (“This model’s API identifier”下方的模型名称)

image.png

最终思源笔记AI配置好的结果如下,注意要选择AI提供商为openai,其他设置无需修改。

image.png

搞定!

接下来就可以在思源笔记中使用AI了,斜杠菜单里面能呼出ai编写模块。

image.png

ai的回答会直接插入到我们输入的问题后方。不过很明显这里通义千问是在瞎说了,思源笔记不是一个便签类应用,也不是阿里云开发的……哈哈哈哈

image.png