Serge Alpaca模型聊天界面
Serge 是基于 llama.cpp 的聊天界面,用于运行羊驼模型。完全自托管,不需要 API 密钥。适合 4GB RAM 并在 CPU 上运行。
SvelteKit 前端
用于存储聊天记录和参数的 Redis
API 的 FastAPI + langchain,使用 python 绑定包装对 llama.cpp 的调用
使用
设置 Serge 非常简单,可以在一个命令中完成启动:
docker run -d \ -v weights:/usr/src/app/weights -v datadb:/data/db/ \ -p 8008:8008 ghcr.io/nsarrazin/serge:latest
然后只需转到 http://localhost:8008/ 就可以了!
API 文档可以在 http://localhost:8008/api/docs 找到
关注公众号:拾黑(shiheibook)了解更多
友情链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站:https://www.yaorank.com/
关注网络尖刀微信公众号
随时掌握互联网精彩
随时掌握互联网精彩
- 隐藏文字图 v1.0最新版本2022下载地址
- 英汉词典王 1.1最新版本2022下载地址
- 曲婉婷名下2套房产被法拍
- 5G城市iOS版 v1.1.0最新版本2022下载地址
- 鲁诺链车 v2.0.1最新版本2022下载地址
- 滴滴小巴司机端app v3.2.0最新版本2022下载地址
- “玉女掌门人”王秀琳近况曝光,曾传恋2天王卷入非礼案
- 五笔反查工具 1.2.0.0最新版本2022下载地址
- Sothink Web Video Downloader Stand-alone 2.0.0.1最新版本2022下载地址
- 笛笛阅读 v2.2.9最新版本2022下载地址
- 爱信app v1.1.4.9最新版本2022下载地址
- 优惠省钱王 v1.0.1最新版本2022下载地址
赞助链接