技术标签: 向量数据库 chatglm3 人工智能 大模型 开源 chatgpt milvus docker
https://www.bilibili.com/video/BV1N94y1n7UF/
【大模型知识库】(1):设计开源项目,docker部署mysql,seilisearch,milvus,fastchat的ChatGLM3,BGE-zh模型
项目名称 llm-knowledge-system
大模型知识库系统
项目代码在,逐步开发设计中。
https://gitee.com/fly-llm/llm-knowledge-system
开发语言使用golang进行开发。
框架使用goframe。主要是考虑到高并发,和快速部署。
官方:https://goframe.org/display/gf
代码:
https://gitee.com/johng/gf
GoFrame是一款模块化、高性能、企业级的Go基础开发框架。GoFrame是一款通用性的基础开发框架,是Golang标准库的一个增强扩展级,包含通用核心的基础开发组件,优点是实战化、模块化、文档全面、模块丰富、易用性高、通用性强、面向团队。GoFrame即可用于开发完整的工程化项目,由于框架基础采用模块化解耦设计,因此也可以作为工具库使用。
如果您想使用Golang开发一个业务型项目,无论是小型还是中大型项目,GoFrame是您的不二之选。如果您想开发一个Golang组件库,GoFrame提供开箱即用、丰富强大的基础组件库也能助您的工作事半功倍。如果您是团队Leader,GoFrame丰富的资料文档、详尽的代码注释、活跃的社区成员将会极大降低您的指导成本,支持团队快速接入、语言转型与能力提升。
MeiliSearch
基于 Rust 语言开发的开源搜索引擎
一款开源向量数据库,赋能 AI 应用和向量相似度搜索。
Field:类似表字段,可以是结构化数据,当然还可以是向量;
Entity:一组Field,类似表的一条数据;
Collection:一组Entity,类似于表;
Milvus不单单是向量检索工具,而是向量数据库,能对不同业务的向量隔离,分开存储;
提供可视化管理工具;
支持带过滤条件的向量混合检索。
https://zhuanlan.zhihu.com/p/405186060#%E5%89%8D%E8%A8%80%E6%8F%90%E7%A4%BA
之前的项目已经调研清楚了:
【ChatGLM3】(5):使用 fastchat 部署ChatGLM3服务,启动8bit的worker,可以运行openai_api服务和web界面方便进行测试。还支持embeddings 接口!
https://blog.csdn.net/freewebsys/article/details/134484318?spm=1001.2014.3001.5501
fastchat其实可以分开部署,分为 CPU 版本和 GPU 版本。这样在生产环境更灵活。
其中workder可以支持多机器部署:
# 构建 cpu 版本
FROM python:slim-bullseye
# 设置python3的镜像源
RUN mkdir /root/.pip/ && echo "[global]" > /root/.pip/pip.conf && \
echo "index-url = https://mirrors.aliyun.com/pypi/simple/" >> /root/.pip/pip.conf && \
echo "[install]" >> /root/.pip/pip.conf && \
echo "trusted-host=mirrors.aliyun.com" >> /root/.pip/pip.conf
# 先安装
RUN pip3 install "fschat[controller]"
GPU的镜像主要跑模型:
## 参考文章:https://blog.csdn.net/freewebsys/article/details/134567530
FROM pytorch/pytorch:2.1.0-cuda12.1-cudnn8-devel
# 设置debian的镜像源 && # 设置python3的镜像源
RUN echo "deb https://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse" > /etc/apt/sources.list && \
echo "deb https://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiverse" >> /etc/apt/sources.list && \
echo "deb https://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse" >> /etc/apt/sources.list && \
echo "deb https://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiverse" >> /etc/apt/sources.list && \
pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple && \
pip3 config set install.trusted-host mirrors.aliyun.com
# 先安装 xformers 再安装 fastchat, 就不会安装 pytroch 了,会使用 xformers 依赖的版本了。
# apt update && apt install -y net-tools vim
RUN pip3 install transformers accelerate sentencepiece \
&& pip3 install "fschat[model_worker,webui]"
整个的docker-compose文件:
包括:
mysql,seilisearch,milvus,fastchat的ChatGLM3,BGE-zh
version: '3.5'
services:
################## mysql 数据库 5.7 版本 ##################
mysql:
restart: always
image: mysql:5.7
container_name: mysql
ports:
- "3306:3306"
volumes:
- "./data/mysql:/var/lib/mysql"
# - "./conf/mysql/mysql.cnf:/etc/mysql/conf.d/mysql.cnf"
environment:
MYSQL_ROOT_PASSWORD: mysqladmin
MYSQL_DATABASE: llm_knowledge
TZ: Asia/Shanghai
command: [
'--character-set-server=utf8mb4',
'--collation-server=utf8mb4_general_ci',
'--max_connections=3000'
]
################## meilisearch 1.5 搜索服务 ##################
meilisearch:
restart: always
image: getmeili/meilisearch:v1.5
container_name: meilisearch
ports:
- "7700:7700"
volumes:
- "./data/meilisearch:/meili_data"
environment:
MEILI_ENV: production
MEILI_MASTER_KEY: admin_1234567890
##################### 向量数据库配置 #####################
etcd:
restart: always
container_name: milvus-etcd
image: quay.io/coreos/etcd:v3.5.5
environment:
- ETCD_AUTO_COMPACTION_MODE=revision
- ETCD_AUTO_COMPACTION_RETENTION=1000
- ETCD_QUOTA_BACKEND_BYTES=4294967296
- ETCD_SNAPSHOT_COUNT=50000
volumes:
- ./data/milvus/etcd:/etcd
command: etcd -advertise-client-urls=http://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd
healthcheck:
test: ["CMD", "etcdctl", "endpoint", "health"]
interval: 30s
timeout: 20s
retries: 3
minio:
restart: always
container_name: milvus-minio
image: minio/minio:RELEASE.2023-03-20T20-16-18Z
environment:
MINIO_ACCESS_KEY: minioadmin
MINIO_SECRET_KEY: minioadmin
ports:
- "9001:9001"
- "9000:9000"
volumes:
- ./data/milvus/minio:/minio_data
command: minio server /minio_data --console-address ":9001"
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
interval: 30s
timeout: 20s
retries: 3
milvus-standalone:
restart: always
container_name: milvus-standalone
image: milvusdb/milvus:v2.3.3
command: ["milvus", "run", "standalone"]
security_opt:
- seccomp:unconfined
environment:
ETCD_ENDPOINTS: etcd:2379
MINIO_ADDRESS: minio:9000
volumes:
- ./data/milvus/milvus:/var/lib/milvus
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost:9091/healthz"]
interval: 30s
start_period: 90s
timeout: 20s
retries: 3
ports:
- "19530:19530"
- "9091:9091"
depends_on:
- "etcd"
- "minio"
##################### 使用fastchat部署大模型 #####################
fastchat-controller:
restart: always
container_name: fastchat-controller
image: fastchat-cpu:v1.0
build:
context: .
dockerfile: docker/fastchat/DockerfileCpu
# 获取当前ip地址
command: python3 -m fastchat.serve.controller --host 0.0.0.0 --port 21001
fastchat-api:
restart: always
container_name: fastchat-api
image: fastchat-cpu:v1.0
build:
context: .
dockerfile: docker/fastchat/DockerfileCpu
# 获取当前ip地址 执行模型。
ports:
- "8000:8000"
command:
bash -c "python3 -m fastchat.serve.openai_api_server --controller-address http://fastchat-controller:21001 \
--host 0.0.0.0 --port 8000 "
depends_on:
- "fastchat-controller"
fastchat-worker-chatglm3:
restart: always
container_name: fastchat-worker-chatglm3
image: fastchat-gpu:v1.0
volumes:
- ./models/chatglm3-6b:/data/models/chatglm3-6b
build:
context: .
dockerfile: docker/fastchat/DockerfileGpu
# 是以 GPU 资源。
deploy:
resources:
reservations:
devices:
- driver: "nvidia"
count: "all"
capabilities: ["gpu"]
# 获取当前ip地址 执行模型。
command:
bash -c "python3 -m fastchat.serve.model_worker --load-8bit --model-names chatglm3-6b \
--model-path /data/models/chatglm3-6b --controller-address http://fastchat-controller:21001 \
--worker-address http://fastchat-worker-chatglm3:8001 --host 0.0.0.0 --port 8001 "
depends_on:
- "fastchat-controller"
fastchat-worker-bge-large-zh:
restart: always
container_name: fastchat-worker-bge-large-zh
image: fastchat-gpu:v1.0
volumes:
- ./models/bge-large-zh:/data/models/bge-large-zh
build:
context: .
dockerfile: docker/fastchat/DockerfileGpu
# 是以 GPU 资源。
deploy:
resources:
reservations:
devices:
- driver: "nvidia"
count: "all"
capabilities: ["gpu"]
# 获取当前ip地址 执行模型。
command:
bash -c "python3 -m fastchat.serve.model_worker --model-names bge-large-zh \
--model-path /data/models/bge-large-zh --controller-address http://fastchat-controller:21001 \
--worker-address http://fastchat-worker-bge-large-zh:8001 --host 0.0.0.0 --port 8001 "
depends_on:
- "fastchat-controller"
networks:
default:
name: knowledge-network
启动成之后,测试接口:
curl http://localhost:8000/v1/embeddings \
-H "Content-Type: application/json" \
-d '{
"input": "Your text string goes here",
"model": "bge-large-zh"
}'
curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
"model": "chatglm3-6b",
"messages": [{"role": "user", "content": "你好"}],
"temperature": 0.7
}'
整个的docker-compose文件:
项目 | 介绍 | 端口 |
---|---|---|
mysql | 数据库 | 3306 |
meilisearch | 搜索库 | 7700 |
milvus | 向量数据库 | 19530 |
fastchat | 模型框架,部署chatglm3,BGE-zh | 8000 |
使用goframe可以快速创建项目。
然后就可以进行开发了。
在项目的docker-compose 目录下可以直接将各种中间件服务都启动。
配置都在各自中间件的目录下面。
中间件都可以启动成功了。主要是fastchat复杂点。
文章浏览阅读1.6k次。安装配置gi、安装数据库软件、dbca建库见下:http://blog.csdn.net/kadwf123/article/details/784299611、检查集群节点及状态:[root@rac2 ~]# olsnodes -srac1 Activerac2 Activerac3 Activerac4 Active[root@rac2 ~]_12c查看crs状态
文章浏览阅读1.3w次,点赞45次,收藏99次。我个人用的是anaconda3的一个python集成环境,自带jupyter notebook,但在我打开jupyter notebook界面后,却找不到对应的虚拟环境,原来是jupyter notebook只是通用于下载anaconda时自带的环境,其他环境要想使用必须手动下载一些库:1.首先进入到自己创建的虚拟环境(pytorch是虚拟环境的名字)activate pytorch2.在该环境下下载这个库conda install ipykernelconda install nb__jupyter没有pytorch环境
文章浏览阅读5.2k次,点赞19次,收藏28次。选择scoop纯属意外,也是无奈,因为电脑用户被锁了管理员权限,所有exe安装程序都无法安装,只可以用绿色软件,最后被我发现scoop,省去了到处下载XXX绿色版的烦恼,当然scoop里需要管理员权限的软件也跟我无缘了(譬如everything)。推荐添加dorado这个bucket镜像,里面很多中文软件,但是部分国外的软件下载地址在github,可能无法下载。以上两个是官方bucket的国内镜像,所有软件建议优先从这里下载。上面可以看到很多bucket以及软件数。如果官网登陆不了可以试一下以下方式。_scoop-cn
文章浏览阅读4.5k次,点赞2次,收藏3次。首先要有一个color-picker组件 <el-color-picker v-model="headcolor"></el-color-picker>在data里面data() { return {headcolor: ’ #278add ’ //这里可以选择一个默认的颜色} }然后在你想要改变颜色的地方用v-bind绑定就好了,例如:这里的:sty..._vue el-color-picker
文章浏览阅读640次。基于芯片日益增长的问题,所以内核开发者们引入了新的方法,就是在内核中只保留函数,而数据则不包含,由用户(应用程序员)自己把数据按照规定的格式编写,并放在约定的地方,为了不占用过多的内存,还要求数据以根精简的方式编写。boot启动时,传参给内核,告诉内核设备树文件和kernel的位置,内核启动时根据地址去找到设备树文件,再利用专用的编译器去反编译dtb文件,将dtb还原成数据结构,以供驱动的函数去调用。firmware是三星的一个固件的设备信息,因为找不到固件,所以内核启动不成功。_exynos 4412 刷机
文章浏览阅读2w次,点赞24次,收藏42次。Linux系统配置jdkLinux学习教程,Linux入门教程(超详细)_linux配置jdk
文章浏览阅读3.3k次,点赞5次,收藏19次。xlabel('\delta');ylabel('AUC');具体符号的对照表参照下图:_matlab微米怎么输入
文章浏览阅读119次。顺序读写指的是按照文件中数据的顺序进行读取或写入。对于文本文件,可以使用fgets、fputs、fscanf、fprintf等函数进行顺序读写。在C语言中,对文件的操作通常涉及文件的打开、读写以及关闭。文件的打开使用fopen函数,而关闭则使用fclose函数。在C语言中,可以使用fread和fwrite函数进行二进制读写。 Biaoge 于2024-03-09 23:51发布 阅读量:7 ️文章类型:【 C语言程序设计 】在C语言中,用于打开文件的函数是____,用于关闭文件的函数是____。
文章浏览阅读3.4k次,点赞2次,收藏13次。跟随鼠标移动的粒子以grid(SOP)为partical(SOP)的资源模板,调整后连接【Geo组合+point spirit(MAT)】,在连接【feedback组合】适当调整。影响粒子动态的节点【metaball(SOP)+force(SOP)】添加mouse in(CHOP)鼠标位置到metaball的坐标,实现鼠标影响。..._touchdesigner怎么让一个模型跟着鼠标移动
文章浏览阅读178次。项目运行环境配置:Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。项目技术:Springboot + mybatis + Maven +mysql5.7或8.0+html+css+js等等组成,B/S模式 + Maven管理等等。环境需要1.运行环境:最好是java jdk 1.8,我们在这个平台上运行的。其他版本理论上也可以。_基于java技术的停车场管理系统实现与设计
文章浏览阅读3.5k次。前言对于MediaPlayer播放器的源码分析内容相对来说比较多,会从Java-&amp;gt;Jni-&amp;gt;C/C++慢慢分析,后面会慢慢更新。另外,博客只作为自己学习记录的一种方式,对于其他的不过多的评论。MediaPlayerDemopublic class MainActivity extends AppCompatActivity implements SurfaceHolder.Cal..._android多媒体播放源码分析 时序图
文章浏览阅读2.4k次,点赞41次,收藏13次。java 数据结构与算法 ——快速排序法_快速排序法