搭配大模型docker+ollama+langchain主要应用的工具
1、anaconda3环境安装
anaconda3导出环境

#导出环境
conda env export --name your_env_name > custom_environment.yaml
#导入环境
conda env create -f environment.yaml

2、前置的docker软件安装、docker镜像如何进行转移

sudo apt-get update
#时期能访问华纳云
sudo apt install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
# 确认docker未被修改
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo apt-get update
sudo apt install docker-ce
在测试或开发环境中 Docker 官方为了简化安装流程，提供了一套便捷的安装脚本，Ubuntu 系统上可以使用这套脚本安装，另外可以通过 --mirror 选项使用国内源进行安装：
curl -fsSL get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun

添加用户

#将当前用户加入用户组
sudo gpasswd -a $USER docker
修改并保存完成后，重新加载守护并重启socket即可

sudo systemctl daemon-reload
sudo systemctl restart docker.socket

安装ollama命令
此为cpu版本
docker run -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
gpu版本
docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

#docker装pgvector
docker run --name pgvector --restart=always -e POSTGRES_USER=pgvector -e POSTGRES_PASSWORD=pgvector -v /srv/tlw/pgvectordata:/var/lib/postgresql/data -p 54333:5432 -d pgvector/pgvector:pg16
#docker装openwebui
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

#docker装openwebui与ollama捆绑的
gpu版本
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama 

#以export import方式
docker export 容器名字 > container.tar
cat container.tar | docker import - <新容器名称>

#save load方式
docker save -o my-open-webui-image.tar my-open-webui-image
docker load -i my-open-webui-image.tar
这会将my-open-webui-image.tar文件中的镜像加载到Docker中，之后你就可以像使用任何其他本地镜像一样使用它了
docker run -it -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v /path/on/target/machine/open-webui:/app/backend/data \
  --name new_open_webui \
  my-open-webui-image
  
 请确保替换/path/on/target/machine/open-webui为目标电脑上的实际路径。

通过以上步骤，你就能成功地将一个Docker容器转换为镜像，并将其转移到另一台电脑上使用了

3、gpu环境配置
删除已安装的cuda环境
sudo apt-get --purge remove nvidia*
sudo apt autoremove
To remove CUDA Toolkit:

$ sudo apt-get --purge remove "*cublas*" "cuda*"

$ sudo apt-get --purge remove "*nvidia*"

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
这些命令有的需要关机之后才生效！！！
sudo apt-get update  # 更新源
sudo apt-get install -y nvidia-container-toolkit 这个工具也是需要安装的
此为gpu安装工具包
sudo apt-get install dkms
安装nvidia-smi
ubuntu-drivers devices # 查看推荐安装的driver
sudo apt install nvidia-driver-545-open # 进行安装之后需要重启计算机
输入nvidia-smi命令查看可安装版本
安装对应的版本
sudo dkms install -m nvidia -v 450.57

4、pycharm配置
5、langchain环境搭配
langchain使用的技术有Agent、memory、分词器、pgvector
直接pip安装，后面缺什么按需要装什么就行了