1、docker
1.1、Docker简介与安装
1.1.1、docker是什么
Docker 是一个应用打包、分发、部署的工具
你也可以把它理解为一个轻量的虚拟机,它只虚拟你软件需要的运行环境,多余的一点都不要,而普通虚拟机则是一个完整而庞大的系统,包含各种不管你要不要的软件。
1.docker与普通虚拟机对比
特性 | 普通虚拟机 | Docker |
---|---|---|
跨平台 | 通常只能在桌面级系统运行,例如 Windows/Mac,无法在不带图形界面的服务器上运行 | 支持的系统非常多,各类 windows 和 Linux 都支持 |
性能 | 性能损耗大,内存占用高,因为是把整个完整系统都虚拟出来了 | 性能好,只虚拟软件所需运行环境,最大化减少没用的配置 |
自动化 | 需要手动安装所有东西 | 一个命令就可以自动部署好所需环境 |
稳定性 | 稳定性不高,不同系统差异大 | 稳定性好,不同系统都一样部署方式 |
2.打包、分发、部署?
打包:就是把你软件运行所需的依赖、第三方库、软件打包到一起,变成一个安装包
分发:你可以把你打包好的“安装包”上传到一个镜像仓库,其他人可以非常方便的获取和安装
部署:拿着“安装包”就可以一个命令运行起来你的应用,自动模拟出一摸一样的运行环境,不管是在 Windows/Mac/Linux。
3.Docker 部署的优势
常规应用开发部署方式:自己在 Windows 上开发、测试 --> 到 Linux 服务器配置运行环境部署。
问题:我机器上跑都没问题,怎么到服务器就各种问题了
用 Docker 开发部署流程:自己在 Windows 上开发、测试 --> 打包为 Docker 镜像(可以理解为软件安装包) --> 各种服务器上只需要一个命令部署好
4.Docker 通常用来做什么
- 应用分发、部署,方便传播给他人安装。特别是开源软件和提供私有部署的应用
- 快速安装测试/学习软件,用完就丢(类似小程序),不把时间浪费在安装软件上。例如 Redis / MongoDB / ElasticSearch / ELK
- 多个版本软件共存,不污染系统,例如 Python2、Python3,Redis4.0,Redis5.0
- Windows 上体验/学习各种 Linux 系统
5.重要概念:镜像、容器
镜像:可以理解为软件安装包,可以方便的进行传播和安装。
容器:软件安装后的状态,每个软件运行环境都是独立的、隔离的,称之为容器。
1.1.2、Docker安装
桌面版:https://www.docker.com/products/docker-desktop
服务器版:https://docs.docker.com/engine/install/#server
1.报错解决方案
解决方法:
控制面板->程序->启用或关闭 windows 功能,开启 Windows 虚拟化和 Linux 子系统(WSL2)
命令行安装 Linux 子系统(这步可能不需要,因为 docker 安装时有说自动安装 wsl)
wsl --install -d Ubuntu
命令行安装可能太慢,你也可以打开微软商店 Microsoft Store 搜索 Linux 进行安装
设置开机启动 Hypervisor
bcdedit /set hypervisorlaunchtype auto
注意要用管理员权限打开 PowerShell
确保 BIOS 已开启虚拟化,下图检查是否已开启好
如果是已禁用,请在开机时按 F2 进入 BIOS 开启一下,不会设置的可以网上搜索下自己主板的设置方法,Intel 和 AMD 的设置可能稍有不同
出现下图错误,点击链接安装最新版本的 WSL2
https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi
2.镜像加速
Docker官方有很多已经打包好的镜像源,有时我们需要去拉取,但是由于默认镜像源在国外,所以拉取很慢,因此我们可以更换镜像源。
镜像加速器 | 镜像加速器地址 |
---|---|
Docker 中国官方镜像 | https://registry.docker-cn.com |
DaoCloud 镜像站 | http://f1361db2.m.daocloud.io |
Azure 中国镜像 | https://dockerhub.azk8s.cn |
科大镜像站 | https://docker.mirrors.ustc.edu.cn |
阿里云 | https://<your_code>.mirror.aliyuncs.com |
七牛云 | https://reg-mirror.qiniu.com |
网易云 | https://hub-mirror.c.163.com |
腾讯云 | https://mirror.ccs.tencentyun.com |
"registry-mirrors":["https://docker.mirrors.ustc.edu.cn","https://registry.docker-cn.com"],
1.2、Docker快速安装软件
1.2.1、直接安装的缺点
- 安装麻烦,可能有各种依赖,运行报错。例如:WordPress,ElasticSearch,Redis,ELK
- 可能对 Windows 并不友好,运行有各种兼容问题,软件只支持 Linux 上跑
- 不方便安装多版本软件,不能共存。
- 电脑安装了一堆软件,拖慢电脑速度。
- 不同系统和硬件,安装方式不一样
1.2.2、Docker安装优点
- 一个命令就可以安装好,快速方便
- 有大量的镜像,可直接使用
- 没有系统兼容问题,Linux 专享软件也照样跑
- 支持软件多版本共存
- 用完就丢,不拖慢电脑速度
- 不同系统和硬件,只要安装好 Docker 其他都一样了,一个命令搞定所有
1.2.3、Docker安装redis
Redis 官网:https://redis.io/
官网下载安装教程只有源码安装方式,没有 Windows 版本。想要自己安装 windows 版本需要去找别人编译好的安装包。
Docker 官方镜像仓库查找 Redis :https://hub.docker.com/
一个命令跑起来:docker run -d -p 6379:6379 --name redis redis:latest
命令参考:https://docs.docker.com/engine/reference/commandline/run/
docker run
-d //后台执行
-p 6379:6379 //端口映射,前者表示物理机器端口,后者表示docker容器端口
--name MyRedis //指定该容器名称为MyRedis
redis //实例镜像
redis:latest //表示拉取docker容器最新仓库
跑起来之后,我们就可以访问我们映射的端口 6379
访问到redis了。也可以使用Docker界面的cli进行操作。
1.2.4、Docker安装Wordpress
我们在一个目录下编写一个文件,文件名一定为 docker-compose.yml
version: '3.1'
services:
wordpress:
image: wordpress
restart: always
ports:
- 8080:80
environment:
WORDPRESS_DB_HOST: db
WORDPRESS_DB_USER: exampleuser
WORDPRESS_DB_PASSWORD: examplepass
WORDPRESS_DB_NAME: exampledb
volumes:
- wordpress:/var/www/html
db:
image: mysql:5.7
restart: always
environment:
MYSQL_DATABASE: exampledb
MYSQL_USER: exampleuser
MYSQL_PASSWORD: examplepass
MYSQL_RANDOM_ROOT_PASSWORD: '1'
volumes:
- db:/var/lib/mysql
volumes:
wordpress:
db:
在当前目录下打开控制台,windows按住shift+右键,可以使用powerShell。执行 docker-compose up -d
。执行完成之后,我们就可以找到一个名为 wordpress
的docker镜像。
docker-compose.yaml文件的方式打包,可以将复杂的应用打包成为一个镜像,如wordpress,就拥有wordpress和redis两个系统。
docker-compose的方式,后面我们hiu重点提到。
1.2.5、安装ELK
使用命令 : docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk
转到用户目录 cd ~
,路径类似这个:C:\Users\<UserName>
创建 .wslconfig
文件填入以下内容
[wsl2]
memory=10GB # Limits VM memory in WSL 2 to 4 GB
processors=2 # Makes the WSL 2 VM use two virtual processors
生效配置,命令行运行 wsl --shutdown
1.2.6、docker相关命令
docker ps
查看当前运行中的容器
docker images
查看镜像列表
docker rm container-id
删除指定 id 的容器
docker stop/start container-id
停止/启动指定 id 的容器
docker rmi image-id
删除指定 id 的镜像
docker volume ls
查看 volume 列表
docker network ls
查看网络列表
1.3、制作自己的镜像
我们以java的SpringBoot项目为例,打包的前提条件如下:
- 我们有一个使用maven,
mvn package
打包后在target
目录下生成的项目jar包 - 需要安装并使用docker读取DockerFile进行打包
- 编写DockerFile文件
1.3.1、编写DockerFile
编写DockerFile,名字即为 DockerFile
,无需添加后缀。
# 基础镜像,Docker Hub上官方提供的java镜像,版本号是8也就是jdk1.8
FROM openjdk:8-jdk
# 作者,新版本已经移除
MAINTAINER dcy "王富贵@qq.com"
# 和ADD一样,作用都是将文件或目录复制到Dockerfile构建的镜像中。我们的项目名为system-center,因此映射jar包
COPY target/system-center.jar /app.jar
# 用于指定构建镜像时运行的命令
RUN sh -c 'touch /app.jar'
# 对容器与实体机器进行目录映射,VOLUME指向了一个/tmp的目录,由于Spring Boot使用内置的Tomcat容器,Tomcat默认使用/tmp作为工作目录。效果就是在主机的/var/lib/docker目录下创建了一个临时文件,并连接到容器的/tmp。
VOLUME /tmp
# 容器的暴露端口
EXPOSE 13000
# 修改spring环境变量
#ENV JAVA_OPTS="-Dspring.profiles.active=test"
ENV JAVA_OPTS=""
# skywalking 链路追踪地址
ENV BACKEND_SERVICE="oap:11800"
# 应用启动命令 参数设定
ENTRYPOINT [ "sh", "-c", "java -javaagent:/opt/agent/skywalking-agent.jar \
-Dskywalking.agent.service_name=system-center \
-Dskywalking.collector.backend_service=$BACKEND_SERVICE \
$JAVA_OPTS -Djava.security.egd=file:/dev/./urandom -jar /app.jar" ]
实用技巧:
如果你写 Dockerfile 时经常遇到一些运行错误,依赖错误等,你可以直接运行一个依赖的底,然后进入终端进行配置环境,成功后再把做过的步骤命令写道 Dockerfile 文件中,这样编写调试会快很多。
例如上面的底是node:11
,我们可以运行docker run -it -d node:11 bash
,跑起来后进入容器终端配置依赖的软件,然后尝试跑起来自己的软件,最后把所有做过的步骤写入到 Dockerfile 就好了。
掌握好这个技巧,你的 Dockerfile 文件编写起来就非常的得心应手了。
1.3.2、打包镜像
编译 docker build -t test:v1 .
-t
设置镜像名字和版本号
命令参考:https://docs.docker.com/engine/reference/commandline/build/
运行 docker run -p 8080:8080 --name test-mySystem test:v1
-p
映射容器内端口到宿主机
--name
容器名字
-d
后台运行
命令参考文档:https://docs.docker.com/engine/reference/run/
1.4、目录挂载
我们知道Docker实际上类似于轻量级虚拟机,对各个容器之间进行资源的隔离。但我们会发现存在一些问题。
- 使用 Docker 运行后,我们改了项目代码不会立刻生效,需要重新
build
和run
,很是麻烦。 - 容器里面产生的数据,例如 log 文件,数据库备份文件,容器删除后就丢失了。
目录挂载可以解决以上问题。目录挂载之后,容器所执行的文件都会持久化在挂载的目录中,而不至于删除容器之后,容器数据随之被删除
1.4.1、几种挂载方式
bind mount
直接把宿主机目录映射到容器内,适合挂代码目录和配置文件。可挂到多个容器上(推荐使用)volume
交由容器创建和管理,创建在宿主机,所以删除容器不会丢失,官方推荐,更高效,Linux 文件系统,适合存储数据库数据。可挂到多个容器上tmpfs mount
默认的挂载方式,存储在内存当中,随着容器的删除而删除。适合存储临时文件,存宿主机内存中。不可多容器共享。
文档参考:https://docs.docker.com/storage/
1.4.2、挂载演示
1.bind mount
这种挂载方式是直接映射实体机器的磁盘目录的。适合挂载代码目录与配置文件,可以挂载多个容器,是共享的。强烈推荐均使用这种方式
使用这种方式需要我们使用绝对路径绑定。
在 docker run
命令中使用 -v D:/code/app
,样例如下:docker run -p 8080:8080 --name test -v D:/code/app
在 docker-compose
中如下:
volumes:
- ./:/app
两边路径使用
:
隔开,左边代表实体本机路径,右边代表容器镜像路径
2.volume
这种挂载方式依赖于Docker容器本身控制和创建,因此我们使用的时候只需要赋予一个名字即可
在 Docker run
命令中使用 -v db-date:/app
,样例如下:
docker run -p 8080:8080 --name test -v db-date:/app
在 docker-compose
中如下:
volumes:
- db-date:/app
两边路径使用
:
隔开,左边代表docker管理路径名称,右边代表容器镜像路径
3.总结
无论是bind mount(物理磁盘目录映射)还是volume(docker容器管理)都是使用相同的指令完成的,他们使用 :
也就是冒号隔开,左边代表物理机器地址,右边代表容器镜像地址。
-
加入冒号左边是一个地址,那就是bind mount(物理磁盘目录映射)的方式管理
-
假如冒号左边是一个名称,那就是volume(docker容器管理)的方式管理
我们推荐使用bind mount(物理磁盘目录映射)的方式管理,后续我们在了解备份与迁移的过程中,如果交由docker管理最后还是需要创建一个虚拟机采用bind mount(物理磁盘目录映射)的方式迁移出来。
1.5、容器通信
项目往往都不是独立运行的,需要数据库、缓存这些东西配合完成。
那么如果我跑起来的web容器项目现在需要连接redis容器可以吗?
当然可以。实际上Docker底层使用虚拟网卡来控制容器与容器之间的互通。我们也可以理解为模拟路由和机器,可以手动控制连通关系。默认创建的容器会在 docker0
虚拟网络下,因此默认创建的容器实际上是可以联通的。
能干嘛?
- 容器间的互联和通信以及端口映射
- 容器IP变动时候可以通过服务名直接网络通信而不受到影响
1.5.1、创建虚拟网络
要想多容器之间互通,从 Web 容器访问 Redis 容器,我们只需要把他们放到同个网络中就可以了。
文档参考:https://docs.docker.com/engine/reference/commandline/network/
创建一个名为 test-net
的网络:
docker network create test-net
运行 Redis 在 test-net
网络中,别名redis-network
docker run -d --name redis
--network test-net # 指定虚拟网络
--network-alias redis-network # 虚拟网络别名
redis:latest
修改代码中访问redis
的地址为网络别名
const redis = require('redis');
let rds = redis.createClient({url: "redis-network://redis:6379"});
简单来说,上面的 redis-network
表示我建立的虚拟网络名, redis:6379
代表访问名为 redis
这个容器的 6379
端口。
整体url redis-network://redis:6379
表示访问 redis-network
虚拟网络下的 redis
容器的 6379
端口。
我们之所以不写具体的ip而采用名称来代替是因为在虚拟网络下容器的ip可能会发生改变,因此采用名称替代能够屏蔽ip变动的细节
运行 Web 项目,使用同个网络
只要在同一个虚拟网络下,就可以互相访问到了
docker run -p 8080:8080 --name test -v D:/test:/app --network test-net -d test:v1
1.6、docker-compose
docker-compose是一项容器编排工具,在快速安装软件中,我们使用到了Docker-Compose去安装WordPress,原因是因为其需要依赖mysql,因此一个容器需要跑两个应用。在这种情况下,需要使用Docker-Compose构件。
我们在梳理一遍Docker的定义,Docker容器类似于轻量级的虚拟机。因此容器即可以运行单独的应用,我们可以使用 dockerFile
的方式去打包镜像了,依赖虚拟网络通讯,容器与容器之间也可以互相通讯。而 docker-compose
可以让我们将多个镜像打包成为一个容器,我们可以使用docker-compose来编排我们所有的镜像,来控制各个镜像的相关配置。
使用 docker-compose 可以把项目的多个镜像集合到一起,一键运行。流程如下:使用DockerFile打包镜像 -> 使用DockerCompose将多个镜像打包成一个镜像
1.6.1、安装Docker Compose
- 如果你是安装的桌面版 Docker,不需要额外安装,已经包含了。
- 如果是没图形界面的服务器版 Docker,你需要单独安装 安装文档
- 运行
docker-compose
检查是否安装成功
1.6.2、编写脚本
要把项目依赖的多个服务集合到一起,我们需要编写一个docker-compose.yml
文件,描述依赖哪些服务
你需要注意的是,docker-compose有很多版本,并且每个版本内容可能发生一些改变,你需要安装你docker对应的docker-compose工具版本。当然,yaml文件顶部你可以配置docker-compose工具版本,他是向下兼容的
参考文档:https://docs.docker.com/compose/compose-file/compose-file-v3/
我们在一个目录下编写一个文件,文件名一定为 docker-compose.yml
# docker-compose版本
version: "3.7"
# 服务列表
services:
app:
build: ./
ports:
- 80:8080
volumes:
- ./:/app
environment:
- TZ=Asia/Shanghai
redis:
image: redis:5.0.13
volumes:
- redis:/data
environment:
- TZ=Asia/Shanghai
# 服务卷
volumes:
redis:
容器默认时间不是北京时间,增加 TZ=Asia/Shanghai 可以改为北京时间
在docker-compose.yml
文件所在目录,执行:docker-compose up
就可以跑起来了。
命令参考:https://docs.docker.com/compose/compose-file/
1.6.3、其他相关命令
常用命令为执行yaml文件的docker-compose并在后台运行:
docker-compose -f [yaml文件名] up -d
- 在后台运行只需要加一个 -d 参数
docker-compose up -d
- 执行别名的yaml文件
docker-compose -f [yaml文件名] up
- 查看运行状态:
docker-compose ps
- 停止运行:
docker-compose stop
- 重启:
docker-compose restart
- 重启单个服务:
docker-compose restart service-name
- 进入容器命令行:
docker-compose exec service-name sh
- 查看容器运行log:
docker-compose logs [service-name]
1.7、发布和部署
1.7.1、Docker镜像仓库
docker镜像仓库和maven镜像仓库相同,都是用于上传和拉取用的,docker镜像通常是拉取我们打包好的能够运行的镜像,而maven通常是上传源代码,依赖。
与maven相同,docker有官方的仓库,当然你也可以搭建自己的私有镜像库,或者使用国内各种大厂提供的镜像托管服务,例如:阿里云、腾讯云。
1.7.2、上传镜像
我们以官方仓库为例,其他仓库详情看他们的文档即可。
- 首先你要先 注册一个账号
- 创建一个镜像库
- 命令行登录账号:
docker login -u username
- 新建一个tag,名字必须跟你注册账号一样
docker tag test:v1 username/test:v1
- 推上去
docker push username/test:v1
- 部署试下
docker run -dp 8080:8080 username/test:v1
docker-compose 中也可以直接用这个镜像了
version: "3.7"
services:
app:
# build: ./
image: helloguguji/test:v1
ports:
- 80:8080
volumes:
- ./:/app
environment:
- TZ=Asia/Shanghai
redis:
image: redis:5.0.13
volumes:
- redis:/data
environment:
- TZ=Asia/Shanghai
volumes:
redis:
1.7.3、使用阿里云
docker 官方的镜像托管有时候上传和下载都太慢了,如果你想要更快的速度,可以使用阿里云的免费镜像托管
登录 阿里云
1.8、备份与迁移
1.8.1、迁移方式
我们之前讲到了容器中的数据,如果没有用挂载目录,删除容器后就会丢失数据。
因此我们需要使用到挂载目录,将容器与数据的耦合解开。
如果你使用 bind mount
的方式去直接映射到宿主机的目录,那么迁移数据直接复制目录就好了。
如果你使用 volume
方式挂载的,由于数据是由容器创建和管理的,需要用特殊的方法吧数据弄出来。(当然,容器管理只是我们找到不到数据在哪,实际上还是得持久化在宿主机上面的)
1.8.2、Volume迁移
备份:
- 运行一个 ubuntu 的容器,挂载需要备份的 volume 到容器,并且挂载宿主机目录到容器里的备份目录。
- 运行 tar 命令把数据压缩为一个文件
- 把备份文件复制到需要导入的机器
导入:
- 运行 ubuntu(ubuntu) 容器,挂载容器的 volume,并且挂载宿主机备份文件所在目录到容器里
- 运行 tar 命令解压备份文件到指定目录
简单说就是应用一个中间容器(ubuntu),挂载并压缩数据,然后再解压出来即可。
备份 MongoDB 数据演示
- 运行一个 mongodb,创建一个名叫
mongo-data
的 volume 指向容器的 /data 目录
docker run -p 27018:27017 --name mongo -v mongo-data:/data -d mongo:4.4
- 运行一个 Ubuntu 的容器,挂载
mongo
容器的所有 volume,映射宿主机的 backup 目录到容器里面的 /backup 目录,然后运行 tar 命令把数据压缩打包
docker run --rm --volumes-from mongo -v d:/backup:/backup ubuntu tar cvf /backup/backup.tar /data/
最后你就可以拿着这个 backup.tar 文件去其他地方导入了。
恢复 Volume 数据演示
- 运行一个 ubuntu 容器,挂载 mongo 容器的所有 volumes,然后读取 /backup 目录中的备份文件,解压到 /data/ 目录
docker run --rm --volumes-from mongo -v d:/backup:/backup ubuntu bash -c "cd /data/ && tar xvf /backup/backup.tar --strip 1"
注意,volumes-from 指定的是容器名字
strip 1 表示解压时去掉前面1层目录,因为压缩时包含了绝对路径
1.9、常用命令总结与注意事项
常用命令:
# 拉取镜像
docker pull [镜像名/镜像名称:版本号]
# 查看镜像列表
docker images
# 删除镜像
docker rmi [镜像名/镜像id]
# 启动容器
docker start [容器名/容器id]
# 关闭容器
docker stop [容器名/容器id]
# 重启容器
docker restart [容器名/容器id]
# 查看启动的容器
docker ps
# 查看所有的容器(-a == -all)
docker ps -a
# 进入容器
docker exec -it [容器名] /bin/bash
例:
docker exec -it mysql /bin/bash
# 删除容器
docker rm [容器名/容器id]
# 查看容器日志
docker logs [容器名/容器id]
# 查看容器前五百条日志
docker logs --tail=500 [容器名/容器id]
# 查看持续输出的前200条日志
docker logs --tail=200 -f halo
# 执行docker-compose -d代表后台长期运行 -f表示指定文件名(不是docker-compose.yaml的时候用)
docker-compose up
docker-compose up -d
docker-compose -f wfg_docker-compose.yaml up -d
注意:
- 在挂载的时候,dockerfile的
copy
能够复制目录下的所有内容,但docker run中的-v
不能复制子目录下的子目录 - dockerfile无法读取绝对路径,无法读取当前路径以外的路径
评论区