BBMarkets简讯通

镜像压缩的3种方法和日常实践的多个技巧

是一个用于开发,交付和运行软件程序的开发平台 。 它能够将软件程序和根本架构分开,保证开发,测试, 安排的蓝莓外汇交易平台生态完全一致,从而达到快速交付的目的。 但是在实际项目中,会对项目中的模块或者服务进行细分  , 引发安排的镜像过多(50+ 个),过大(打包压缩后的镜像达 50G+),这给安排带来了不小的隐患  ,特别是蓝莓市场外汇是不是正规的私有化安排(通过移动介质拷贝镜像进行安排)。本文从多篇镜像瘦身的素材入手,并进行实践验证 ,结合官方的最佳实践 总结了镜像压缩的3种方法和日常实践的多个技巧。

镜像构建构建方法

镜像压缩的3种方法和日常实践的多个技巧

镜像构建的方法有两种 ,一种是通过 build 落实 里的指令来构建镜像 ,另一种是通过 将存在的容器打包成镜像 。 通常我们都是利用第一种方法来构建容器,二者的区别就像批应对和单步落实一样 。

体积解读

镜像是由很多镜像层()组成的(最多127层) , 中的每条指定都会创建镜像层,IC外汇平台不过只有 RUN, COPY, ADD 会使镜像的体积提升。这个可以通过命令 来查看每一层的大小。 这里我们以官方的 :3.12 为例看看它的镜像层现状 。

FROM scratchADD alpine-minirootfs-3.12.0-x86_64.tar.gz /CMD ["/bin/sh"]

对比 和镜像历史层数发现 ADD 命令层占据了 5.57M 大小 ,而 CMD 命令层并不占空间。

镜像的层就像 Git 的每一次提交 , 用于保存镜像的上一个平台和当前平台之间的差异。所以当我们利用 pull 命令从公有或私有的 Hub 上拉取镜像时 ,它只会获取我们尚未拥有的层。 这是一种非常高效的共享镜像的方法 ,但是有时会被错误利用 ,比如反复提交 。

从上图看出,根本镜像 :3.12 占据了 5.57M 大小,.tar.gz 资料占据了 4.52M。 但是命令 RUN rm -f ./.tar.gz 并没有降低镜像大小, 镜像大小由一个根本镜像和两次 ADD 资料构成 。

瘦身方法

了解了镜像构建中体积增大的原因,那么就可以对症下药 :精简层数或精简每一层大小 。 * 精简层数的方法有如下几种: 1. 2.

镜像瘦身

关于镜像瘦身这块的实际流程以打包 redis 镜像为例 ,在打包之前我们先拉取官方 redis 的镜像, 发现标签为6的镜像大小为 104M, 标签为 6- 的镜像大小为 31.5M。打包的流程如下: 1. 选择根本镜像,替换软件源,安装打包软件 2. 获取源码并进行打包安装 3. 清理不需要的XM外汇平台安装资料 按照上述的流程  ,我们编写如下的,该镜像利用命令 build --no-cache -t /redis: -f . 打包后镜像大小为 441M  。

FROM ubuntu:focalENV REDIS_VERSION=6.0.5ENV REDIS_URL=http://download.redis.io/releases/redis-$REDIS_VERSION.tar.gz# update source and install toolsRUN sed -i "s/archive.ubuntu.com/mirrors.aliyun.com/g; s/security.ubuntu.com/mirrors.aliyun.com/g" /etc/apt/sources.list RUN apt update RUN apt install -y curl make gcc# download source code and install redisRUN curl -L $REDIS_URL | tar xzvWORKDIR redis-$REDIS_VERSIONRUN makeRUN make install# clean upRUN rm  -rf /var/lib/apt/lists/* CMD ["redis-server"]

RUN指令合并

指令合并是最简单也是最方便的降低镜像层数的方法 。该流程节省空间的原理是在同一层中清理“缓存”和软件软件。 还是打包 redis 的需要 ,指令合并的如下,打包后的镜像大小为 292M 。

FROM ubuntu:focalENV REDIS_VERSION=6.0.5ENV REDIS_URL=http://download.redis.io/releases/redis-$REDIS_VERSION.tar.gz# update source and install toolsRUN sed -i "s/archive.ubuntu.com/mirrors.aliyun.com/g; s/security.ubuntu.com/mirrors.aliyun.com/g" /etc/apt/sources.list &&\    apt update &&\    apt install -y curl make gcc &&\# download source code and install redis    curl -L $REDIS_URL | tar xzv &&\    cd redis-$REDIS_VERSION &&\    make &&\    make install &&\# clean up    apt remove -y --auto-remove curl make gcc &&\    apt clean &&\    rm  -rf /var/lib/apt/lists/* CMD ["redis-server"]

利用 解读 /redis: 和 /redis: 镜像,得到如下现状:

解读上图发现,镜像 /redis: 中清理数据的几层并没有降低镜像的大小 ,这就是上面说的共享镜像层带来的难题。所以指令合并的方法是通过在同一层中将缓存和不用的软件软件清理掉 ,以达到减小镜像体积的目的 。

多阶段构建

多阶段构建方法是官方打包镜像的最佳实践 ,它是将精简层数做到极致的方法 。通俗点讲它是将打包镜像分成两个阶段 ,一个阶段用于开发  ,打包,该阶段涵盖构建软件程序所需的所有素材;一个用于生产运行,该阶段只涵盖你的软件程序以及运行它所需的素材 。这被称为“建造者模式”。两个阶段的关系有点像JDK和JRE的关系 。 利用多阶段构建肯定会降低镜像大小 ,但是瘦身的粒度和编程语言有关系,对编译型语言效果对比好 ,因为它去掉了编译生态中多余的依赖,直接利用编译后的二进制资料或jar包。而对于说明型语言效果就不那么明显了 。

依然还是上面打包 redis 镜像的需求,利用多阶段构建的  ,打包后的进行大小为135M  。

FROM ubuntu:focal AS buildENV REDIS_VERSION=6.0.5ENV REDIS_URL=http://download.redis.io/releases/redis-$REDIS_VERSION.tar.gz# update source and install toolsRUN sed -i "s/archive.ubuntu.com/mirrors.aliyun.com/g; s/security.ubuntu.com/mirrors.aliyun.com/g" /etc/apt/sources.list &&\    apt update &&\    apt install -y curl make gcc &&\# download source code and install redis    curl -L $REDIS_URL | tar xzv &&\    cd redis-$REDIS_VERSION &&\    make &&\    make install FROM ubuntu:focal# copy ENV REDIS_VERSION=6.0.5COPY --from=build /usr/local/bin/redis* /usr/local/bin/CMD ["redis-server"]

相比 /redis: 改动有以下三点: 1. 第一行多了As build, 为后面的COPY做准备 2. 第一阶段中没有了清理流程  ,因为第一阶段构建的镜像只有编译的方向资料(二进制资料或jar包)有用  ,其它的都无用 3. 第二阶段直接从第一阶段拷贝方向资料

同样的 ,利用 查看镜像体积现状:

对比我们利用多阶段构建的镜像和官方供给 redis:6(无法和 redis:6- 相比 ,因为 redis:6 和 :focal 都是基于 的镜像),发现二者有 30M 的空间  。研究 redis:6 的 发现如下"骚流程":

serverMd5="$(md5sum /usr/local/bin/redis-server |cut -d' '-f1)";exportserverMd5;\find /usr/local/bin/redis* -maxdepth 0\-type f -not -name redis-server \-exec sh -eux -c ' \md5="$(md5sum "$1" | cut -d" " -f1)"; \test "$md5" = "$serverMd5"; \'-- '{}'';'\-exec ln -svfT 'redis-server''{}'';'\

编译 redis 的源码发现二进制资料 redis- 和 redis-check-aof(aof持久化), redis-check-rdb(rdb持久化), redis-(redis哨兵)是相同的资料 ,大小为 11M 。官方镜像通过上面的脚本将后三个通过 ln 来生成。

利用合适的根本镜像

根本镜像 ,精选利用 。 是一个高度精简又涵盖了基本软件的轻量级 Linux 发行版  ,根本镜像只有 4.41M,各开发语言和框架都有基于 制作的根本镜像 ,强烈精选利用它。进阶可以尝试利用和镜像进行根本镜像的构建 。 从官方镜像 redis:6(104M) 和 redis:6-(31.5M) 就可以看出 的镜像只有基于镜像的 1/3。

利用 镜像有个注意点 ,就是它是基于 muslc的(glibc的替代标准库) ,这两个库实现了相同的内核接口。 其中 glibc 更常见 ,速度更快,而 利用较少的空间 ,侧重于保养性。 在编译软件程序时,大部分都是针对特定的 libc 进行编译的。如果我们要将它们与另一个 libc 一起利用,则必须再次编译它们。换句话说 ,基于 根本镜像构建容器可能会引发非预期的行为 ,因为标准 C 库是不一样的。 不过 ,这种现状对比难碰到,及时碰到也有。

删除RUN的缓存资料

linux中大部分包运维软件都需要替换源 ,该流程会带来一些缓存资料 ,这里记录了常用的清理方法。

# 换国内源
	,并替换     sed -i “s/deb.debian.org/mirrors.aliyun.com/g” /etc/apt/sources.list && apt update     # --no-install-recommends 很有用     apt install -y --no-install-recommends a b c && rm -rf /var/lib/apt/lists/*

# 换国内源,并替换     sed -i 's/dl-cdn.alpinelinux.org/mirrors.tuna.tsinghua.edu.cn/g' /etc/apk/repositories     # --no-cache 表示不缓存     apk add --no-cache a b c && rm -rf /var/cache/apk/*

# 换国内源并替换curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo && yum makecacheyum install -y a b c  && yum clean al

实践最佳实践点多阶段构建样例

FROM golang:1.11-alpine AS build# 安装项目所需软件# Run `docker build --no-cache .` to update dependenciesRUN apk add --no-cache gitRUN go get github.com/golang/dep/cmd/dep# 安装项目的依赖库(GO利用 Gopkg.toml and Gopkg.lock)# These layers are only re-built when Gopkg files are updatedCOPY Gopkg.lock Gopkg.toml /go/src/project/WORKDIR /go/src/project/# Install library dependenciesRUN dep ensure -vendor-only# 拷贝项目并进行构建# This layer is rebuilt when a file changes in the project directoryCOPY . /go/src/project/RUN go build -o /bin/project# 精简的生成生态FROM scratchCOPY --from=build /bin/project /bin/projectENTRYPOINT ["/bin/project"]CMD ["--help"]

常见难题根本镜像利用 处理glic难题

ENV ALPINE_GLIBC_VERSION="2.31-r0"ENV LANG=C.UTF-8 RUN set-x \ &&sed -i 's/dl-cdn.alpinelinux.org/mirrors.tuna.tsinghua.edu.cn/g'/etc/apk/repositories \ &&apk add --no-cache wget \&&wget -q -O /etc/apk/keys/sgerrand.rsa.pub https://alpine-pkgs.sgerrand.com/sgerrand.rsa.pub \&&wget -O https://github.com/sgerrand/alpine-pkg-glibc/releases/download/$ALPINE_GLIBC_VERSION/glibc-$ALPINE_GLIBC_VERSION.apk \&&wget -O https://github.com/sgerrand/alpine-pkg-glibc/releases/download/$ALPINE_GLIBC_VERSION/glibc-$ALPINE_GLIBC_VERSION.apk \&&wget -O https://github.com/sgerrand/alpine-pkg-glibc/releases/download/$ALPINE_GLIBC_VERSION/glibc-bin-$ALPINE_GLIBC_VERSION.apk \&&wget -O https://github.com/sgerrand/alpine-pkg-glibc/releases/download/$ALPINE_GLIBC_VERSION/glibc-i18n-$ALPINE_GLIBC_VERSION.apk \&&apk add --no-cache glibc-$ALPINE_GLIBC_VERSION.apk  \glibc-bin-$ALPINE_GLIBC_VERSION.apk \ glibc-i18n-$ALPINE_GLIBC_VERSION.apk \&&/usr/glibc-compat/bin/localedef --force --inputfile POSIX --charmap UTF-8 "$LANG"||true\&&echo"export LANG=$LANG">/etc/profile.d/locale.sh \&&apk del glibc-i18n \&&rm glibc-$ALPINE_GLIBC_VERSION.apk glibc-bin-$ALPINE_GLIBC_VERSION.apk glibc-i18n-$ALPINE_GLIBC_VERSION.apk 

参考文献最佳实践多阶段构建三个技巧 ,将 镜像体积减小 90%精简镜像的五种通用方法优化最佳实践.12镜像

  • 上一篇:2025年数字财政推动专项资金项目开展申报
  • 下一篇:
  • Copyright © 2024 Powered by 镜像压缩的3种方法和日常实践的多个技巧, BBMarkets简讯通sitemap 0.1413s , 2952.359375 kb