应当试着喝一些热汤，对它，你不可狼吞虎咽。

3、配置是这样的：# STAGE 1FROM node:12-alpine AS buildWORKDIR /appCOPY package.json ./RUN yarn installCOPY . /appRUN yarn build# STAGE 2FROM node:12-alpineWORKDIR /appRUN npm install -g webserver.localCOPY --from=build /app/build ./buildEXPOSE 3000CMD webserver.local -d ./build复制4、在第一阶段，安装依赖项并构建我们的项目5、在第二阶段，我们复制上一阶段构建产物目录，并使用它来运行应用程序。docker run --rm -it -p 3000:80/tcp docker-image-test:latest复制9、注意，我们将容器的80端口暴露给外部，因为默认情况下，Nginx将在容器内部的80端口上可用。

我们将以为例，但它适用于任何类型的应用程序。（我们不会在这里讨论命令的细节）3、现在可以通过终端为容器构建镜像docker build -t docker-image-test .复制4、构建镜像完成之后，你可以使用此命令查看已经构建的镜像：docker images复制在查询结果列表的顶部，是我们新创建的图像，在最右边，我们可以看到图像的大小。3、我们最终的配置文件看起来像这样# STAGE 1FROM node:12-alpine AS buildWORKDIR /appCOPY package.json ./RUN yarn installCOPY . /appRUN yarn build# STAGE 2FROM nginx:stable-alpineCOPY --from=build /app/build /usr/share/nginx/htmlEXPOSE 80CMD [nginx, -g, daemon off;]复制4、我们正在改变配置的第二阶段，以使用Nginx来服务我们的应用程序。2、但这大可不必，因为从发布和运行来看我们只需要构建好的运行目录即可。我们在生产实践中都会做瘦身的操作，尽最大的可能使用Size小的镜像完成功能。

2、我们尝试使用Nginx这类更高效、更轻量级的服务器来运行资源应用程序，也可以尽可能提高其性能，并且减少镜像的量。6、这样我们在最终的镜像中就不会有不必要的依赖和代码。另外，进入健身房之后要积极的去锻炼，不能去了几天就坚持不下来放弃，这是最不明智的。

用白开水代替功能饮料。三、快步走 缓慢走路是无法达到减肥效果的，健身教练建议，在跑步机上进行快走练习，是非常适合女生的减肥方式一、动感单车 专业的健身教练告诉完美，一般建议新会员在体能训练半个月至一个月时，身体机能提升之后再进行这个项目的训练，动感单车的优势 在于前三个月的减肥效果会很明显。但是面对健身房众多的健身器材，很多人感到迷茫和不知所措，不知道该如何选择，那么现在小编就来告诉你如何计划健身房减肥计划吧。

教练会观察你的心率变化，提高身体各方面既能，不仅达到减脂的目的，还能让身体凹凸有致，提升气色。要有个健康强壮的身体，除了健身之外，还需要要养成健康的 方式，平时在饮食上要注意少吃盐，尽量不吃垃圾食品，比如膨化食品等。

健身教练建议，动静结合的健身方式比较合理，脂肪分解与紧致肌肤相结合，有氧运动与抗阻力相结合，让肌肉在锻炼之后变得更有弹性，让身体变得更加健美。健身是现在社会热议的话题之一，也是很多的白领选择的方式，一方面白领们忙于工作，但是身体是最重要的，健身的想法和理念也逐渐深入人心，让大家都想拥有个健康完美的体型以及强壮的身体素质。版权声明：图文无关，转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢。

不仅不会对心肺功能造成太大的负担，还能得到柔美的线条。四、课程结合 健身教练向我们介绍了一种组合瘦身法，包括10-15分钟的热身、30-40分钟的器械训练、40分钟有氧运动以及拉伸放松。三、快步走 缓慢走路是无法达到减肥效果的，健身教练建议，在跑步机上进行快走练习，是非常适合女生的减肥方式。用白开水代替功能饮料。

运动40分钟之后，脂肪分解的效果会更好。二、瑜伽普拉提 瑜伽独有的腹式呼吸法，可以加速脂肪燃烧。

另外，进入健身房之后要积极的去锻炼，不能去了几天就坚持不下来放弃，这是最不明智的本文提出的方法支持用多个标准（如最小值、最大值和平均值）来确定 Transformer 块的输入层归一化 (LayerNorm) 操作的 α 值。

这三种方法思路相似，即把激活值量化的难度转移到权重量化上，只是三者在转移难度的多少上有所不同。更多信息请参阅英特尔® Neural Compressor 文档(10)。对于期权定价模型 (OPT) 和 BLOOM 等大多数模型来说，α=0.5 是一个能够较好实现权重和激活值量化难度分割的平衡值。大语言模型部署面临的挑战 大语言模型在执行自然语言处理和自然语言生成任务方面表现出色，但其训练和部署颇为复杂，主要面临以下挑战： AI 与内存墙(9) 瓶颈问题：算力每两年提高 3.1 倍，内存带宽却只提高 1.4 倍。经过对多种主流大语言模型的评估，具备自动调优能力的 INT8 SmoothQuant 最后一个词元 (last-token) 的预测准确率要高于原始 INT8 SmoothQuant 和 FP32 基线方法。大语言模型的量化 量化是一种常见的压缩操作，可以减少模型占用的内存空间，提高推理性能。

因此，采用训练后量化的方法来为大语言模型瘦身，对于实现低时延推理至关重要。英特尔® Neural Compressor 已经支持多款英特尔® 架构的硬件，比如英特尔® 至强® 可扩展处理器(4)、英特尔® 至强® CPU Max 系列(5) 、英特尔® 数据中心 GPU Flex 系列(6) 和英特尔® 数据中心 GPU Max 系列(7)。

作者：英特尔公司 陆崟彤 何欣 郭恒 程文华 王畅 王梦妮 沈海豪 编辑：编辑部 【新智元导读】Sam Altman 曾表示，语言模型不是越大越好。作者 英特尔公司人工智能资深架构师沈海豪、英特尔公司人工智能资深软件工程师程文华、英特尔公司人工智能软件工程师陆崟彤、何欣、郭恒、王畅、王梦妮，他们都在从事模型量化及压缩的研究与优化工作。

这一方法有两个显著特点：一是全自动化，二是比原始方法支持的融合模式多。其先进的网络结构和庞大的参数量，使它们能够很好地应对自然语言本身的复杂性。

本文涉及的实验基于第四代英特尔® 至强® 可扩展处理器(8) 进行。计算相对实际输出值的均方损失，将调整后的参数恢复回来，并保存每层的最佳 α 值。值得注意的是，模型分析主要依靠的是 Torch JIT。实验发现，将 α 范围设为 [0.3, 0.7]，步长设为 0.05，对大多数模型来说都能达到很好的平衡。

英特尔® Neural Compressor 是一个包含量化、剪枝（稀疏性）、蒸馏（知识提炼）和神经架构搜索等多种常用模型压缩技术的开源 Python 库。根据用户定义的 α 范围和步长生成一个 α 值列表。

量化后的模型也缩小到 FP32 模型的四分之一，大大减少了内存占用空间，从而有效地提升大模型在英特尔® 平台上的推理性能。本文介绍了可提升大语言模型的训练后量化表现的增强型 SmoothQuant 技术，说明了这项技术的用法，并证明了其在准确率方面的优势。

不过，激活值量化误差损失却是导致模型量化准确率下降的重要因素。具体来说，量化是将浮点矩阵转换为整数矩阵： 其中 X_fp32、S 和 Z 分别为输入矩阵、比例因子和整数零点。

期待听到您的反馈意见和建议。原始的 SmoothQuant 旨在通过针对整个模型使用一个固定值 α 来分割权重和激活值的量化难度。其中 j 是输入通道索引。模型的激活异常值越大，就越需要使用更大的 α 值来将更多的量化难度转移到权重上。

此方法已整合至英特尔® Neural Compressor(1) 中。英特尔增强型 SmoothQuant 给出了解决方案。

增强型 SmoothQuant SmoothQuant 引入了一个超参数 α 作为平滑因子来计算每个通道的量化比例因子，并平衡激活值和权重的量化难度。采用量化方法可以降低大语言模型部署的难度。

同时，也欢迎您创建拉取请求或就 GitHub 问题(15) 发表评论。目前，诸如 TensorFlow、英特尔® Extension for TensorFlow(2)、PyTorch、英特尔® Extension for PyTorch(3)、ONNX Runtime 和 MXNet等主流框架，都能与之兼容。