浪潮 K1 Power 服务器 Power9 和新的 Power10 处理器都有片上 NXGZIP 压缩 / 解压缩加速引擎。它具有如下优点:
• 业界带宽最高的片上压缩 / 解压缩引擎
• 用户态直接访问, kernel bypass ,低延时;
• 支持多用户和多线程;
• 释放处理压缩的 CPU 资源;
• 支持 Deflate ,Gzip, 和 Zlib RFCs ( 1950/51/52 )标准;
• 支持动态霍夫曼表,提高压缩率;
• 与 zlib 兼容, 方便应用集成;
• CPU 片内集成,零成本,低功耗 ;
• 可根据客户数据定制优化,提高压缩率;
如下应用场景都可以从 Power 片上 NXGZIP 压缩 / 解压缩加速引擎获得好处:
• 在数据库应用中,压缩能极大减少磁盘 IO ,既能减少对磁盘空间的需求,又可以延长 SSD/NVMe 等存储介质的使用寿命。
• DB2 v11.5 开始内置支持 Power NXGZIP 硬件加速,可实现数据备份与日志归档的硬件 ZLIB 压缩加速及加密加速功能
• 其它数据库也可通过 pipe 等方式实现数据备份与硬件压缩加速结合使用
• 其它常见支持压缩的数据库存储引擎,如 InnoDB,TukoDB, RocksDB
• 客户大量数据需远距离快速安全传输 (scp,sftp) ,如东数西算 / 多地多中心
• P9/P10 片上压缩引擎的高带宽和低延时和高级加密功能,可帮助实现快速压缩和安全加密传输,大大降低网络带宽要求,提高传输效率和安全性
• 压缩能极大节省存储资源,传统 CPU 压缩方案只能压缩温 / 冷数
• P9/P10 片上压缩引擎的高带宽和低延时,可满足热数据实时压缩需求
• Hadoop 压缩功能能降低存储空间,减少网络上的数据传 输
• P9/P10 的片上 GZIP 加速器,可以同时降低 CPU 负载,让更多的 CPU 资源参与 Hadoop 其他大数据分析处理
**本文着重描述 DB2 V11.5 数据库及日志内置 Power ZLIB 硬件加速压缩与加密备份特性。
**
它的软硬件环境要求如下:
• 基于 Power9 或 Power10 处理器的浪潮 K1 Power 服务器
• 微码: Power9 FW940 或更新, Power10 都可以
• 分区模式: Power9, 选择 POWER9 (不能是 POWER9_base ); Power10, 须选 POWER9 或 POWER10
• AIX : AIX 7.2 TL 4, AIX 7.2 TL 5, 或 AIX 7.3 及以上
• zlibNX 版本: 7.2.4.0 及以上。在 AIX 7.2 TL4 至 AIX 7.2 TL5 SP1 , zlibNX 在 AIX Expansion Pack 扩展包中, AIX 7.2 TL5 SP2 以上版本, zlibNX 含在 AIX 安装介质中; AIX 7.3 以上版本中,系统缺省会安装 zlibNX
• DB2 版本,最低要求 v11.5.7 ,可以通过 db2pd -osinfo 查看 DB2 是否支持 NXZLIB , $ db2pd -osinfo
Operating System Information:
OSName: AIX
NodeName: hsdb
Version: 7
Release: 3
Machine: 00C6D8284C00
AME : Disabled
AMS : Disabled
NX842 : Operational
NXZLIB : Available
DB2 V11.5 数据库及日志内置 Power ZLIB 硬件加速压缩与加密备份的使用方法:
a.在 db2set 变量设置备份时,采用 ZLIB 硬件加速,此设置全局生效
db2set DB2_BCKP_COMPRESSION=ZLIB
b.在 backup database 备份命令行 compress 相关选项,采用 ZLIB 硬件加速选项(这里采用并行度20并行备份)
$ db2 backup database DatabaseNameonline to \\
dir1,dir2,dir3,dir4,dir5,dir6,dir7,dir8,dir9,dir10,dir11,dir12,dir13,dir14,dir15,dir16,dir17,dir18,dir19,dir20 \\
with 20 BUFFERS BUFFER 16384 PARALLELISM 20 \\
COMPRESS comprlib libdb2zcompr.a
如果设置了 db2set DB2_BCKP_COMPRESSION=ZLIB, 此处_comprlib libdb2zcompr.a_ 可省略
c.归档日志启用 ZLIB 硬件加速压缩 功能
db2 update db cfg for tpcc using LOGARCHMETH1"disk:/db2/archive"
db2 update db cfg for tpcc using LOGARCHCOMPR1 ZLIB
d.数据库备份同时启用 ZLIB 硬件加速压缩压缩 和 加密备份功能
db2 update db cfg using encrlib '/opt/IBM/db2/V11.5/lib64/libdb2zcompr_encr.a'
db2 update db cfg using encropts'_Cipher=3DES_'
也可以在backup database命令行中指定 encrypt encrlib … encropts … 压缩、加密选项
在一台高端 Power10 (下图中简称 P10 )浪潮 K1 Power K8880G3 服务器(分区配置 32 核、 256GB 分区、 NVMe 存储和万兆网卡)上,通过对 100GB 左右数据集的 DB2 V11.5.7 数据库进行压缩加速备份测试,效果很好:
如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!
赞2
添加新评论1 条评论
2023-06-01 09:28