ContextQMD
Back to Pikiwidb

V3.6.0

CHANGELOG_CN.MD

4.0.281.0 KB
Original Source

V3.6.0

New Features

  • 在命令调度层引入了 fast/slow 两类线程池,并实现了跨池借用机制,提升在负载不均衡情况下的资源利用效率和系统可观测性。新增相关监控指标、动态配置能力和 INFO/CONFIG 支持,使线程池执行更细粒度可控

  • 将 BRAFT(分布式一致性组件)引入代码库,PikiwiDB 实现 Raft 强一致性,区别于以前的最终一致性,保证用户数据高可用

V3.5.6

Improvement

  • 统计命令处理不同阶段的耗时，包括 Redis 缓存的读取/更新、写入 binlog、存储处理时间#3036@wangshao1

  • 精简定位日志，增加耗时统计，修改监控信息暴露#3044@wangshao1

  • 将 Auth 命令加入管理命令线程池，避免因为主线程池卡住导致建立连接不成功的问题#3048@Mixficsol

  • 当 client 关闭 close 链接之后，服务端在处理请求时跳过执行这条连接上收到的请求，避免出现请求堵塞问题#3111@wangshao1

Bugfix

  • 将 clearcache 改为读命令#3034@Mixficsol

  • 修复部分接口因为数据不一致导致的问题#3034@Mixficsol

  • 修改配置文件中对 redis-cache 限制阈值错误的问题#3034@Mixficsol

  • 修复 Rediscache 异步加载的问题#3037@Mixficsol

  • 修复 Pika-slave 节点恢复后，codis-dashboard 没有更新元信息的问题#3038@wangshao1

  • 修复 info replication master ip:port 解析失败的问题#3038@wangshao1

  • 修复 Append 命令在缓存和数据库中表现不一致的问题#3039@Mixficsol

  • String 类型的 Key 可以在配置文件中的 max-key-size-in-cache 参数配置 RedisCache 中最大的 Key 的大小#3043@Mixficsol

  • Set, List, Zset 类型可以在配置文件中的 cache-value-item-max-size 参数配置 RedisCache 中最大元素个数#3043@Mixficsol

  • 修复 codis 主从切换不正确的问题#3048@Mixficsol

  • 更新 Codis、Pika 和 Pika_exporter，修正版本时间记录方式，Pika 的构建时间改为使用 Make 编译时间并调整为 UTC 时间标准#3049@Mixficsol

  • 修复 rediscache 最大存储范围不准确的问题#3064@Mixficsol

  • 在配置文件中添加了正确加载 admin-cmd-list 的功能#3076@Mixficsol

  • 在 pipeline模式下将 auth 命令和后续在 Pipeline 中的命令划分到命令线程池#3098@Mixficsol

  • 修复 ZRemrangebylex和zremrangebyscore等命令传参错误的问题#3098@chenbt-hz

  • 修复 rediscache部分读接口没有加锁，当rediscache在做 rehash 时会做数据挪动，可能导致数据竞争的问题#3088@wangshao1

  • 修复 blob-cache 传参不正确的问题#3105@chenbt-hz

  • 修复 telnet 连接 pika 后偶发性coredump 的问题#3099@Mixficsol

  • 修复 getrange 和 setrange 多次执行偶发性导致 pika 崩溃的问题#3106@YuCai18

  • 修复 Pika 在处理长时间耗时请求时，因超时关闭连接导致积累大量 close_wait 状态连接的问题，防止达到连接数上限后停止接收新连接#3089@wangshao1

  • 修复 pika 中 zadd 命令在单行多次添加同一 member 时与 Redis 返回值不一致的问题#3108@YuCai18

  • 修复 codis-proxy 打印 log 错误的问题#3107@wangshao1

  • 修复 requirepass 是非空的但可通过任意密码连接的问题#3113@YuCai18

  • 删除无关的日志打印，避免占用磁盘资源#3119@YuCai18

  • 修复 php 客户端不指定 spop 第二个参数时与 redis 返回值不一致的问题#3129@wangshao1

  • 优化了 Pika 的慢请求日志，增加了对 pipeline 请求过多导致的排队耗时统计#3142@wangshao1

  • 去掉 OBD-compact 配置，避免影响3.5分支自行编译的版本#3125@chejinge

V4.0.2

New features

  • Pika 从实例执行完 slaveof no one 与主节点解除主从关系后，将 slaveof 信息持久化到配置文件中#2973@cheniujh

  • Pika-Operater 主从模式支持数据备份和恢复的功能#2968@buzhimingyonghu

  • 在配置文件中添加 log-net-activities 参数，支持动态关闭或者建立连接部分日志的打印，可以 config get/set动态调整#2964@cheniujh

  • 将 Pika info 指标中提供的 repl_connect_status 加入到了 pika_exporter，方便运维同学对 Pika 的主从状态判断#2961@cheniujh

  • 升级 kubeblocks 至 0.9 版本，对 Pika-operater 做升级和优化，简化代码，支持实例的缩容#2860@XiaoLiang2333

  • Pika-Operater 支持拉起主从模式，拉起方式详见 readme 文档#2903@[XiaoLiang2333](https://github.com/XiaoLiang2333）

  • Pika-Exporter 支持新增 keyspace_hits、keyspace_misses 指标，运维同学可以根据指标判断当前业务 key 的命中率#2579@chenbt

  • RedisCache 中不存储大 key, 避免占用内存过多或者存储大 key 将业务多次访问的热 key 淘汰掉，影响性能#2557@QlQlqiqi

  • 解决了 Pika 数据库和缓存一致性的问题 #3034 #3037 @Mixficsol

  • 增加了 Pika 在各个时间段的耗时统计，RocksDB 执行时间，锁获取的时间，写 Binlog 的时间，读取更新 Redis-Cache 的时间 #3036 @wangshao1

  • 修复了 Pika，Pika_exporter, Codis 组件的版本信息查看 #3054 #3057 @Mixficsol

  • 增加了 Auth 命令进管理命令线程池 #3048 @Mixficsol

  • 支持 Zset, List, Set 类型命令在 RedisCache 中最大元素个数和所有类型 Key 的大小更新到 Redis-Cache 的阈值可通过配置文件进行配置，并支持通过 Config 命令进行动态修改 #3043 #3047 @Mixficsol

Improvement

  • Pika 支持动态修改 max-subcompactions 配置参数，可以对 L0 层的 compact 操作做运行时优化#2965@cheniujh

  • 优化 log-retention-time 配置参数，可以动态调整日志保存的天数#2963@cheniujh

  • 将 Pika-Migrate 的代码移除至 tools 文件夹下，方便不同环境编译二进制进行数据迁移#2941@chenbt-hz

  • 为 Pika 复杂数据类型及管理命令添加 Go Test，保证服务的稳定性#2840@tsinow

  • 更新 GitHub Action 工作流中的 actions/checkout 为 v5, 增强安全性和性能#2833@baerwang

  • Pika 支持新的 compact 策略，增加最长时间未使用文件和最多删除条目文件的 compact 策略 ，提升 Pika 写性能#2557@QlQlqiqi

Bugfix

  • 修复 rpoplpush 命令未更新缓存，导致数据库、缓存数据不一致的问题#2976@cheniujh

  • 修复 Pika-Exporter 上下版本不兼容，导致 Exporter 日志打印过多浪费磁盘资源的问题#2971@buzhimingyonghu

  • 将 slowlog 的日志级别调整成为 INFO，解决 Slowlog 同时打印三份，会导致磁盘占用过多的问题#2948@buzhimingyonghu

  • 修复 CI 稳定性不通过的问题#2937@chejinge

  • 修复 Pika 实例无法单独设置管理员密码的问题#2920@buzhimingyonghu

  • 修复 epoll 循环中 std::shared_ptr in_conn 对象的引用计数器的析构位置，确保 Pika 不会出现连接不及时关闭的现象#2904@cheniujh

  • 修复 Zpopmin 命令执行删除操作时未更新缓存，导致数据库缓存不一致的问题#2892@chejinge

  • 修复 Dashboard 解析 Pika 地址错误的问题 #3038 @wangshao1

  • 修复了从节点下线之后 Dashboard 频繁给 Proxy 发送元信息变更请求，增加了从节点主客观下线逻辑 #3049 @Mixficsol

  • 修复 Slave Pika 节点重启无读流量的问题 #3038 @wangshao1

V4.0.1

New features

  • 为RTC功能添加开关，如果Get/HGet在RTC路径上就未命中缓存，后面流转到正常路径上时直接读DB，不再读cache#2841@cheniujh

  • 用 RTC 模型处理 Pika 访问缓存部分，提升 Pika 服务的读性能#2837@cheniujh

  • 添加定时删除日志的任务，默认 7 天删除一次，可以根据自己需求在 config 文件中进行配置#2829@XiaoLiang2333

Improvement

  • 添加数据清洗函数，方便用户在升级过程中进行清洗数据#2888@QlQlqiqi

  • 将 Floyd 存储的 data 字段中的值改为 ms 级别，与 Redis 命令保持兼容#2857@luky116

  • flushall 命令写 flushdb 为 binlog，如果是多 DB 状态，每个 DB 分别写一条，保证从节点消费的顺序 #2846@cheniujh

  • 删除不必要的日志，避免磁盘消费过大，影响业务数据读写#2840@chejinge

  • incr、append 命令在传输 binlog 时，使用 pksetexat 命令，防止因为不正确的操作导致数据无法过期，出现脏数据#2833@chejinge

  • 修改 Pika 从节点消费 binlog 的线程模型，保证 binlog 的消费顺序#2708@cheniujh

  • 添加更多的 RocksDB 指标，配置中增加 open_rocksdb_statistics_tickers 字段，默认为no。开启会损耗+1.5%#2658@baixin01

Bugfix

  • 修复 Pika 进程使用 cache 数据不准确，导致监控不准确的问题#2899@chejinge

  • 修复执行 zremrangebyrank 命令出现异常错误信号，导致 Pika 进程崩溃的问题#2891@chejinge

  • 修复 Rpushx 命令执行时未更新 RedisCache 的问题，避免出现 DB、缓存不一致的问题#2879@hahahashen

  • 修复 kill client 命令杀连接流程不正确的问题#2862@cheniujh

  • 修复 blpop/brpop 更新数据库的时候未更新缓存可能回导致 RocksDB 数据库与 RedisCache 缓存不一致的现象#2858@cheniujh

  • 修复 Pika 不支持 Redis-Sentinel 的问题#2854@cheniujh

  • 修复 hincrby 命令多次执行返回结果不一致的问题#2836@luky116

  • 用 Rocky 环境替代 CentOS, github CI 流程总体支持 MacOS/Ubuntu/Rocky 三个环境#2823@QlQlqiqi

  • 修改 client watch 的 key，被任何人修改（包括自己的改动），都会失效的问题#2815@luky116

  • 解决 Pika slave_prorority 赋值不准确导致从节点无法升主，不能使用 Redis-Sentinel 的问题#2813@chejinge

  • 事务命令处理走 DB 的同时，走 RedisCache 避免出现 DB、缓存不一致的情况#2812@luky116

  • 优化主从复制，确保 Master 端的 SlaveNode 在提交 bgsave 任务前进入 DBSync 状态，防止bgsave执行时的 binlog 在极端情况下被清除#2798@cheniujh

  • 修改主从复制过程中 flushdb binlog 的处理逻辑，确保按照顺序执行，避免出现主从不一致的情况#2794@cheniujh

  • 修复 BlockCache 计算不准确的问题#2797@bigdaronlee163

  • 添加标志位、时间戳和返回值机制，确保 Pika 在执行 flushdb 且处理异步删除旧目录时冲突时正确处理#2790@cheniujh

  • 修复集群模式主备自动容灾过程中，老主节点降备过程中，因为 sent_offset 和 acked_offset 不相等，导致状态 Error 的情况#2789@luky116

  • PkpatternMatchDel 在删除数据库的同时删除 RedisCache，保证数据的一致性#2777@haiyang426

  • timerTaskThread_ 重命令为 timer_task_thread_#2776@cheniujh

  • 修复 Sentinel 主从切换时，由于主节点和从节点数据量不一致导致主从切换状态扭转错误问题#2766@cheniujh

  • 修复连续扩容多个从实例，全量复制失败的问题#2756@cheniujh

v3.5.5

New features

  • 给 RTC 模型增加处理开关，可以根据开关控制是否开启 RTC 模型#2841@cheniujh

  • 用 RTC 模型处理 Pika 访问缓存部分，提升 Pika 服务的读性能#2837@cheniujh

  • incr、append 命令在传输 binlog 时，使用 pksetexat 命令，防止因为不正确的操作导致数据无法过期，出现脏数据#2833@chejinge

  • 添加定时删除日志的任务，默认 7 天删除一次，可以根据自己需求在 config 文件中进行配置#2829@XiaoLiang2333

  • 将管理命令移出主线程，防止因为管理命令调用频繁或者耗时过高，阻塞主线程#2727@chejinge

  • Pika 线程整理，避免启动无用线程造成资源浪费#2697@chejinge

  • 添加 pika benchark 工具，旨在提升压测效率，并输出可视化的统计图表#2663@luky116

Improvement

  • 优化主从复制，确保 Master 端的 SlaveNode 在提交 bgsave 任务前进入 DBSync 状态，防止bgsave执行时的 binlog 在极端情况下被清除#2798@cheniujh

  • 优化 Apply binlog 时锁机制，减少不必要的锁竞争#2773@cheniujh

  • 添加 Geo 数据类型的 TCL 测试，并修复测试过程中遇到的 bug#2753@saz97

  • 更新 Pika Docker Readme, 可以按照 Readme 在 Docker 中部署 Pika 服务#2743@luky116

  • 支持对更多的 RocksDB 参数进行动态调整，用户根据不同的业务使用场景调整参数提升 Pika 的读写性能#2728@cheniujh

  • Pkpatternmatchdel 命令支持删除 Redis Stream 数据类型#2723@wangshao1

  • 重构主从复制模式 slave 节点的主从同步线程模型，尽可能减少 binlog 消费阻塞问题#2638@cheniujh

  • 增加主从复制状态指标 repl_connect_status，方便运维人员清晰明确的判断当前的主从复制状态#2656@cheniujh

  • 新增 RocksDB Compaction 策略动态调整参数，用户可以根据业务调整 Compaction 策略，降低 Compaction 操作对服务性能的损耗#2538@wangshao1

  • 对事务新增 TCL 测试并修复测试中遇到的 bug#2844@luky116

Bugfix

  • 修改 Pika 自动化测试客户端链接 server 端的超时时间，避免因为长时间断开导致测试失败#2863@cheniujh

  • 修复 kill client 命令杀连接流程不正确的#2862@cheniujh

  • 修复 blpop/brpop 更新数据库的时候未更新缓存可能回导致 RocksDB 数据库与 RedisCache 缓存不一致的现象#2858@cheniujh

  • 修复 Pika 不支持 Redis-Sentinel 的问题#2854@cheniujh

  • 修改 flushall 的逻辑避免统一处理时，多清理一次数据#2846@cheniujh

  • PkPatternMatchDel 命令在删除 DB 的同时删除 RedisCache，避免出现 RocksDB 数据库与 RedisCache 缓存数据不一致的情况#2839@chejinge

  • 用 Rocky 环境替代 CentOS, github CI 流程总体支持 MacOS/Ubuntu/Rocky 三个环境#2823@QlQlqiqi

  • 优化读锁的范围，避免因为重复消费 binlog 导致主、从数据不一致的问题#2818@cheniujh

  • 修改 client watch 的 key，被任何人修改（包括自己的改动），都会失效的问题#2815@luky116

  • 修改 slave_priority 的默认值，防止因为运维同学没有设置该值，导致主从切换失败#2813@chejinge

  • Multi 命令更新数据库的同时更新缓存，避免读取不到数据#2810@luky116

  • 修复执行 slaveof no one 时出现异常日志输出的问题#2800@cheniujh

  • 修复 Pika block-cache 信息计算不准确，内存使用计算不标准的问题#2797@bigdaronlee163

  • 修改主从复制过程中 flushdb binlog 的处理逻辑，确保按照顺序执行，避免出现主从不一致的情况#2794@cheniujh

  • 添加标志位、时间戳和返回值机制，确保 Pika 在执行 flushdb 且处理异步删除旧目录时冲突时正确处理#2790@cheniujh

  • 修改主从复制过程中 flushdb binlog 的处理逻辑，确保按照顺序执行，避免出现主从不一致的情况#2790@cheniujh

  • 修复 PKPatternMatchDel 命令未删除迭代器可能会导致 RocksDB 删除数据不彻底的问题#2786@wangshao1

  • timerTaskThread_ 重命令为 timer_task_thread_#2776@cheniujh

  • 修复 min-blob-size 参数解析失败，导致 kv 分离使用出错的问题#2767@wangshao1

  • 修复 sentinel 主从切换时，由于主节点和从节点数据量不一致导致主从切换状态扭转错误问题#2766@cheniujh

  • 修复 Zverank 命令计算错误，导致返回值错误的问题#2763@chejinge

  • 修复 Pksetat 命令更新 DB 的同时未更新 RedisCache 缓存，可能会存在 RocksDB 数据库与 RedisCache 缓存不一致的问题#2759@chejinge

  • 修复 Pika-port 传输数据过程中报错的问题#2758@guangkun123

  • 修复 RsynClient 异常退出后，未做失败处理导致全量复制数据不完整的问题#2756@cheniujh

  • 修复 Pika 不能批量扩容的问题#2746@cheniujh

  • 修复参数未初始化导致 slotsscan 等命令不能和 bgsave 命令相互制衡的问题#2745@chejinge

  • 修复 SlotMigrate 返回值错误，可能会导致数据迁移中断的问题#2741@wangshao1

  • Pksetexat 更新数据库的同时更新 RedisCache，避免出现RocksDB 数据库与 RedisCache 缓存不一致的问题#2736@longfar-ncy

  • 修复 RedisCache 层因为没有使用 storage 层解析的 ttl 可能会导致 RocksDB 数据库与 RedisCache 缓存不一致的问题#2729@chejinge

  • 修复 Stream 类型数据不能被 RocksDB compaction 会导致过期数据一直存在的问题#2724@wangshao1

  • 修复 ACL 认证可能会偶发性失败的问题#2714@luky116

  • 修复 Pika cmdID 赋值在 Cmd 初始函数中，可能会导致并发构造的时候出现内存泄漏的问题#2692@gukj-spel

  • 修复 Spop 在写 binlog 时可能会出现竞态问题#2674@cheniujh

  • 修复 server_stat 中的数据竞态问题#2671@cheniujh

  • 修复多 DB 下全量同步超时后不重试的问题#2667@cheniujh

  • 修复多 DB 主从超时场景下，可能会出现窗口崩溃的问题#2666@cheniujh

  • 修复主从同步限速逻辑中重复解锁的问题#2657@cheniujh

v4.0.0

New features

  • Pika Geo 数据类型增加 TCL 测试，并修复测试过程中遇到的缺陷#2753@saz97

  • Pika 支持在 FreeBSD14 平台上进行编译打包#2711@lqxhub

  • Pika 线程整理，避免启动过多无用线程，对不同的线程进行命名，方便问题定位#2697@chejinge

  • Mget 支持多 key 查询缓存, 记录未命中的 key 去 DB 中查询，提升 Pika 服务的读性能#2675@chejinge

  • Codis 支持 info 命令, 可以通过该命令查询 Codis-proxy 的 info 信息#2688@chienguo

  • 添加 Floyd 的 compaction-filter 的 Gtest#2669@Mixficsol

  • Codis-proxy 新增 P99 P95 等监控耗时指标#2668@chejinge

  • 添加 Pika 压测指标，提升 Pika 压测效率，并输出可视化的统计图表#2663@luky116

  • Pika 主从复制新增监控指标 repl_connect_status, 可以更加明确清晰的确定当前的主从复制的状态#2638@cheniujh

  • Pika 不支持不同类型的重复 key, 写入重复 key 返回非法类型#2609@Mixficsol

  • 添加支持分区索引过滤的功能#2601@vacheli

  • Pika 支持第三代存储引擎 Floyd, 通过支持多 rocksdb 实例、对 Blob 的使用进行优化、对过期数据的清理进行优化，提升了 Pika 实例的读写性能#2413@wangshao1

Improvement

  • 更新 Pika Docker Readme, 可以按照 Readme 在 Docker 中部署 Pika 服务#2743@luky116

  • 优化重复查询 meta value 导致影响 Pika 服务读写性能的问题#2735@wangshao1

  • 支持对更多的 RocksDB 参数进行动态调整，用户根据不同的业务使用场景调整参数提升 Pika 的读写性能#2728@cheniujh

  • 对 HyperLogLog 和 String 进行类型隔离，确保 HyperLogLog 操作与 String 操作明确区分开#2720@saz97

  • 更新了 PR 标题验证，不允许在标题末尾出现中文字符#2718@baerwang

  • 重构主从复制模式 slave 节点的主从同步线程模型，尽可能减少 binlog 消费阻塞问题#2638@cheniujh

  • 新增 RocksDB Compaction 策略动态调整参数，用户可以根据业务调整 Compaction 策略，降低 Compaction 操作对服务性能的损耗#2538@MalikHou

Bugfix

  • 修复 iter 未被析构，导致 pkpatternmatchdel 在返回之前不会删除 iter，这可能会导致 rocksdb 永远引用一个版本，导致数据不符合预期的问题#2785@wangshao1

  • 修复 config 参数 min-blob-size 带单位时解析错误的问题#2767@wangshao1

  • 修复 zverank 返回值异常的问题#2763@chejinge

  • 修复 Pika-port 传输数据过程中报错的问题#2758@guangkun123

  • 修复因为堆上分配的缓冲区越界导致 Dbsize 命令运行时崩溃的问题 #2749@wangshao1

  • 修复批量扩容时，多个 slave 同时连接 master, 短时间多次 bgsave 导致部分从节点数据不完整的问题#2746@cheniujh

  • 修复参数未初始化导致 slotsscan 等命令不能和 bgsave 命令相互制衡的问题#2745@chejinge

  • 修复 Slotmigrate 迁移数据的过程中，返回值设置错误，异常场景下会终止数据迁移的问题#2741@chejinge

  • 修复 Mget 没有使用解析 ttl 的函数导致出现部分key的ttl未被更新，数据不一致的问题#2730@chejinge

  • 修复 pkpatternmatchdel 命令使用错误导致的 stream 类型数据删除异常的问题#2726@wangshao1

  • 修复 pkpatternmatchdel 不能正确删除掉对应的 keys 的问题#2717@wangshao1

  • 修复 ACL 密码验证错误问题#2714@luky116

  • 修复 Keyspace 命令未计算 Stream 类型数据的问题#2705@wangshao1

  • 对部分命令定制化处理逻辑，避免写 binlog 导致从节点的 binlog 解析失败的问题#2693@cheniujh

  • 修复 Pika cmdID 赋值在 Cmd 初始函数中，可能会导致并发构造的时候出现内存泄漏的问题#2692@gukj-spel

  • 修复 ExpectedStale 未考虑 String 类型, 如果存在已经过期的 String 类型的 key, ExpectedStale 会返回错误的问题#2682@wangshao1

  • 修复 Spop 在写 binlog 时可能会出现竞态问题#2674@cheniujh

  • db instance 设置不合理时，给用户错误提示#2672@Mixficsol

  • 修复 server_stat 中的数据竞态问题#2671@cheniujh

  • 修复多 DB 下全量同步超时后不重试的问题#2667@cheniujh

  • 修复多 DB 主从超时场景下，可能会出现窗口崩溃的问题#2666@cheniujh

  • 修复主从同步限速逻辑中重复解锁的问题#2657@cheniujh

  • 发版支持自动打包 centos7 和 centos8 平台的二进制编译包#2535@baerwang

  • 修复 Codis 侧的 getrange 命令没有返回预期结果的问题#2510@luky116

v3.5.4

New features

  • Pika 支持动态调整全量同步限速参数 rsync-timeout-ms 和 throttle-bytes-per-second#2633@cheniujh

  • 将 info key space 1 的结果输出至 info all 并展示到监控界面中#2603@XiaoLiang2333

  • Pika 磁盘IO 限速参数支持 OnlyRead、OnlyWrite、ReadAndWrite，默认支持OnlyWrite#2599@vacheli

Improvement

Bugfix

  • 修复使用 Pika Exporter 时可能会出现 slots 分配不均衡的问题#2651@chejinge

  • 修复 Codis dashboard 不能正确更新 master 实例状态的问题#2650@vacheli

  • 修复 Redis 事务 binlog 解析失败导致的主从同步异常问题#2642@chejinge

  • 修复 Pika Expoter 启动时不带参数导致启动失败问题#2640@Polaris3003

  • 修复使用 Pika Operater 拉起集群Codis-proxy panic 的问题 #2632@chejinge

  • 修复 CI 编译出的二进制进行自动化测试时 cp 命令失败问题#2614@cheniujh

  • 修复变量未初始化导致 cache 启动失败的问题#2613@chejinge

  • 修复 userpass 和 userblacklist 动态修改参数功能异常问题#2600@chejinge

  • 修复 scard sscan 结果不一致的问题#2596@chejinge

  • 修复当 max-rsync-parallel-num 大于4，slave 会在主从复制时 coredump 的问题#2595@chejinge

  • 调整不常用的线程池线程数，避免因为空跑导致性能损耗#2590 @chejinge

  • 修复 Pika 事务边缘测试 case 不通过的问题#2586 @chejinge

  • 将 cache-model 修改成 cache-mode#2585@chejinge

  • 修复使用 info keyspace 后，info all 死锁的问题#2584 @chejinge

  • 修复因修改 zsetscorekeycomparatorimpl 字典序比较熟顺序，导致353 352极端场景不兼容的问题#2583 @wangshao1

  • 修复 compact 死锁的问题 #2581 @chejinge

  • slotmigrate 添加 go test #2576@chejinge

  • 更新 Pika Operater 使用的 pika 版本#2572@chejinge

  • 修复 config rewrite 后 blockcache 数值异常的问题#2561@chejinge

  • 修复 slotmigrate 动态修复后值错误的问题#2548@chejinge

  • 修复 spop 可能会出现主从数据不一致的问题#2541@chenbt-hz

  • 修复 CloseFd(it->second[i]) 出现越界的问题#2539@chejinge

  • 修复 Flushall 和 FlushDB 死锁的隐患，并删除 FlushSubDB 接口#2533@Mixficsol

  • 增加参数控制是否清理 tcl 测试后产生的数据文件，防止废弃数据占据磁盘#2507@Mixficsol

v3.5.3

新特性

Bugfix

  • 修复 Pika 有从节点进行全量复制期间会误删除 dump 文件的问题#2377@wangshao1

  • 修复主从复制过程中, slave 节点收到 master 异常回包后的处理逻辑#2319@wangshao1

  • 在 Pika 执行 shutdown 命令时调用 disable compaction, 提升进程退出速度 #2345 @panlei-coder

  • 修复 Codis-dashboard Redis Memory 值不准确的问题#2337 @Mixficsol

  • INFO 命令耗时优化，降低查磁盘频率 #2197 @chejinge

  • 修复 Rsync 删除临时文件路径不对，删除失败，导致rocksdb打开失败的问题#2186@wangshao1

  • 修复 Compact ,Bgsave ,Info keyspace 命令未指定db名称，导致部分命令 coredump 的问题#2194@u6th9d

  • Codis dashboard 用 info replication 替代 info 命令查寻 master ip 降低对 Pika 的性能影响 #2198 @chenbt-hz

  • 修复 Pika cache 使用边缘case，解决部分场景下 cache 和 DB 数据不一致的问题#2225 @chejinge

  • 修复当 dump 文件夹为空时，会启动报错 Segmentation fault 的问题#2265 @chenbt-hz

  • 修复因为flag计算错误,导致的部分命令缓存没有生效问题#2217 @lqxhub

  • 修复主从复制模式下，主实例 flushdb 后，从实例因为死锁导致的不能访问的问题#2249@ForestLH

  • 修复部分命令未对 RocksDB 的返回值进行判断的问题#2187@callme-taota

  • 规范函数的返回值及初始值#2176@Mixficsol

  • 修复网络监控指标统计不准确的问题#2234@chengyu-l

  • 修复配置文件加载部分参数异常的问题#2218@jettcc

  • 修复 Codis dashboard cpu 100% 的问题#2393@chengyu-l

  • 修复 Codis fe pika 主从角色显示异常的问题#2387@chengyu-l

  • 修复迁移数据后数据不一致的问题#2485@chejinge

  • 修复dbsize 计算错误问题#2494@chejinge

  • 修复扩缩容或者 pod 起停后，Codis-dashboard 界面显示不准确的问题#2475@chengyu-l

  • 修复 DB 层重复上锁的问题#2372 @Mixficsol

  • 修复全量复制失败后，未做处理导致数据丢失问题#2439@wangshao1

  • 修复主从复制过程中，主实例执行 bgsave 过程中，没有正确回应从的同步请求#2437@wangshao1

  • 全量复制过程中，添加数据同步状态，明确数据同步进度#2430@baixin01

  • 修复从库在 Apply binlog 时，没有对操作的 key 加锁，导致数据不一致的问题#2409 @chejinge

  • 修复 codis slot 迁移过程中 master 实例 coredump 的问题#2415 @chejinge

  • 修复在主从复制过程中，删除正在使用的 dump 文件的问题#2377@wangshao1

  • 修复主从复制过程中从实例 rsync 响应错误的问题#2319@wangshao1

  • 修复主从复制模式下，主实例flushdb后，从实例因死锁而无法访问的问题#2372 @Mixficsol

v3.5.2

新特性

Bugfix

  • 修复 pika 在使用 SETRANGE 命令出现 coredump的问题 #2125 @chejinge

  • 修复因删除 Clearreplicationid 写进 binlog 导致的全量复制问题 #2136 @Mixficsol

  • 修改锁粒度，提升 pika 写 binlog 的性能 #2129 @wangshao1

  • 增加 redis-copy 流量复制工具 #2044 @Mixficsol

  • 修复复杂数据类型成员变量可能出现数据溢出 #2016 @u6th9d

  • 修复 decr 命令返回值错误问题 #2092 @dingxiaoshuai123

  • 修复 setrange 和 setbit 命令没有保留原 key 的过期时间的问题 #2095 @u6th9d

v3.5.1

新特性

  • slow log 增加队列等待时间统计 #1997 @wangshao1

  • 主从复制使用 ReplicationID #1951 @Mixficsol

  • WAL 以 disablewal 命令方式支持动态关闭 #2015 @Mixficsol

  • flush 线程数和 compaction 线程数动态调整，合二为一 #2014 @Tianpingan

  • 升级了 RocksDB 版本到 v8.3.3 #1999 @dingxiaoshuai123

  • 增加了 Macos 环境下配置 Pika 的使用方法文档 #2003 @klboke

  • 新增周期性打印工作队列的长度功能，在队列阻塞的时候可以快速定位问题 #1978 @Tianpingan

  • 新增利用一个 pika_exporter 检测整个集群的指标 #1953 @chenbt-hz

  • 实现在 K8s 环境上 Pika 服务的自动注册，在启动时自动注册，从而实现集群的自组织 #1931 @machinly

Bugfix

  • 减少了 exporter 非必要的日志打印，降低 CPU 利用率 #1945 @Mixficsol

  • 升级了 sentinel 机制，对于掉线的主节点，进行逻辑删除 #1949 @Mixficsol

  • 调整 rate_limit 参数，修复压测时出现 RPS 为 0 的情况 #2009 @chejinge

  • 修复了 INFODATA 命令中对于遍历数据文件时出现空路径的逻辑判断 #1996 @Mixficsol

  • 完善了文档的一些部分缺失的描述 #1962 @baerwang

  • 使用 make -j 提高构建速度 #1933 @xiezheng-XD

  • 解决了 Codis 在线上出现大毛刺的问题 #2016 @chejinge

  • 修复了 Macos 环境下编译使用 tools 导致编译不过的问题 #2011 @A2ureStone

v3.5.0

重大特性

1.去除 Rsync

  1. 去除 Rsync
  2. 实现断点续传，速率限制，文件检验
  3. Pika 主从同步时，进行 master run_id 的检验

2.兼容更多 Redis 命令

  1. 支持 UNLINK 命令
  2. 支持 INFO COMMANDSTATS 命令
  3. 支持 HELLO、SETNAME 命令
  4. 支持 BLPOP、BRPOP 命令
  5. 新增 Pika 原创命令 DISKRECOVERY

3.RocksDB 版本升级和分级压缩

  1. 升级 RocksDB 版本到 v8.1.1
  2. 实现 RocksDB 分级压缩
  3. 新增 RocksDB 缓存配置项 num-shard-bits 能够从配置文件中读取

4.支持 Blobdb

  • 在 v3.5.0 版本我们支持 BlobDB KV 分离

    #1456

    @lqxhub

  1. 支持 BlobDB KV 分离

5.基于 Codis 的集群模式

  1. 引入 Codis 到 Pika
  2. 引入 Codis 的 CI
  3. 支持 Codis 迁移 slot 命令
  4. 新增是否在 reload 的 slotmigrate 状态

6.可观测性

  1. 新增 Pika 可观测系统 pika_exporter
  2. 新增网络 I/O 流量监控指标
  3. 新增命令统计耗时指标
  4. 新增 estimate_pending_compaction_bytes 度量来分析碎片率指标
  5. 新增 RocksDB 指标

7.云原生部署

  • 在 v3.5.0 版本我们实现了一个 pika-operator mvp 版本，主要实现了 Pika 单实例服务在 K8s 上的快速部署

    #1243 #1330 #1347

    @machinly

  1. 实现 Pika 单例服务在 K8s 上快速部署
  2. 实现了在 MiniKube 环境中部署 Pika
  3. 给 pika-operator 添加 E2E 测试

8.跨平台编译

  1. 支持 MacOS 平台

9.多平台 CI、Go 集成测试、TCL 单元测试、PythonE2E 测试、CTest 单元测试

  1. 新增 CentOS 环境下的 CI
  2. 新增 MacOS 环境下的 CI
  3. 新增 E2E 测试框架
  4. 新增在 Github CI Workflow 中添加 CMake 编译环境
  5. 新增在 TCL 脚本中 populate 方法模拟 Redis debug populate 方法，用以填充测试数据
  6. 新增单测启动脚本
  7. 新增在 blackwidow 中添加 cmake 文件，添加对 blackwidow 的单元测试
  8. 使用 CTest 进行单元测试
  9. 移植 Redis 测试脚本
  10. 在 CI 流程中添加新的任务，以验证 Pika 是否能在 CentOS 系统上成功编译

新增功能

改进

Bug 修复

注意事项