Webfunny大版本改造mysql迁移至clickhouse

Webfunny大版本改造mysql迁移至clickhouse

Webfunny大版本改造的主要目的是为了解决MySQL在大数据存储和高并发场景下的性能瓶颈。具体改造原因和优势如下：
改造原因： 查询压力大：MySQL的设计初衷并非为大数据存储优化，处理高并发和海量数据存储时显得力不从心。 日志表数量庞大导致硬盘消耗快：MySQL单表存储超过千万后，查询效率下降，且每日报表需创建大量日志表，导致硬盘资源消耗迅速。 不适用于集群化：MySQL若不做集群化，数据量级受限，难以突破亿级/天的存储需求。而阿里云提供的集群版仅实现读写分离，并不具备真正的集群化特性。
Clickhouse的优势： 查询效率高：Clickhouse号称支持10亿数据毫秒级查询，理论上可处理20万亿行数据，1秒内返回结果，大幅优化查询性能。 数据压缩率高：采用列式存储方式，有效节省硬盘资源。 支持集群化：天生支持集群化，包括分区和分片设计，与按天分表策略相匹配，能够存储更大的数据量级。
改造效果： 性能显著提升：改造后的Webfunny，其Clickhouse版单机性能相比MySQL版有显著提升，日志并发处理能力从2.8万/分钟提升至20万+/分钟。 支持更大数据量级：改造完成后的Webfunny能够支持更大的数据量级，显著提升使用体验。
2025-04-28