檬味博客 » 问答 » mySQL » mysql数据库百万级以上数据，如何对其进行边查询变更新

mysql数据库百万级以上数据，如何对其进行边查询变更新

我们先创建一个测试数据库：快速创建一些数据：连续执行同样的 SQL 数次，就可以快速构造千万级别的数据：查看一下总的行数：我们来释放一个大的 update：然后另起一个 session，观察 performance_schema 中的信息：可以看到，performance_schema 会列出当前 SQL 从引擎获取的行数。等 SQL 结束后，我们看...
mysql数据库百万级以上数据，如何对其进行边查询变更新
有时候我们会不小心对一个大表进行了 update，比如说写错了 where 条件......
此时，如果 kill 掉 update 线程，那回滚 undo log 需要不少时间。如果放置不管，也不知道 update 会持续多久。
那我们能知道 update 的进度么？

实验
我们先创建一个测试数据库：

快速创建一些数据：

连续执行同样的 SQL 数次，就可以快速构造千万级别的数据：

查看一下总的行数：

我们来释放一个大的 update：

然后另起一个 session，观察 performance_schema 中的信息：

可以看到，performance_schema 会列出当前 SQL 从引擎获取的行数。
等 SQL 结束后，我们看一下 update 从引擎总共获取了多少行：

可以看到该 update 从引擎总共获取的行数是表大小的两倍，那我们可以估算：update 的进度 = (rows_examined) / (2 * 表行数)

💡小贴士
information_schema.tables 中，提供了对表行数的估算，比起使用 select count(1) 的成本低很多，几乎可以忽略不计。
那么是不是所有的 update，从引擎中获取的行数都会是表大小的两倍呢？这个还是要分情况讨论的，上面的 SQL 更新了主键，如果只更新内容而不更新主键呢？我们来试验一下：

等待 update 结束，查看 row_examined，发现其刚好是表大小：

那我们怎么准确的这个倍数呢？
一种方法是靠经验：update 语句的 where 中会扫描多少行，是否修改主键，是否修改唯一键，以这些条件来估算系数。
另一种方法就是在同样结构的较小的表上试验一下，获取倍数。
这样，我们就能准确估算一个“不小心”执行的大型 update 的进度了。
2020-10-20
mengvlog 阅读 47 次 更新于 2025-10-29 14:58:56 我来答关注问题0
1 个回答檬味博客专题活动
  • 深空见闻 mysql导出百万级数据如何查询

    MySQL导出百万级数据的查询可以通过分页查询、建立索引、使用游标和批处理脚本等方法实现。1. 分页查询 分页查询是将大数据集分成小块进行查询的有效方法。通过使用LIMIT和OFFSET子句，可以每次只查询一部分数据，从而避免一次性加载过多数据导致的内存溢出等问题。例如，可以使用如下的查询语句：SELECT * FROM ...

  • 懂视生活 使用MySQL处理百万级以上数据时,不得不知道的几个常识

    1、并不是所有索引对查询都有效,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引,如一表中有字段 sex,male、female几乎各一半,那么即使在sex上建了索引也对查询效率起不了作用。 2、索引并不是越多越好,索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及...

  • 懂视生活 mysql处理百万级以上的数据时如何提高其查询速度的方法

    1、应尽量避免在 where 子句中使用!=或操作符，否则将引擎放弃使用索引而进行全表扫描。 2、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 3、应尽量避免在 where 子句中对字段进行 null 判断，否则将导致引擎 1、应尽量避免在 where 子句中使用!=...

  • 草原上之狼 关于mysql处理百万级以上的数据时如何提高

    27、与临时表一样，游标并不是不可使用。对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法，尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时 间允许，基于游标的方法和基于集的方法都可以尝试一下，看哪一种方法的效...

  • 誉祥祥知识 如何快速导入百万数据库到mysql.现在我的处理方式是读取原数据库表的所

    在处理百万级数据库导入到MySQL的过程中，采用事务方式可以有效提升数据处理的效率。首先，开启一个事务，确保数据的完整性和一致性。接着，读取原数据库表的数据，逐条写入目标数据库。在每写入10万条左右的数据后，执行一次事务提交（commit），以确保这段时间内的数据变更能够被安全保存。这样的操作方法...

其他mySQL类似问题

檬味博客在线解答立即免费咨询

mySQL相关话题

Copyright © 2023 WWW.MENGVLOG.COM - 檬味博客
返回顶部