檬味博客 » 问答 » mySQL » mysql数据库百万级以上数据，如何对其进行边查询变更新

mysql数据库百万级以上数据，如何对其进行边查询变更新

我们先创建一个测试数据库：快速创建一些数据：连续执行同样的 SQL 数次，就可以快速构造千万级别的数据：查看一下总的行数：我们来释放一个大的 update：然后另起一个 session，观察 performance_schema 中的信息：可以看到，performance_schema 会列出当前 SQL 从引擎获取的行数。等 SQL 结束后，我们看...
mysql数据库百万级以上数据，如何对其进行边查询变更新
有时候我们会不小心对一个大表进行了 update，比如说写错了 where 条件......
此时，如果 kill 掉 update 线程，那回滚 undo log 需要不少时间。如果放置不管，也不知道 update 会持续多久。
那我们能知道 update 的进度么？

实验
我们先创建一个测试数据库：

快速创建一些数据：

连续执行同样的 SQL 数次，就可以快速构造千万级别的数据：

查看一下总的行数：

我们来释放一个大的 update：

然后另起一个 session，观察 performance_schema 中的信息：

可以看到，performance_schema 会列出当前 SQL 从引擎获取的行数。
等 SQL 结束后，我们看一下 update 从引擎总共获取了多少行：

可以看到该 update 从引擎总共获取的行数是表大小的两倍，那我们可以估算：update 的进度 = (rows_examined) / (2 * 表行数)

💡小贴士
information_schema.tables 中，提供了对表行数的估算，比起使用 select count(1) 的成本低很多，几乎可以忽略不计。
那么是不是所有的 update，从引擎中获取的行数都会是表大小的两倍呢？这个还是要分情况讨论的，上面的 SQL 更新了主键，如果只更新内容而不更新主键呢？我们来试验一下：

等待 update 结束，查看 row_examined，发现其刚好是表大小：

那我们怎么准确的这个倍数呢？
一种方法是靠经验：update 语句的 where 中会扫描多少行，是否修改主键，是否修改唯一键，以这些条件来估算系数。
另一种方法就是在同样结构的较小的表上试验一下，获取倍数。
这样，我们就能准确估算一个“不小心”执行的大型 update 的进度了。
2020-10-20
mengvlog 阅读 10 次 更新于 2025-07-20 22:34:55 我来答关注问题0
1 个回答檬味博客专题活动
  • 深空见闻 mysql导出百万级数据如何查询

    MySQL导出百万级数据的查询可以通过分页查询、建立索引、使用游标和批处理脚本等方法实现。1. 分页查询 分页查询是将大数据集分成小块进行查询的有效方法。通过使用LIMIT和OFFSET子句，可以每次只查询一部分数据，从而避免一次性加载过多数据导致的内存溢出等问题。例如，可以使用如下的查询语句：SELECT * FROM ...

  • 翡希信息咨询 面试官问:MySQL中百万级数据量,如何分页查询?

    在MySQL中处理百万级数据量的分页查询时，可以采取以下几种策略来提高查询效率：利用LIMIT功能：直接使用SQL语句中的LIMIT子句进行分页，例如SELECT * FROM table_name LIMIT 10 OFFSET 990来查询第100页的前10条记录。但随着页码增大，OFFSET的值也会增大，导致查询效率降低。建立主键或唯一索引：结合LIMIT...

  • 文暄生活科普 mysql百万级数据如何做分页查询?

    首先，了解`LIMIT`与`OFFSET`的区别：`LIMIT offset size`表示从第`offset`条数据开始，取出`size`条数据；而`LIMIT size`等同于`LIMIT 0, size`，即从第0条数据开始取出`size`条数据。它们的关键区别在于`offset`的数值。在查询百万级数据时，若使用`LIMIT 1000, 10`与`LIMIT 10`，前者会获取10...

  • 文暄生活科普 面试官问:MySQL中百万级数据量,如何分页查询?

    当面对MySQL中百万级数据量的分页查询时，面试官可能会关心如何高效地实现。这里有几种方法：1. 直接利用数据库SQL语句的LIMIT功能，但随着页码增大，查询效率会降低。2. 建立主键或唯一索引，结合每页限制（如10条），利用索引进行定位，减少全表扫描。3. 利用ORDER BY与索引配合，快速定位部分数据，如...

  • 懂视生活 使用MySQL处理百万级以上数据时,不得不知道的几个常识

    1、并不是所有索引对查询都有效,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引,如一表中有字段 sex,male、female几乎各一半,那么即使在sex上建了索引也对查询效率起不了作用。 2、索引并不是越多越好,索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及...

其他mySQL类似问题

檬味博客在线解答立即免费咨询

mySQL相关话题

Copyright © 2023 WWW.MENGVLOG.COM - 檬味博客
返回顶部