檬味博客 » 问答 » mySQL » mysql数据库百万级以上数据，如何对其进行边查询变更新？

mysql数据库百万级以上数据，如何对其进行边查询变更新？

我们先创建一个测试数据库：快速创建一些数据：连续执行同样的 SQL 数次，就可以快速构造千万级别的数据：查看一下总的行数：我们来释放一个大的 update：然后另起一个 session，观察 performance_schema 中的信息：可以看到，performance_schema 会列出当前 SQL 从引擎获取的行数。等 SQL 结束后，我们看...
mysql数据库百万级以上数据，如何对其进行边查询变更新？
如果查询简单的话，就一条一条操作，慢慢跑去吧
看你这个没什么条件的话，怎么都得每条数据都操作一遍的
分段操作或者别的办法，也是相当于最后每条数据都操作了一遍
所以就没什么必要了2016-02-02
有时候我们会不小心对一个大表进行了 update，比如说写错了 where 条件......
此时，如果 kill 掉 update 线程，那回滚 undo log 需要不少时间。如果放置不管，也不知道 update 会持续多久。
那我们能知道 update 的进度么？

实验
我们先创建一个测试数据库：

快速创建一些数据：

连续执行同样的 SQL 数次，就可以快速构造千万级别的数据：

查看一下总的行数：

我们来释放一个大的 update：

然后另起一个 session，观察 performance_schema 中的信息：

可以看到，performance_schema 会列出当前 SQL 从引擎获取的行数。
等 SQL 结束后，我们看一下 update 从引擎总共获取了多少行：

可以看到该 update 从引擎总共获取的行数是表大小的两倍，那我们可以估算：update 的进度 = (rows_examined) / (2 * 表行数)

💡小贴士
information_schema.tables 中，提供了对表行数的估算，比起使用 select count(1) 的成本低很多，几乎可以忽略不计。
那么是不是所有的 update，从引擎中获取的行数都会是表大小的两倍呢？这个还是要分情况讨论的，上面的 SQL 更新了主键，如果只更新内容而不更新主键呢？我们来试验一下：

等待 update 结束，查看 row_examined，发现其刚好是表大小：

那我们怎么准确的这个倍数呢？
一种方法是靠经验：update 语句的 where 中会扫描多少行，是否修改主键，是否修改唯一键，以这些条件来估算系数。
另一种方法就是在同样结构的较小的表上试验一下，获取倍数。
这样，我们就能准确估算一个“不小心”执行的大型 update 的进度了。
2020-10-19
mengvlog 阅读 408 次 更新于 2025-09-09 18:30:16 我来答关注问题0
2 个回答檬味博客专题活动
  • 深空见闻 mysql导出百万级数据如何查询

    MySQL导出百万级数据的查询可以通过分页查询、建立索引、使用游标和批处理脚本等方法实现。1. 分页查询 分页查询是将大数据集分成小块进行查询的有效方法。通过使用LIMIT和OFFSET子句，可以每次只查询一部分数据，从而避免一次性加载过多数据导致的内存溢出等问题。例如，可以使用如下的查询语句：SELECT * FROM ...

  • 懂视生活 使用MySQL处理百万级以上数据时,不得不知道的几个常识

    1、并不是所有索引对查询都有效,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引,如一表中有字段 sex,male、female几乎各一半,那么即使在sex上建了索引也对查询效率起不了作用。 2、索引并不是越多越好,索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及...

  • 懂视生活 mysql处理百万级以上的数据时如何提高其查询速度的方法

    1、应尽量避免在 where 子句中使用!=或操作符，否则将引擎放弃使用索引而进行全表扫描。 2、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 3、应尽量避免在 where 子句中对字段进行 null 判断，否则将导致引擎 1、应尽量避免在 where 子句中使用!=...

  • 翡希信息咨询 EasyExcel处理Mysql百万数据的导入导出案例,秒级效率,拿来即用!

    一、技术选型与前期准备 技术选型：选择EasyExcel作为大数据量处理的工具，因其对大数据量的支持能力较强。数据准备：创建User表用于存储用户信息。准备Excel模板，用于数据的导入和导出。模拟百万级数据，推荐使用存储过程进行导入，虽然性能可能不是最优，但相比手动添加数据，效率更高且文件大小可控。二、Sp...

  • 草原上之狼 关于mysql处理百万级以上的数据时如何提高

    关于mysql处理百万级以上的数据时如何提高其查询速度的方法 最近一段时间由于工作需要，开始关注针对Mysql数据库的select查询语句的相关优化方法。由于在参与的实际项目中发现当mysql表的数据量达到百万级时，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速度简直无法容忍。曾经测试对一个...

其他mySQL类似问题

檬味博客在线解答立即免费咨询

mySQL相关话题

Copyright © 2023 WWW.MENGVLOG.COM - 檬味博客
返回顶部