– Hive、Oracle等会报错，mysql可以这样写。– 返回1, 1 或 1, 2 ; 2, 1（共两行）。只会对group by后面的字段去重，就是说最后返回的记录数等于上一段sql的记录数，即2条 – 没有放在group by后面但是在select中放了的字段，只会返回一条记录（好像通常是第一条，应该是没有规律的）
【163期】MYSQL 中 SQL 语句三种去除重复数据的方法
在使用SQL提数时，我们时常会遇到表内有重复值的情况。例如，当我们想得到uv（独立访客）时，就需要进行数据去重。
在MySQL中，我们通常使用distinct或group by子句进行去重。而在支持窗口函数的SQL（如Hive SQL、Oracle等）中，还可以使用row_number窗口函数进行去重。
以下是一个例子，假设我们有一张名为task的表：
备注：注意，一个任务对应多条订单。
我们需要求出任务的总数量，因为task_id并非唯一的，所以需要进行去重：
distinct
– 列出task_id的所有唯一值（去重后的记录）
– select distinct task_id
– from Task;
– 任务总数
select count(distinct task_id) task_num
from Task;
distinct通常效率较低。它不适合用来展示去重后具体的值，一般与count配合用来计算条数。
distinct使用中，放在select后边，对后面所有的字段的值统一进行去重。比如distinct后面有两个字段，那么1,1和1,2这两条记录不是重复值。
group by
– 列出task_id的所有唯一值（去重后的记录，null也是值）
– select task_id
– from Task
– group by task_id;
– 任务总数
select count(task_id) task_num
from (select task_id
from Task
group by task_id) tmp;
row_number
row_number是窗口函数，语法如下：
row_number() over (partition by order by )
其中partition by部分可省略。另外，推荐面试资料，公众号Java精选，回复Java面试，获取最新面试题资料，支持随时随地在线刷题。
– 在支持窗口函数的SQL中使用
select count(case when rn=1 then task_id else null end) task_num
from (select task_id
, row_number() over (partition by task_id order by start_time) rn
from Task) tmp;
此外，再借助一个表test来理理distinct和group by在去重中的使用：
– 下方的分号;用来分隔行，关注公众号Java精选，有惊喜！你懂的
select distinct user_id
from Test; -- 返回 1; 2
select distinct user_id, user_type
from Test; -- 返回1, 1; 1, 2; 2, 1
select user_id
from Test
group by user_id; -- 返回1; 2
select user_id, user_type
from Test
group by user_id, user_type; -- 返回1, 1; 1, 2; 2, 1
select user_id, user_type
from Test
group by user_id;
– Hive、Oracle等会报错，mysql可以这样写。
– 返回1, 1 或 1, 2 ; 2, 1（共两行）。只会对group by后面的字段去重，就是说最后返回的记录数等于上一段sql的记录数，即2条
– 没有放在group by后面但是在select中放了的字段，只会返回一条记录（好像通常是第一条，应该是没有规律的）2024-10-18
