SQL去重查询怎么实现_深入讲解快速提升实战能力【指导】

SQL去重核心是DISTINCT与GROUP BY：DISTINCT用于整行去重，简单但不灵活；GROUP BY配合聚合函数可按规则留指定记录，适合需保留最新/最早等场景。

SQL去重查询核心靠 DISTINCT 和 GROUP BY，选对方法取决于你要保留哪条记录、是否需要聚合计算、以及数据量大小。盲目用 DISTINCT 可能掩盖业务逻辑，而乱用 GROUP BY 又容易出错——关键不是“去重”，而是“按什么规则留一条”。

用 DISTINCT 做基础行级去重

DISTINCT 作用于整行（所有 SELECT 字段组合），只要字段值完全相同，就只返回一行。它最简单，但不灵活。

• 语法直接：SELECT DISTINCT col1, col2 FROM table_name;
• 注意：DISTINCT 必须放在 SELECT 后第一个位置，不能写成 SELECT col1, DISTINCT col2
• 常见误区：SELECT DISTINCT id, name FROM users; 如果两条记录 id 不同但 name 相同，仍算两行——DISTINCT 看的是整行，不是单个字段
• 性能提示：字段越多、数据量越大，DISTINCT 排序去重开销越高；建议在常用去重字段上建联合索引

用 GROUP BY + 聚合函数精准控制留哪条

当你要“每个分组留最新/最早/最高分那条”时，DISTINCT 不够用，必须用 GROUP BY 配合 MIN/MAX/ROW_NUMBER() 等。

• 基础用法：SELECT user_id, MAX(create_time) FROM orders GROUP BY user_id; —— 每个用户最新下单时间
• 想查完整记录（比如最新订单的全部字段）？得嵌套或用窗口函数：
  SELECT * FROM (SELECT *, ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY create_time DESC) rn FROM orders) t WHERE rn = 1;
• GROUP BY 字段必须出现在 SELECT 中（除非是聚合值），否则报错（MySQL 5.7+ 严格模式下）

删除重复数据：别只查，还要改

去重查询常是清洗数据的第一步，真正落地要删掉冗余行。安全做法是先查再删，避免误操作。

标签： mysql 大数据 ai 聚合函数