Pandas数据合并：处理多时间频率DataFrame的完整指南

admin 百科 2025-12-13 13

本教程详细阐述了如何使用pandas高效合并具有不同时间步长的多个dataframe。通过利用`pd.merge`函数的`how='outer'`参数，我们能够将所有时间点的数据整合到一个统一的数据帧中，并自动处理缺失值，确保所有时间序列信息的完整性。文章提供了具体的代码示例和专业指导，帮助读者掌握此类复杂数据合并技巧。

引言

在数据分析和处理中，我们经常会遇到需要整合来自不同来源或以不同频率采集的时间序列数据。例如，传感器A每10分钟记录一次数据，传感器B每15分钟记录一次，而传感器C每30分钟记录一次。将这些具有不同时间步长（或称为时间粒度）的数据帧（DataFrame）合并成一个统一的视图，同时保留所有原始时间点并清晰标记缺失数据，是一个常见的挑战。本教程将深入探讨如何使用Pandas库有效地解决这一问题。

挑战分析：多时间频率数据合并

假设我们有三个DataFrame，df1、df2和df3，它们各自包含Timestamp列和对应的数据列（data1、data2、data3）。它们的时间步长分别为10分钟、15分钟和30分钟。

Pandas数据合并：处理多时间频率DataFrame的完整指南-第2张图片-佛山资讯网

原始数据结构示例：

df1 (10分钟步长):

Timestamp	data1
2019/04/02 10:00:00	1
2019/04/02 10:10:00	1
2019/04/02 10:20:00	1
2019/04/02 10:30:00	1

df2 (15分钟步长):

Timestamp	data2
2019/04/02 10:00:00	2
2019/04/02 10:15:00	22
2019/04/02 10:30:00	222
2019/04/02 10:45:00	2222
2019/04/02 11:00:00	22222

df3 (30分钟步长):

Timestamp	data3
2019/04/02 10:00:00	3
2019/04/02 10:30:00	33
2019/04/02 11:00:00	333
2019/04/02 11:30:00	3333

我们的目标是生成一个包含所有独特时间戳的合并DataFrame。对于在某个特定时间点上，如果某个原始DataFrame没有对应的数据，则其相应的数据列应显示为NaN（Not a Number）。

期望结果示例：

Timestamp	data1	data2	data3
2019/04/02 10:00:00	1	2	3
2019/04/02 10:10:00	1	NaN	NaN
2019/04/02 10:15:00	NaN	22	NaN
2019/04/02 10:20:00	1	NaN	NaN
2019/04/02 10:30:00	1	222	33
2019/04/02 10:45:00	NaN	2222	NaN
2019/04/02 11:00:00	NaN	22222	333
2019/04/02 11:30:00	NaN	NaN	3333

Pandas合并策略：outer连接的优势

Pandas提供了强大的merge函数来合并DataFrames。解决上述问题的关键在于使用how='outer'参数进行合并。

pd.merge()函数：用于根据一个或多个键列（这里是Timestamp）组合两个DataFrame。
how参数：定义了合并类型。
- 'inner'：只保留两个DataFrame中都存在的键。
- 'left'：保留左DataFrame的所有键，并匹配右DataFrame的键。
- 'right'：保留右DataFrame的所有键，并匹配左DataFrame的键。
- 'outer'：保留两个DataFrame中所有独特的键。如果某个键只存在于其中一个DataFrame中，则在另一个DataFrame对应的列中填充NaN。

how='outer'正是我们所需要的，它确保了所有DataFrame中的所有时间戳都会被包含在最终结果中，并且对于那些在特定时间点没有数据的列，会用NaN进行填充，完美符合我们的期望。