• 11.6 重采样及频率转换
    • 降采样
    • OHLC重采样
    • 升采样和插值
    • 通过时期进行重采样

    11.6 重采样及频率转换

    重采样（resampling）指的是将时间序列从一个频率转换到另一个频率的处理过程。将高频率数据聚合到低频率称为降采样（downsampling），而将低频率数据转换到高频率则称为升采样（upsampling）。并不是所有的重采样都能被划分到这两个大类中。例如，将W-WED（每周三）转换为W-FRI既不是降采样也不是升采样。

    pandas对象都带有一个resample方法，它是各种频率转换工作的主力函数。resample有一个类似于groupby的API，调用resample可以分组数据，然后会调用一个聚合函数：

    1. In [208]: rng = pd.date_range('2000-01-01', periods=100, freq='D')
    3. In [209]: ts = pd.Series(np.random.randn(len(rng)), index=rng)
    5. In [210]: ts
    6. Out[210]: 
    7. 2000-01-01    0.631634
    8. 2000-01-02   -1.594313
    9. 2000-01-03   -1.519937
    10. 2000-01-04    1.108752
    11. 2000-01-05    1.255853
    12. 2000-01-06   -0.024330
    13. 2000-01-07   -2.047939
    14. 2000-01-08   -0.272657
    15. 2000-01-09   -1.692615
    16. 2000-01-10    1.423830
    17.                 ...   
    18. 2000-03-31   -0.007852
    19. 2000-04-01   -1.638806
    20. 2000-04-02    1.401227
    21. 2000-04-03    1.758539
    22. 2000-04-04    0.628932
    23. 2000-04-05   -0.423776
    24. 2000-04-06    0.789740
    25. 2000-04-07    0.937568
    26. 2000-04-08   -2.253294
    27. 2000-04-09   -1.772919
    28. Freq: D, Length: 100, dtype: float64
    30. In [211]: ts.resample('M').mean()
    31. Out[211]: 
    32. 2000-01-31   -0.165893
    33. 2000-02-29    0.078606
    34. 2000-03-31    0.223811
    35. 2000-04-30   -0.063643
    36. Freq: M, dtype: float64
    38. In [212]: ts.resample('M', kind='period').mean()
    39. Out[212]: 
    40. 2000-01   -0.165893
    41. 2000-02    0.078606
    42. 2000-03    0.223811
    43. 2000-04   -0.063643
    44. Freq: M, dtype: float64

    resample是一个灵活高效的方法，可用于处理非常大的时间序列。我将通过一系列的示例说明其用法。表11-5总结它的一些选项。

    表11-5 resample方法的参数
    11.6 重采样及频率转换 - 图1

    降采样

    将数据聚合到规律的低频率是一件非常普通的时间序列处理任务。待聚合的数据不必拥有固定的频率，期望的频率会自动定义聚合的面元边界，这些面元用于将时间序列拆分为多个片段。例如，要转换到月度频率（’M’或’BM’），数据需要被划分到多个单月时间段中。各时间段都是半开放的。一个数据点只能属于一个时间段，所有时间段的并集必须能组成整个时间帧。在用resample对数据进行降采样时，需要考虑两样东西：

    • 各区间哪边是闭合的。
    • 如何标记各个聚合面元，用区间的开头还是末尾。

    为了说明，我们来看一些“1分钟”数据：

    1. In [213]: rng = pd.date_range('2000-01-01', periods=12, freq='T')
    3. In [214]: ts = pd.Series(np.arange(12), index=rng)
    5. In [215]: ts
    6. Out[215]: 
    7. 2000-01-01 00:00:00     0
    8. 2000-01-01 00:01:00     1
    9. 2000-01-01 00:02:00     2
    10. 2000-01-01 00:03:00     3
    11. 2000-01-01 00:04:00     4
    12. 2000-01-01 00:05:00     5
    13. 2000-01-01 00:06:00     6
    14. 2000-01-01 00:07:00     7
    15. 2000-01-01 00:08:00     8
    16. 2000-01-01 00:09:00     9
    17. 2000-01-01 00:10:00    10
    18. 2000-01-01 00:11:00    11
    19. Freq: T, dtype: int64

    假设你想要通过求和的方式将这些数据聚合到“5分钟”块中：

    1. In [216]: ts.resample('5min', closed='right').sum()
    2. Out[216]: 
    3. 1999-12-31 23:55:00     0
    4. 2000-01-01 00:00:00    15
    5. 2000-01-01 00:05:00    40
    6. 2000-01-01 00:10:00    11
    7. Freq: 5T, dtype: int64

    传入的频率将会以“5分钟”的增量定义面元边界。默认情况下，面元的右边界是包含的，因此00:00到00:05的区间中是包含00:05的。传入closed=’left’会让区间以左边界闭合：

    1. In [217]: ts.resample('5min', closed='right').sum()
    2. Out[217]: 
    3. 1999-12-31 23:55:00     0
    4. 2000-01-01 00:00:00    15
    5. 2000-01-01 00:05:00    40
    6. 2000-01-01 00:10:00    11
    7. Freq: 5T, dtype: int64

    如你所见，最终的时间序列是以各面元右边界的时间戳进行标记的。传入label=’right’即可用面元的邮编界对其进行标记：

    1. In [218]: ts.resample('5min', closed='right', label='right').sum()
    2. Out[218]: 
    3. 2000-01-01 00:00:00     0
    4. 2000-01-01 00:05:00    15
    5. 2000-01-01 00:10:00    40
    6. 2000-01-01 00:15:00    11
    7. Freq: 5T, dtype: int64

    图11-3说明了“1分钟”数据被转换为“5分钟”数据的处理过程。

    图11-3 各种closed、label约定的“5分钟”重采样演示

    最后，你可能希望对结果索引做一些位移，比如从右边界减去一秒以便更容易明白该时间戳到底表示的是哪个区间。只需通过loffset设置一个字符串或日期偏移量即可实现这个目的：

    1. In [219]: ts.resample('5min', closed='right',
    2.    .....:             label='right', loffset='-1s').sum()
    3. Out[219]: 
    4. 1999-12-31 23:59:59     0
    5. 2000-01-01 00:04:59    15
    6. In [219]: ts.resample('5min', closed='right',
    7.    .....:             label='right', loffset='-1s').sum()
    8. Out[219]: 
    9. 1999-12-31 23:59:59     0
    10. 2000-01-01 00:04:59    15

    此外，也可以通过调用结果对象的shift方法来实现该目的，这样就不需要设置loffset了。

    OHLC重采样

    金融领域中有一种无所不在的时间序列聚合方式，即计算各面元的四个值：第一个值（open，开盘）、最后一个值（close，收盘）、最大值（high，最高）以及最小值（low，最低）。传入how=’ohlc’即可得到一个含有这四种聚合值的DataFrame。整个过程很高效，只需一次扫描即可计算出结果：

    1. In [220]: ts.resample('5min').ohlc()
    2. Out[220]: 
    3.                      open  high  low  close
    4. 2000-01-01 00:00:00     0     4    0      4
    5. 2000-01-01 00:05:00     5     9    5      9
    6. 2000-01-01 00:10:00    10    11   10     11

    升采样和插值

    在将数据从低频率转换到高频率时，就不需要聚合了。我们来看一个带有一些周型数据的DataFrame：

    1. In [221]: frame = pd.DataFrame(np.random.randn(2, 4),
    2.    .....:                      index=pd.date_range('1/1/2000', periods=2,
    3.    .....:                                          freq='W-WED'),
    4.    .....:                      columns=['Colorado', 'Texas', 'New York', 'Ohio'])
    6. In [222]: frame
    7. Out[222]: 
    8.             Colorado     Texas  New York      Ohio
    9. 2000-01-05 -0.896431  0.677263  0.036503  0.087102
    10. 2000-01-12 -0.046662  0.927238  0.482284 -0.867130

    当你对这个数据进行聚合，每组只有一个值，这样就会引入缺失值。我们使用asfreq方法转换成高频，不经过聚合：

    1. In [223]: df_daily = frame.resample('D').asfreq()
    3. In [224]: df_daily
    4. Out[224]: 
    5.             Colorado     Texas  New York      Ohio
    6. 2000-01-05 -0.896431  0.677263  0.036503  0.087102
    7. 2000-01-06       NaN       NaN       NaN       NaN
    8. 2000-01-07       NaN       NaN       NaN       NaN
    9. 2000-01-08       NaN       NaN       NaN       NaN
    10. 2000-01-09       NaN       NaN       NaN       NaN
    11. 2000-01-10       NaN       NaN       NaN       NaN
    12. 2000-01-11       NaN       NaN       NaN       NaN
    13. 2000-01-12 -0.046662  0.927238  0.482284 -0.867130

    假设你想要用前面的周型值填充“非星期三”。resampling的填充和插值方式跟fillna和reindex的一样：

    1. In [225]: frame.resample('D').ffill()
    2. Out[225]: 
    3.             Colorado     Texas  New York      Ohio
    4. 2000-01-05 -0.896431  0.677263  0.036503  0.087102
    5. 2000-01-06 -0.896431  0.677263  0.036503  0.087102
    6. 2000-01-07 -0.896431  0.677263  0.036503  0.087102
    7. 2000-01-08 -0.896431  0.677263  0.036503  0.087102
    8. 2000-01-09 -0.896431  0.677263  0.036503  0.087102
    9. 2000-01-10 -0.896431  0.677263  0.036503  0.087102
    10. 2000-01-11 -0.896431  0.677263  0.036503  0.087102
    11. 2000-01-12 -0.046662  0.927238  0.482284 -0.867130

    同样，这里也可以只填充指定的时期数（目的是限制前面的观测值的持续使用距离）：

    1. In [226]: frame.resample('D').ffill(limit=2)
    2. Out[226]:
    3.             Colorado     Texas  New York      Ohio
    4. 2000-01-05 -0.896431  0.677263  0.036503  0.087102
    5. 2000-01-06 -0.896431  0.677263  0.036503  0.087102
    6. 2000-01-07 -0.896431  0.677263  0.036503  0.087102
    7. 2000-01-08       NaN       NaN       NaN       NaN
    8. 2000-01-09       NaN       NaN       NaN       NaN
    9. 2000-01-10       NaN       NaN       NaN       NaN
    10. 2000-01-11       NaN       NaN       NaN       NaN
    11. 2000-01-12 -0.046662  0.927238  0.482284 -0.867130

    注意，新的日期索引完全没必要跟旧的重叠：

    1. In [227]: frame.resample('W-THU').ffill()
    2. Out[227]: 
    3.             Colorado     Texas  New York      Ohio
    4. 2000-01-06 -0.896431  0.677263  0.036503  0.087102
    5. 2000-01-13 -0.046662  0.927238  0.482284 -0.867130

    通过时期进行重采样

    对那些使用时期索引的数据进行重采样与时间戳很像：

    1. In [228]: frame = pd.DataFrame(np.random.randn(24, 4),
    2.    .....:                      index=pd.period_range('1-2000', '12-2001',
    3.    .....:                                            freq='M'),
    4.    .....:                      columns=['Colorado', 'Texas', 'New York', 'Ohio'])
    6. In [229]: frame[:5]
    7. Out[229]: 
    8.          Colorado     Texas  New York      Ohio
    9. 2000-01  0.493841 -0.155434  1.397286  1.507055
    10. 2000-02 -1.179442  0.443171  1.395676 -0.529658
    11. 2000-03  0.787358  0.248845  0.743239  1.267746
    12. 2000-04  1.302395 -0.272154 -0.051532 -0.467740
    13. 2000-05 -1.040816  0.426419  0.312945 -1.115689
    15. In [230]: annual_frame = frame.resample('A-DEC').mean()
    17. In [231]: annual_frame
    18. Out[231]: 
    19.       Colorado     Texas  New York      Ohio
    20. 2000  0.556703  0.016631  0.111873 -0.027445
    21. 2001  0.046303  0.163344  0.251503 -0.157276

    升采样要稍微麻烦一些，因为你必须决定在新频率中各区间的哪端用于放置原来的值，就像asfreq方法那样。convention参数默认为’start’，也可设置为’end’：

    1. # Q-DEC: Quarterly, year ending in December
    2. In [232]: annual_frame.resample('Q-DEC').ffill()
    3. Out[232]: 
    4.         Colorado     Texas  New York      Ohio
    5. 2000Q1  0.556703  0.016631  0.111873 -0.027445
    6. 2000Q2  0.556703  0.016631  0.111873 -0.027445
    7. 2000Q3  0.556703  0.016631  0.111873 -0.027445
    8. 2000Q4  0.556703  0.016631  0.111873 -0.027445
    9. 2001Q1  0.046303  0.163344  0.251503 -0.157276
    10. 2001Q2  0.046303  0.163344  0.251503 -0.157276
    11. 2001Q3  0.046303  0.163344  0.251503 -0.157276
    12. 2001Q4  0.046303  0.163344  0.251503 -0.157276
    14. In [233]: annual_frame.resample('Q-DEC', convention='end').ffill()
    15. Out[233]: 
    16.         Colorado     Texas  New York      Ohio
    17. 2000Q4  0.556703  0.016631  0.111873 -0.027445
    18. 2001Q1  0.556703  0.016631  0.111873 -0.027445
    19. 2001Q2  0.556703  0.016631  0.111873 -0.027445
    20. 2001Q3  0.556703  0.016631  0.111873 -0.027445
    21. 2001Q4  0.046303  0.163344  0.251503 -0.157276

    由于时期指的是时间区间，所以升采样和降采样的规则就比较严格：

    • 在降采样中，目标频率必须是源频率的子时期（subperiod）。
    • 在升采样中，目标频率必须是源频率的超时期（superperiod）。

    如果不满足这些条件，就会引发异常。这主要影响的是按季、年、周计算的频率。例如，由Q-MAR定义的时间区间只能升采样为A-MAR、A-JUN、A-SEP、A-DEC等：

    1. In [234]: annual_frame.resample('Q-MAR').ffill()
    2. Out[234]: 
    3.         Colorado     Texas  New York      Ohio
    4. 2000Q4  0.556703  0.016631  0.111873 -0.027445
    5. 2001Q1  0.556703  0.016631  0.111873 -0.027445
    6. 2001Q2  0.556703  0.016631  0.111873 -0.027445
    7. 2001Q3  0.556703  0.016631  0.111873 -0.027445
    8. 2001Q4  0.046303  0.163344  0.251503 -0.157276
    9. 2002Q1  0.046303  0.163344  0.251503 -0.157276
    10. 2002Q2  0.046303  0.163344  0.251503 -0.157276
    11. 2002Q3  0.046303  0.163344  0.251503 -0.157276