Python 键值分组或分区数据

Python 使用键值分组或者分区数据，对分组后的数据做何种归约是没有限制的。数据中可能包含一些自变量或者因变量。可以通过自变量对数据进行分区，然后计算每个分区的各项汇总值，包括最大值、最小值、平均值以及标准差等。

对数据做复杂归约的关键是保存每组中的所有数据。Counter函数仅收集相同数据出现的频次，我们需要基于键值将原始数据转换为序列。

简而言之，每个5海里的箱子中都保存了该范围内路径段的所有数据，而不仅仅是出现次数。不妨将分区看作递归，或者defaultdict(list)对象的有状态应用，下面介绍groupby()函数的递归定义，它相对简单一些。

显然，groupby(C, key)函数对空集合C的返回值是空字典dict()，或者一般而言，空defaultdict(list)对象。

对于非空集合，首先处理集合头部C[0]，然后递归处理集合尾部C[1:]。可以使用head, *tail = C来提取集合的头部和尾部，如下所示：

>>> C= [1,2,3,4,5]
>>> head, *tail = C
>>> head
1
>>> tail
[2, 3, 4, 5]

下面用dict[key(head)].append(head)将头部元素放入结果字典中，然后用groupby (tail, key)方法处理剩余数据。

如下所示创建函数：

from typing import Callable, Sequence, Dict, List, TypeVar
S_ = TypeVar("S_")
K_ = TypeVar("K_")
def group_by(
        key: Callable[[S_], K_],
        data: Sequence[S_]
    ) -> Dict[K_, List[S_]]:

    def group_into(
            key: Callable[[S_], K_],
            collection: Sequence[S_],
            dictionary: Dict[K_, List[S_]]
        ) -> Dict[K_, List[S_]]:
        if len(collection) == 0:
            return dictionary
        head, *tail = collection
        dictionary[key(head)].append(head)
        return group_into(key, tail, dictionary)

    return group_into(key, data, defaultdict(list))

内部函数group_into()实现了核心的递归定义部分，当集合collection为空时返回输入的字典参数。非空集合则分成头部和尾部，头部用于更新字典，尾部包含所有剩余元素，以递归方式更新字典。

类型标示区分了数据源类型S_和键类型K_。作为key参数的函数必须接收S_类型的参数，返回K_类型的值。前面很多例子都包含了从Leg对象中取出距离的函数。套用Callable[[S_], K_]，数据源类型S_是Leg，键类型K_是float。

这里不能用Python的默认参数将上面的函数简化为简单函数，例如下面的实现方法不可取：

def group_by(key, data, dictionary=defaultdict(list)):

这样写的话，对group_by()函数的所有调用都将使用同一个defaultdict(list)对象。Python只创建一次默认值，用可变对象做默认值，其行为往往不符合开发者的预期。这里选用嵌套函数作为实现方案，而没有使用不可变的默认参数（例如None）结合复杂的逻辑判断来实现。用外层包装函数初始化内嵌函数的参数。

下面对距离数据进行分组：

binned_distance = lambda leg: 5 * (leg[2] // 5)
by_distance = group_by(binned_distance, trip)

首先定义了一个简单且可复用的匿名函数，将距离数据按照5海里进行分箱，然后利用该匿名函数对数据进行分组。

检查分箱后的数据，如下所示：

import pprint
for distance in sorted(by_distance):
    print(distance)
    pprint.pprint(by_distance[distance])

输出结果如下：

0.0
[((35.505665, -76.653664), (35.508335, -76.654999), 0.1731),
 ((35.028175, -76.682495), (35.031334, -76.682663), 0.1898),
 ((25.4095, -77.910164), (25.425833, -77.832664), 4.3155),
 ((25.0765, -77.308167), (25.080334, -77.334), 1.4235)]
5.0
[((38.845501, -76.537331), (38.992832, -76.451332), 9.7151),
 ((34.972332, -76.585167), (35.028175, -76.682495), 5.8441),
 ((30.717167, -81.552498), (30.766333, -81.471832), 5.103),
 ((25.471333, -78.408165), (25.504833, -78.232834), 9.7128),
 ((23.9555, -76.31633), (24.099667, -76.401833), 9.844)] ...
125.0
[((27.154167, -80.195663), (29.195168, -81.002998), 129.7748)]

或者用迭代方法实现partition()函数，如下所示：

from typing import Callable, Dict, List, TypeVar
S_ = TypeVar("S_")
K_ = TypeVar("K_")
def partition(
        key: Callable[[S_], K_],
        data: Iterable[S_]
    ) -> Dict[K_, List[S_]]:
    dictionary: Dict[K_, List[S_]] = defaultdict(list)
    for head in data:
        dictionary[key(head)].append(head)
    return dictionary

进行尾调用优化时，命令式实现的核心部分与递归定义是一致的。前面已经分析了这行代码，保证改写后的输出与之前一样。其余部分作为解决Python递归限制的常规编程实践，与之前的尾调用优化实现是一致的。

类型标示区分了数据源类型S_和键类型K_。请注意，defaultdict(list)的返回值要用Dict[K_, List[S_]]标示协助mypy工具确认代码正常运行，否则会返回错误信息：error: Need type annotation for variable。defaultdict可以包含任何类型组合，如果没有类型标示，将无法确认是否使用了正确的类型。

也可以把这里的类型标示写成注释的形式，如下所示：

dictionary = defaultdict(list) # type: Dict[K_, List[S_]]

低版本的pylint工具要求必须这样写，因此推荐使用1.8及之后的版本。