极客笔记Matplotlib中创建累积直方图的全面指南
参考：Create a cumulative histogram in Matplotlib
累积直方图是数据可视化中的一个重要工具，它能够直观地展示数据的分布和累积趋势。在Python的Matplotlib库中，我们可以轻松地创建各种类型的累积直方图。本文将详细介绍如何使用Matplotlib创建累积直方图，包括基本概念、不同类型的累积直方图、自定义选项以及一些高级技巧。
1. 累积直方图的基本概念
累积直方图是一种特殊类型的直方图，它显示了数据值小于或等于某个特定值的频率累积和。与普通直方图相比，累积直方图能够更好地展示数据的整体分布趋势。
让我们从一个简单的例子开始，创建一个基本的累积直方图：
import matplotlib.pyplot as plt
import numpy as np
# 生成示例数据
data = np.random.normal(0, 1, 1000)
# 创建累积直方图
plt.hist(data, bins=30, cumulative=True, density=True)
plt.title('Cumulative Histogram - how2matplotlib.com')
plt.xlabel('Value')
plt.ylabel('Cumulative Frequency')
plt.show()
Output:
在这个例子中，我们使用NumPy生成了1000个服从标准正态分布的随机数。然后，我们使用plt.hist()函数创建累积直方图。cumulative=True参数指定我们要创建一个累积直方图，而density=True参数则将频率标准化为概率密度。
2. 累积直方图的类型
Matplotlib支持创建不同类型的累积直方图，包括向上累积和向下累积。
2.1 向上累积直方图
向上累积直方图是最常见的类型，它显示小于或等于某个值的数据比例。以下是一个示例：
import matplotlib.pyplot as plt
import numpy as np
data = np.random.exponential(scale=2, size=1000)
plt.hist(data, bins=30, cumulative=True, density=True, histtype='step', color='blue')
plt.title('Upward Cumulative Histogram - how2matplotlib.com')
plt.xlabel('Value')
plt.ylabel('Cumulative Probability')
plt.show()
Output:
在这个例子中，我们使用指数分布生成数据，并创建了一个向上累积直方图。histtype='step'参数创建了一个阶梯式的线图，而不是填充的柱状图。
2.2 向下累积直方图
向下累积直方图显示大于或等于某个值的数据比例。我们可以通过简单地反转y轴来创建向下累积直方图：
import matplotlib.pyplot as plt
import numpy as np
data = np.random.gamma(shape=2, scale=2, size=1000)
plt.hist(data, bins=30, cumulative=-1, density=True, histtype='step', color='red')
plt.title('Downward Cumulative Histogram - how2matplotlib.com')
plt.xlabel('Value')
plt.ylabel('Reverse Cumulative Probability')
plt.gca().invert_yaxis()
plt.show()
Output:
在这个例子中，我们使用gamma分布生成数据。cumulative=-1参数创建了一个向下累积直方图，而plt.gca().invert_yaxis()则反转了y轴，使得图表从上到下显示累积概率。
3. 自定义累积直方图
Matplotlib提供了多种方法来自定义累积直方图的外观和风格。
3.1 调整bin的数量和范围
bin的数量和范围对直方图的形状有重要影响。以下是一个调整bin的示例：
import matplotlib.pyplot as plt
import numpy as np
data = np.random.lognormal(mean=0, sigma=0.5, size=1000)
plt.hist(data, bins=50, range=(0, 10), cumulative=True, density=True)
plt.title('Customized Bins - how2matplotlib.com')
plt.xlabel('Value')
plt.ylabel('Cumulative Probability')
plt.show()
Output:
在这个例子中，我们使用对数正态分布生成数据，并将bin的数量设置为50，范围限制在0到10之间。
3.2 添加多个数据集
我们可以在同一个图表中比较多个数据集的累积分布：
import matplotlib.pyplot as plt
import numpy as np
data1 = np.random.normal(0, 1, 1000)
data2 = np.random.normal(1, 1.5, 1000)
plt.hist(data1, bins=30, cumulative=True, density=True, alpha=0.7, label='Dataset 1')
plt.hist(data2, bins=30, cumulative=True, density=True, alpha=0.7, label='Dataset 2')
plt.title('Multiple Datasets - how2matplotlib.com')
plt.xlabel('Value')
plt.ylabel('Cumulative Probability')
plt.legend()
plt.show()
Output:
这个例子展示了如何在同一个图表中绘制两个不同的正态分布的累积直方图。alpha参数用于设置透明度，使得两个分布都可见。
3.3 自定义颜色和样式
Matplotlib允许我们自定义直方图的颜色、线型和其他视觉元素：
import matplotlib.pyplot as plt
import numpy as np
data = np.random.weibull(a=1.5, size=1000)
plt.hist(data, bins=30, cumulative=True, density=True, histtype='step',
color='green', linestyle='dashed', linewidth=2)
plt.title('Customized Style - how2matplotlib.com')
plt.xlabel('Value')
plt.ylabel('Cumulative Probability')
plt.grid(True, linestyle=':', alpha=0.7)
plt.show()
Output:
在这个例子中，我们使用Weibull分布生成数据，并自定义了直方图的颜色、线型和线宽。我们还添加了网格线来增强可读性。
4. 高级技巧
除了基本的累积直方图，Matplotlib还支持一些高级技巧，可以帮助我们创建更复杂和信息丰富的可视化。
4.1 使用对数刻度
对于跨越多个数量级的数据，使用对数刻度可能更有意义：
import matplotlib.pyplot as plt
import numpy as np
data = np.random.pareto(a=1, size=1000)
plt.hist(data, bins=np.logspace(np.log10(1), np.log10(100), 50),
cumulative=True, density=True)
plt.xscale('log')
plt.title('Log Scale Cumulative Histogram - how2matplotlib.com')
plt.xlabel('Value (log scale)')
plt.ylabel('Cumulative Probability')
plt.show()
Output:
这个例子使用Pareto分布生成数据，并在x轴上应用对数刻度。np.logspace函数用于创建对数间隔的bin。
4.2 添加理论分布线
我们可以在累积直方图上添加理论分布线，以比较实际数据和理论模型：
import matplotlib.pyplot as plt
import numpy as np
from scipy import stats
data = np.random.normal(0, 1, 1000)
plt.hist(data, bins=30, cumulative=True, density=True, alpha=0.7, label='Empirical')
x = np.linspace(-4, 4, 100)
plt.plot(x, stats.norm.cdf(x), 'r-', lw=2, label='Theoretical')
plt.title('Empirical vs Theoretical CDF - how2matplotlib.com')
plt.xlabel('Value')
plt.ylabel('Cumulative Probability')
plt.legend()
plt.show()
Output:
这个例子比较了实际生成的正态分布数据和理论正态分布的累积分布函数（CDF）。
4.3 创建堆叠的累积直方图
堆叠的累积直方图可以用来比较多个类别的累积分布：
import matplotlib.pyplot as plt
import numpy as np
data1 = np.random.normal(0, 1, 1000)
data2 = np.random.normal(1, 1, 1000)
data3 = np.random.normal(2, 1, 1000)
plt.hist([data1, data2, data3], bins=30, cumulative=True, density=True,
histtype='barstacked', label=['Category 1', 'Category 2', 'Category 3'])
plt.title('Stacked Cumulative Histogram - how2matplotlib.com')
plt.xlabel('Value')
plt.ylabel('Cumulative Probability')
plt.legend()
plt.show()
Output:
这个例子创建了三个不同的正态分布数据集，并将它们堆叠在一起显示。
4.4 使用步进图样式
步进图样式可以更清晰地显示累积概率的变化：
import matplotlib.pyplot as plt
import numpy as np
data = np.random.beta(a=2, b=5, size=1000)
plt.hist(data, bins=30, cumulative=True, density=True, histtype='step',
color='purple', linewidth=2)
plt.title('Step-style Cumulative Histogram - how2matplotlib.com')
plt.xlabel('Value')
plt.ylabel('Cumulative Probability')
plt.show()
Output:
这个例子使用Beta分布生成数据，并使用步进图样式来显示累积直方图。
4.5 添加百分位线
我们可以在累积直方图上添加百分位线，以突出显示特定的数据点：
import matplotlib.pyplot as plt
import numpy as np
data = np.random.chisquare(df=3, size=1000)
plt.hist(data, bins=30, cumulative=True, density=True)
percentiles = [25, 50, 75]
for p in percentiles:
value = np.percentile(data, p)
plt.axvline(value, color='r', linestyle='dashed', alpha=0.7)
plt.text(value, 0.5, f'{p}th percentile', rotation=90, va='center')
plt.title('Cumulative Histogram with Percentiles - how2matplotlib.com')
plt.xlabel('Value')
plt.ylabel('Cumulative Probability')
plt.show()
Output:
这个例子使用卡方分布生成数据，并在图表上添加了25th、50th和75th百分位线。
5. 实际应用场景
累积直方图在许多实际应用中都非常有用。以下是一些常见的应用场景：
5.1 金融数据分析
在金融领域，累积直方图可以用来分析资产回报的分布：
import matplotlib.pyplot as plt
import numpy as np
returns = np.random.normal(0.05, 0.1, 1000) # 模拟年度回报率
plt.hist(returns, bins=50, cumulative=True, density=True, histtype='step')
plt.title('Cumulative Distribution of Annual Returns - how2matplotlib.com')
plt.xlabel('Annual Return')
plt.ylabel('Cumulative Probability')
plt.axvline(0, color='r', linestyle='dashed', label='Break-even point')
plt.legend()
plt.show()
Output:
这个例子模拟了1000个年度回报率，并创建了一个累积直方图来显示回报率的分布。红色虚线表示盈亏平衡点。
5.2 响应时间分析
在系统性能分析中，累积直方图可以用来分析响应时间：
import matplotlib.pyplot as plt
import numpy as np
response_times = np.random.exponential(scale=0.5, size=1000) # 模拟响应时间（秒）
plt.hist(response_times, bins=50, cumulative=True, density=True, histtype='step')
plt.title('Cumulative Distribution of Response Times - how2matplotlib.com')
plt.xlabel('Response Time (seconds)')
plt.ylabel('Cumulative Probability')
plt.axhline(0.95, color='r', linestyle='dashed', label='95th percentile')
plt.legend()
plt.show()
Output:
这个例子模拟了1000个响应时间，并创建了一个累积直方图。红色虚线表示95th百分位的响应时间。
5.3 降雨量分析
在气象学中，累积直方图可以用来分析降雨量的分布：
import matplotlib.pyplot as plt
import numpy as np
rainfall = np.random.gamma(shape=2, scale=10, size=365) # 模拟一年的每日降雨量
plt.hist(rainfall, bins=50, cumulative=True, density=True, histtype='step')
plt.title('Cumulative Distribution of Daily Rainfall - how2matplotlib.com')
plt.xlabel('Daily Rainfall (mm)')
plt.ylabel('Cumulative Probability')
plt.axvline(np.mean(rainfall), color='r', linestyle='dashed', label='Mean rainfall')
plt.legend()
plt.show()
Output:
这个例子模拟了一年的每日降雨量，并创建了一个累积直方图。红色虚线表示平均降雨量。
6. 总结
累积直方图是一种强大的数据可视化工具，可以帮助我们更好地理解数据的分布和累积趋势。通过Matplotlib，我们可以轻松创建各种类型的累积直方图，并根据需要进行自定义。
本文详细介绍了如何使用Matplotlib创建基本的累积直方图，如何自定义直方图的外观，以及一些高级技巧和实际应用场景。通过掌握这些技能，你将能够更有效地分析和展示各种类型的数据。
记住，创建有效的数据可视化不仅需要技术技能，还需要对数据和受众有深入的理解。选择合适的bin数量、使用适当的刻度、添加有意义的注释等都是创建优秀累积直方图的关键因素。
以下是一些额外的技巧和建议，可以帮助你进一步提升累积直方图的质量和可读性：
7. 高级定制技巧
7.1 使用双轴显示累积和非累积直方图
有时，同时显示累积和非累积直方图可以提供更全面的数据视图：
import matplotlib.pyplot as plt
import numpy as np
data = np.random.lognormal(mean=0, sigma=0.5, size=1000)
fig, ax1 = plt.subplots()
ax1.hist(data, bins=30, density=True, alpha=0.7, color='blue', label='Frequency')
ax1.set_xlabel('Value')
ax1.set_ylabel('Frequency', color='blue')
ax1.tick_params(axis='y', labelcolor='blue')
ax2 = ax1.twinx()
ax2.hist(data, bins=30, density=True, cumulative=True, histtype='step', color='red', label='Cumulative')
ax2.set_ylabel('Cumulative Probability', color='red')
ax2.tick_params(axis='y', labelcolor='red')
plt.title('Frequency and Cumulative Histogram - how2matplotlib.com')
fig.legend(loc='upper right', bbox_to_anchor=(1,1), bbox_transform=ax1.transAxes)
plt.show()
Output:
这个例子在同一个图表中显示了频率直方图和累积直方图，使用不同的y轴来表示频率和累积概率。
7.2 创建3D累积直方图
对于二维数据，我们可以创建3D累积直方图：
import matplotlib.pyplot as plt
import numpy as np
from mpl_toolkits.mplot3d import Axes3D
x = np.random.normal(0, 1, 1000)
y = np.random.normal(0, 1, 1000)
fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
hist, xedges, yedges = np.histogram2d(x, y, bins=20)
xpos, ypos = np.meshgrid(xedges[:-1] + 0.25, yedges[:-1] + 0.25, indexing="ij")
xpos = xpos.ravel()
ypos = ypos.ravel()
zpos = 0
dx = dy = 0.5 * np.ones_like(zpos)
dz = hist.ravel()
ax.bar3d(xpos, ypos, zpos, dx, dy, dz, zsort='average')
ax.set_xlabel('X')
ax.set_ylabel('Y')
ax.set_zlabel('Cumulative Frequency')
plt.title('3D Cumulative Histogram - how2matplotlib.com')
plt.show()
Output:
这个例子创建了一个3D累积直方图，展示了二维数据的分布情况。
7.3 使用颜色映射
我们可以使用颜色映射来增强累积直方图的视觉效果：
import matplotlib.pyplot as plt
import numpy as np
data = np.random.gamma(shape=2, scale=2, size=1000)
n, bins, patches = plt.hist(data, bins=50, cumulative=True, density=True)
cm = plt.cm.get_cmap('viridis')
for i, p in enumerate(patches):
plt.setp(p, 'facecolor', cm(i/len(patches)))
plt.colorbar(ticks=[0, 0.5, 1], label='Normalized Cumulative Probability')
plt.title('Color-mapped Cumulative Histogram - how2matplotlib.com')
plt.xlabel('Value')
plt.ylabel('Cumulative Probability')
plt.show()
这个例子使用了颜色映射来表示累积概率的变化，使得直方图更加直观。
8. 最佳实践和注意事项
在创建累积直方图时，有一些最佳实践和注意事项需要考虑：
- 选择适当的bin数量：bin数量过少可能会掩盖重要的数据特征，而过多则可能引入噪声。一般来说，可以使用Sturges规则或Scott规则来确定合适的bin数量。
-
考虑数据的范围：如果数据范围很广，可能需要使用对数刻度或分段显示。
-
标准化：对于比较不同大小的数据集，使用标准化（即设置
density=True）是很重要的。 -
添加参考线：添加均值、中位数或特定百分位的参考线可以增加图表的信息量。
-
使用合适的颜色：选择适当的颜色可以增强可读性，避免使用过于鲜艳或难以区分的颜色。
-
提供清晰的标题和标签：确保图表有明确的标题，并且x轴和y轴都有清晰的标签。
-
考虑数据的特性：某些类型的数据可能更适合使用特定类型的累积直方图（如向上或向下累积）。
-
处理异常值：在创建累积直方图之前，考虑如何处理数据中的异常值。
-
使用平滑技术：对于噪声较大的数据，可以考虑使用平滑技术来改善累积直方图的外观。
9. 结论
累积直方图是一种强大的数据可视化工具，可以帮助我们深入理解数据的分布和累积特性。通过Matplotlib，我们可以创建各种类型的累积直方图，从简单的单变量分布到复杂的多变量比较。
本文详细介绍了如何使用Matplotlib创建和自定义累积直方图，包括基本概念、不同类型的累积直方图、自定义选项以及一些高级技巧。我们还探讨了一些实际应用场景，展示了累积直方图在金融、系统性能分析和气象学等领域的应用。
通过掌握这些技能和技巧，你将能够创建更加信息丰富、视觉上更具吸引力的累积直方图。记住，好的数据可视化不仅仅是技术的运用，更重要的是能够有效地传达数据中的洞察和故事。
在实际应用中，要根据具体的数据特性和分析目的来选择合适的累积直方图类型和定制选项。同时，也要考虑到目标受众的需求，确保你创建的可视化既准确又易于理解。
最后，随着数据可视化技术的不断发展，Matplotlib也在不断更新和改进。保持学习和实践的习惯，探索新的可视化技术和方法，将有助于你在数据分析和可视化领域不断提升自己的技能。