Python ConfluentKafka使用消费者来消费一组记录

问题描述

我开始学习confluent kafka（python）。有1个生产者，1个主题，1个分区和1个消费者（简单的设置）。我的要求是我希望集体获取数据。我读到使用poll（some_time）将等待所需的时间并批量/列表获取记录。我以为这将是一个简单的迭代过程，类似于：

msgs = consumer.poll(1000) for msg in msgs： 执行一些操作……….

问题是我无法迭代这个“msgs”对象 – 我扫描了文档才意识到poll返回单个消息 – 所以没有办法得到消息的列表吗？（一个解决方法是频繁地以那个所需时间的子集进行获取，然后集体处理数据 – 但是希望还有另一种方法）。poll()的迭代过程似乎与kafka-python的方式不同。

解决方案

Python中的poll方法本身不支持批量处理，所以正如你提到的： “一个解决方法是频繁地以那个所需时间的子集进行获取，然后集体处理数据”