使用Python中的Whoosh库开发文本搜索引擎




使用Python中的Whoosh库开发文本搜索引擎

Whoosh是一个用于索引文本和搜索索引的Python库,它包含了一系列的类和函数。假设你正在构建一个需要浏览各种文档并根据一些预定义条件寻找相似性或从中获取数据的应用程序,或者说你想计算研究论文中项目标题被提到的次数,那么本教程中正在构建的内容会对你很有帮助。

入门

为了构建我们的文本搜索引擎,我们将使用Whoosh库。

该库并不随Python预装。因此,我们将使用pip软件包管理器下载和安装它。



要安装Whoosh库,请使用以下命令:

pip install whoosh

现在,我们可以使用下面的代码将其导入到我们的脚本中。

from whoosh.fields import Schema, TEXT, ID
from whoosh import index

使用Python构建文本搜索引擎

首先,让我们定义一个文件夹,在需要时保存已索引的文件。

import os.path
os.mkdir("dir")

接下来,让我们定义一个模式。模式指定索引中文档的字段。

schema = Schema(title=TEXT(stored=True), path=ID(stored=True), content=TEXT(stored = True))
ind = index.create_in("dir", schema)
writer = ind.writer()
writer.add_document(title=u"doc", content=u"Py doc hello big world", path=u"/a") 
writer.commit()

现在我们已经对文档进行了索引,我们进行搜索。

from whoosh.qparser import QueryParser
with ind.searcher() as searcher:
     query = QueryParser("content", ind.schema).parse("hello world")
     results = searcher.search(query, terms=True)
     for r in results:
         print (r, r.score)
         if results.has_matched_terms():
            print(results.matched_terms())

输出

它将产生以下输出:

<Hit {'path': '/a', 'title': 'doc', 'content': 'Py doc hello big world'}> 
1.7906976744186047
{('content', b'hello'), ('content', b'world')}

示例

以下是完整的代码:

from whoosh.fields import Schema, TEXT, ID
from whoosh import index
import os.path
os.mkdir("dir")
schema = Schema(title=TEXT(stored=True), path=ID(stored=True), content=TEXT(stored = True))
ind = index.create_in("dir", schema)
writer = ind.writer()
writer.add_document(title=u"doc", content=u"Py doc hello big world", path=u"/a") 
writer.commit()

from whoosh.qparser import QueryParser
with ind.searcher() as searcher:
     query = QueryParser("content", ind.schema).parse("hello world")
     results = searcher.search(query, terms=True)
     for r in results:
         print (r, r.score)
         if results.has_matched_terms():
            print(results.matched_terms())

结论

你现在已经学会了在Python中创建文本搜索引擎。使用它,你可以在几秒钟内通过各种文档进行搜索,提取有用的内容。你还探索了Python中Whoosh库的潜力。



Python 精选笔记
使用Python将列表中的交替元素相乘?移除Python中嵌套列表中的所有重复项和排列通过Python Vincent制作柱状图使用Python Matplotlib创建基本甘特图Python Kivy中的相对布局使用Python Tkinter生成随机密码生成器使用Python Tkinter实时货币转换器在循环范围内打印Python列表元素Python - 使用OCR读取PDF内容Python - 使用正则表达式匹配包含g后跟一个或多个e的单词的程序在Python中打印2D列表的对角线Python - 打印字母直到NPython - 列表中的平方乘积Python – 列表中前缀的乘积Python – 前缀和子数组,直到出现false值Python - 字典中的优先键分配Python - 删除给定索引的元素后打印列表Python - 列表中第k列的乘积使用Python删除范围外的所有子列表如何使用Python从字符串列表中删除所有数字?如何使一个Python文件运行另一个文件?如何在Matplotlib中更改X轴和Y轴的范围?如何在Python中获得格式化的日期和时间?Python - PIL 属性Python - 字典中的前缀键匹配Python 列表中最大元素的位置Python - 在字符串中替换多个索引Python - 在字典的每个键上执行操作Python - 特定字符前的前缀提取Python - 根据大小提取前缀通过常数乘以Python字典的值Python 在包含字符串和数字的混合列表中相乘整数Python - 将给定元素移动到列表开头如何相乘Python Tuple的元素?使用Python spacy进行句子分割如何在Python中将元素移动到列表的末尾?Python-将子列表中的每个元素乘以其索引使用Qiskit在Python中的量子电路实现经典的非逻辑门Django中的基于类和基于函数的视图使用'in'和'not in'运算符在Python Pandas中检查DataFrame中是否存在某个值Python - PIL属性Python - 字典中的前缀键匹配Python - 列表中最大元素的位置Python - 在字符串中替换多个索引Python - 对字典中的每个键执行操作Python -指定字符前的前缀提取Python - 根据大小提取前缀通过常数乘以Python字典值Python-在混合字符串和数字列表中相乘整数Python – 将给定元素移动到列表的开头如何乘以Python元组的元素?使用Python spacy执行句子分割如何在Python中将元素移动到列表的末尾?Python-通过索引将子列表中的每个元素相乘使用Qiskit在Python中实现经典非逻辑门的量子电路在Django中的基于类视图和基于函数视图的对比在Python Pandas中使用'in'和'not in'运算符检查DataFrame中是否存在值使用LightFM库在Python中构建推荐引擎使用YOLO算法构建实时物体检测系统使用Python和Scikit-Learn构建客户流失预测的机器学习模型使用Python和WebSocket技术构建实时聊天应用使用Python和BERT构建问答系统使用Python和dlib库构建人脸识别系统使用Python和OpenCV库构建人脸识别系统使用Python和Pandas库构建数据预处理管道使用Pygame模块在Python中构建一个简单的游戏使用Python和ccxt库构建一个加密货币交易机器人使用Python和自然语言工具包(NLTK)构建聊天机器人使用Plan模块在Python中编写crontab文件使用Python和Requests库开发网络爬虫使用Python中的Whoosh库开发文本搜索引擎使用Python和scikit-learn开发机器学习模型使用Python和Plotly Dash创建基于Web的数据可视化仪表板使用Python控制树莓派GPIO引脚使用Python和Pandas库构建股票价格预测模型如何在Python中解析XML并计算特定节点属性的实例?如何在Python中解析本地HTML文件?如何按多列对PySpark DataFrame进行排序?如何在Pygame中移动游戏角色?如何在Python中同时打开两个文件?如何使用Python移动文件夹及其子文件夹的列表?如何使用Python将多个文件夹合并成一个文件夹?如何使用Python将多个Excel文件合并成一个单一文件?如何使用Python Pandas按照共同的键合并多个TSV文件?如何使用PIL将透明的PNG图片与另一张图片合并?Python中嵌套函数是如何工作的?Python中的全局变量和局部变量?在Python函数中如何使用全局变量?如何从Python对象中获取源代码?如何在Python中返回一个函数?如何在Python中安装matplotlib?Python - 分割包含散乱字符的字符串Python - 记录列表XORPython – 向记录的末尾添加数据Python - 键值大于K的记录在Python中垂直打印列表Python - 列表中字符串平均长度Python列表中的交替循环Python程序实现混淆词游戏Python-记录联合Python程序计算列表中元组的重复项Python程序:将字符串的字符转换为相反的大小写Python - 打印给定年份列表中的闰年数量Python - 打印所有子列表中的共同元素Python - 删除嵌套列表中的所有元素如何在Python列表中检查空格?在Python中引发异常到另一个异常Python字符串中的范围复制Python程序计算包含列表的列表中列表的数量修改给定Python列表中的重复值Python - 检查元素是否在指定范围内出现从Python的元组列表中删除所有字符串如何使用Pygame添加颜色呼吸效果?如何在Bokeh中添加颜色条如何在Bokeh中添加颜色选择器?使用Python程序显示带有星边框的数字半菱形图案Python使用ipaddress模块确定给定的IPv4地址是否为保留地址使用ipaddress模块的Python程序来确定给定的IP地址是公网还是私网Python程序通过平方和连接给定数字的奇数位数来创建一个OTPPython程序创建以零为中心的列表Python程序计算字符串中的字符数Python程序将米转换为码,反之亦然Python程序:统计文本文件中的元音、行数和字符数Python程序计算文本文件中的单词数量Python程序,用于计算文本文件中空格的数量将字典的值转换为字符串的Python程序Python程序将浮点数转换为指数Python程序将整数转换为指数Python程序将整数转换为罗马数字将整数列表转换为字符串列表的Python程序Python程序将XML转换为字典Python程序:通过重复键对应的值次数将字典转换为列表将Dict of list转换为CSV的Python程序使用正则表达式统计Python程序中大写字母、小写字母、特殊字符和数字值的个数Python元组的并集Python - 嵌套和混合列表中的类型转换Python - 将列表转换为单值列表的元组如何在Python中打印上标和下标?如何在Python中打印多个参数?如何在Plotly-Python中将图例定位在图表内部?如何使用Pandas绘制时序图表?