20 行代码！带你快速构建基础文本搜索引擎 ⛵

一、为什么需要基础文本搜索引擎？

在信息爆炸的时代，无论是个人知识管理还是企业数据检索，快速定位文本内容的需求无处不在。传统数据库的模糊查询效率低下，而专业搜索引擎（如Elasticsearch）又存在较高的学习成本。本文旨在通过20行代码，演示如何用Python快速实现一个基础文本搜索引擎，覆盖分词、索引构建、查询处理等核心功能，帮助开发者快速理解搜索引擎的工作原理。

二、20行代码实现原理

基础文本搜索引擎的核心是倒排索引（Inverted Index）。其原理是将文档中的单词作为键，记录每个单词出现的文档ID和位置，查询时通过单词快速定位文档。以下是20行代码的分解说明：

1. 数据准备与分词

documents = ["Python is a programming language", 
             "Java is also a programming language",
             "Python and Java are popular"]
stop_words = {"is", "a", "and", "are"}  # 停用词
def tokenize(text):
    return [word.lower() for word in text.split() if word.lower() not in stop_words]

说明：

• documents是待索引的文本集合。
• stop_words定义了需要过滤的无关词汇（如“is”“a”）。
• tokenize函数将文本拆分为单词，并过滤停用词，同时转换为小写以统一格式。

2. 构建倒排索引

inverted_index = {}
for doc_id, doc in enumerate(documents):
    tokens = tokenize(doc)
    for token in tokens:
        if token not in inverted_index:
            inverted_index[token] = []
        if doc_id not in inverted_index[token]:
            inverted_index[token].append(doc_id)

说明：

• 遍历所有文档，对每个文档分词后，将单词作为键，文档ID作为值存入字典。
• 若单词已存在，则追加文档ID（避免重复）；若不存在，则初始化列表。
• 最终得到的inverted_index结构示例：

  {
      "python": [0, 2], 
      "programming": [0, 1], 
      "language": [0, 1],
      "java": [1, 2],
      "popular": [2]
  }

3. 查询处理与结果排序

def search(query):
    query_tokens = tokenize(query)
    doc_ids = set()
    for token in query_tokens:
        if token in inverted_index:
            doc_ids.update(inverted_index[token])
    if not doc_ids:
        return []
    # 按文档中匹配词的数量排序（简单相关性）
    ranked_docs = []
    for doc_id in doc_ids:
        doc_tokens = tokenize(documents[doc_id])
        match_count = sum(1 for token in query_tokens if token in doc_tokens)
        ranked_docs.append((doc_id, match_count))
    ranked_docs.sort(key=lambda x: x[1], reverse=True)
    return [documents[doc_id] for doc_id, _ in ranked_docs]

说明：

• 查询时先对输入分词，再通过倒排索引获取包含所有查询词的文档ID集合。
• 对匹配的文档计算匹配词数量（简单相关性），按数量降序返回结果。
• 示例查询search("Python language")会返回第一条文档（匹配2个词），优于第二条（匹配1个词）。

三、完整20行代码

将上述逻辑整合为紧凑形式：

documents = ["Python is a programming language", 
             "Java is also a programming language",
             "Python and Java are popular"]
stop_words = {"is", "a", "and", "are"}
def tokenize(text):
    return [word.lower() for word in text.split() if word.lower() not in stop_words]
inverted_index = {}
for doc_id, doc in enumerate(documents):
    for token in tokenize(doc):
        inverted_index.setdefault(token, []).append(doc_id)
def search(query):
    query_tokens = tokenize(query)
    doc_ids = set(doc_id for token in query_tokens 
                  for doc_id in inverted_index.get(token, []))
    ranked_docs = []
    for doc_id in doc_ids:
        doc_tokens = tokenize(documents[doc_id])
        match_count = sum(1 for token in query_tokens if token in doc_tokens)
        ranked_docs.append((doc_id, match_count))
    ranked_docs.sort(key=lambda x: -x[1])
    return [documents[doc_id] for doc_id, _ in ranked_docs]

四、优化与扩展建议

1. 性能优化：

   • 使用collections.defaultdict替代手动检查键是否存在。
   • 对大规模数据，可用数据库（如SQLite）存储索引，或使用whoosh等轻量级库。

2. 功能扩展：

   • 添加词干提取（如nltk.stem.PorterStemmer）合并同义词。
   • 支持短语查询（记录单词位置，检查连续出现）。
   • 添加TF-IDF权重替代简单匹配计数。

3. 实际应用场景：

   • 个人笔记搜索：将Markdown文件内容加载为documents。
   • 电商商品检索：对商品标题和描述构建索引。
   • 日志分析：快速定位包含特定关键词的日志条目。

五、总结与启发

通过20行代码，我们实现了一个基础文本搜索引擎的核心功能：分词、倒排索引构建、查询处理与结果排序。虽然简单，但涵盖了搜索引擎的精髓。对于开发者，这不仅是理解原理的起点，也是快速实现轻量级检索需求的实用方案。进一步可结合数据库、分布式计算等技术，构建更复杂的系统。动手实践是掌握技术的最佳途径，不妨尝试修改代码，添加新功能吧！