一、搜索引擎的核心架构与Python技术选型

搜索引擎的本质是信息检索系统，其核心架构可分为三部分：数据采集层（爬虫）、数据处理层（索引与倒排）、查询服务层（检索与排序）。Python凭借其丰富的生态库和简洁的语法，成为开发轻量级搜索引擎的首选语言。

1. 数据采集层：爬虫框架选择

• Scrapy：适合大规模爬取，支持异步请求、分布式部署，内置去重和代理中间件。
• Requests + BeautifulSoup：适合小型项目，灵活控制请求逻辑，但需手动处理并发和反爬。
• Playwright：动态渲染JavaScript页面，解决SPA（单页应用）的爬取难题。

代码示例（Scrapy爬虫）：

import scrapy
class ExampleSpider(scrapy.Spider):
    name = "example"
    start_urls = ["https://example.com"]
    def parse(self, response):
        for link in response.css("a::attr(href)").getall():
            yield {"url": link}

2. 数据处理层：索引构建与倒排表

索引是搜索引擎的核心，其效率直接影响查询速度。Python可通过以下库实现：

• Whoosh：纯Python实现的索引库，支持TF-IDF排序和布尔查询。
• Elasticsearch（通过Python客户端）：分布式索引，适合高并发场景。
• 自定义倒排表：使用字典和列表模拟倒排索引，适合理解原理。

倒排表实现示例：

from collections import defaultdict
# 模拟文档集合
documents = [
    {"id": 1, "text": "Python 开发 搜索引擎"},
    {"id": 2, "text": "Python 爬虫 教程"},
    {"id": 3, "text": "搜索引擎 算法 优化"}
]
# 构建倒排表
inverted_index = defaultdict(list)
for doc in documents:
    words = doc["text"].split()
    for word in set(words):  # 去重
        inverted_index[word].append(doc["id"])
print(inverted_index)
# 输出: {'Python': [1, 2], '开发': [1], '搜索引擎': [1, 3], ...}

3. 查询服务层：检索与排序

• 布尔查询：通过AND/OR/NOT组合关键词。
• TF-IDF排序：衡量关键词在文档中的重要性。
• BM25算法：改进的TF-IDF，考虑文档长度和词频饱和度。

TF-IDF计算示例：

import math
from collections import Counter
def tf_idf(query, docs):
    # 计算TF（词频）
    def term_frequency(doc, term):
        return doc.lower().split().count(term.lower()) / len(doc.lower().split())
    # 计算IDF（逆文档频率）
    all_terms = [term for doc in docs for term in doc.lower().split()]
    doc_count = len(docs)
    idf = {}
    for term in set(all_terms):
        idf[term] = math.log(doc_count / (1 + sum(1 for doc in docs if term in doc.lower().split())))
    # 计算查询与文档的TF-IDF分数
    scores = []
    for doc in docs:
        score = 0
        for term in query.lower().split():
            score += term_frequency(doc, term) * idf.get(term, 0)
        scores.append(score)
    return scores
docs = ["Python 开发 搜索引擎", "Python 爬虫 教程", "搜索引擎 算法 优化"]
query = "Python 搜索引擎"
print(tf_idf(query, docs))  # 输出各文档的TF-IDF分数

二、完整搜索引擎实现步骤

1. 环境准备

pip install scrapy whoosh numpy

2. 爬虫模块开发

使用Scrapy爬取目标网站，存储数据到JSON文件：

scrapy startproject my_search_engine
cd my_search_engine
scrapy genspider example example.com
scrapy crawl example -o data.json

3. 索引构建模块

from whoosh.index import create_in
from whoosh.fields import Schema, TEXT, ID
import json
# 定义索引结构
schema = Schema(
    title=TEXT(stored=True),
    url=ID(stored=True),
    content=TEXT(stored=True)
)
# 创建索引
ix = create_in("indexdir", schema)
writer = ix.writer()
# 加载爬虫数据并写入索引
with open("data.json") as f:
    for item in json.load(f):
        writer.add_document(
            title=item.get("title", ""),
            url=item["url"],
            content=item.get("content", "")
        )
writer.commit()

4. 查询服务模块

from whoosh.qparser import QueryParser
from whoosh import scoring
def search(query_str):
    ix = open_dir("indexdir")
    with ix.searcher(weighting=scoring.TF_IDF()) as searcher:
        query = QueryParser("content", ix.schema).parse(query_str)
        results = searcher.search(query, limit=10)
        return [{"title": r["title"], "url": r["url"]} for r in results]
print(search("Python 教程"))

三、性能优化与扩展方向

1. 分布式爬取：使用Scrapy-Redis实现分布式爬虫队列。
2. 索引分片：将索引拆分为多个分片，提升查询并发能力。
3. 缓存层：用Redis缓存热门查询结果。
4. 机器学习排序：集成BERT模型理解查询意图。

四、实际应用场景

1. 企业内网搜索：快速搭建文档检索系统。
2. 电商商品搜索：支持关键词和属性过滤。
3. 学术文献检索：结合PDF解析和引用分析。

五、总结与建议

Python开发搜索引擎的优势在于快速原型验证和轻量级部署，但需注意：

• 数据规模：单节点Python方案适合百万级文档，超大规模需转向Elasticsearch。
• 实时性：增量爬取和索引更新策略需根据业务需求设计。
• 反爬策略：遵守robots.txt，设置合理的爬取间隔。

下一步行动建议：

1. 从Whoosh或Elasticsearch中选择适合的索引方案。
2. 先用少量数据（如1000篇文档）验证核心流程。
3. 逐步添加排序算法和缓存优化。

通过Python的灵活性和生态支持，开发者可以低成本实现一个功能完整的搜索引擎，并根据需求扩展至企业级应用。