禁止抓取错字重定向的标题

[DeepChirp]

目前该词库似乎会抓取重定向页面的标题。中文维基百科上存在错字重定向的模板，感觉此类页面不应该抓取。若重定向页面中含有此模板，能否禁止抓取呢？

示例：知识份子。

个人思考的实现方案有二：

1. 直接检测目标页面中是否含有{{错字重定向}}，若有，则不加入词库中。
2. 在词库中剔除含有{{错字重定向}}的条目，可在链入页面或是错字重定向分类中获取。

[DeepChirp]

以下Python脚本可以获取所有不需要加入字典的词语，并将列表存放至exclude_titles.txt中。

import requests
import opencc

_TO_SIMPLIFIED_CHINESE = opencc.OpenCC("t2s.json")


def fetch_excluded_titles():
    excluded_titles = set()
    category = "Category:錯字重定向"
    url = "https://zh.wikipedia.org/w/api.php"
    params = {
        "action": "query",
        "format": "json",
        "list": "categorymembers",
        "cmtitle": category,
        "cmlimit": "max",
    }
    while True:
        response = requests.get(url, params=params)
        data = response.json()
        members = data.get("query", {}).get("categorymembers", [])
        for member in members:
            excluded_titles.add(_TO_SIMPLIFIED_CHINESE.convert(member["title"]))
        if "continue" in data:
            params.update(data["continue"])
        else:
            break
    return excluded_titles


def save_excluded_titles(filename="exclude_titles.txt"):
    excluded_titles = fetch_excluded_titles()
    with open(filename, "w", encoding="utf-8") as f:
        for title in excluded_titles:
            f.write(title + "\n")


if __name__ == "__main__":
    save_excluded_titles()

随后convert.py可以加载exclude_titles.txt，并不将其中的词组添加到最终生成的词库文件中。