新闻实验室会员通讯（948）用AI制作“纳粹搜索引擎”

1945年春天，德国战败在即，纳粹党领导层下令销毁党员登记卡片。从位于慕尼黑的纳粹党全国总部“褐宫”运出的卡片估计有50吨重。它们被送往市郊的一家造纸厂，等待化为纸浆。

但造纸厂的经营者汉斯·胡贝尔（Hanns Huber）意识到了落在自己手里的是什么。他停下了机器，把这批档案完整地交给了随后到来的美军。

八十年后，这批卡片以胡贝尔难以想象的方式重新回到公众视野：今年2月底，美国国家档案和记录管理局（NARA）把它的微缩胶卷副本放上了网。公众对这批档案的兴趣之大，一度让档案馆的网站瘫痪。

德国《时代周报》（Die Zeit）的团队则更进一步，他们使用AI把上千万张扫描卡片做成了一个可以按姓名检索的数据库。任何人只要知道祖辈的姓名、出生日期和出生地，几秒钟内就能查到：ta当年是否加入过纳粹党。

在今天的新闻实验室会员通讯中，我想通过《时代周报》数据团队最近接受全球深度报道网（GIJN）的访谈，来介绍这个项目是怎么做成的，AI在其中扮演了什么角色，以及它在德国引发的赞誉与争议。

它可以说是今年以来最值得了解的数据新闻案例之一。用《时代周报》一位记者的话说，“一家德国报纸用AI做了一个‘纳粹搜索引擎’，这个故事好到让人无法忽略”。

50吨纸，5442个PDF文件，再到AI

我们先来看这批档案本身。

纳粹党（正式名称是“国家社会主义德国工人党”，NSDAP）的党员登记分为两套卡片索引：中央索引和地区（Gau）索引。研究纳粹党数十年的政治学者于尔根·法尔特（Jürgen Falter）估计，中央索引只有44%保留至今，地区索引则有77%。由于很多党员同时出现在两套索引中，保留至今的卡片合计覆盖了1925年至1945年间约90%的纳粹党员——这二十年间，大约1020万德国人领到过纳粹党的党员卡。

在过去几十年里，想知道自己的亲人是否入过纳粹党，要么向德国联邦档案馆提交正式申请，要么去华盛顿翻阅微缩胶卷。今年2月，美国国家档案和记录管理局把胶卷数字化上网，理论上是一次巨大的开放。但是，开放不等于可用：这些卡片散落在数千个PDF文件里，每个文件动辄三千页，想找到某个具体的人，近乎不可能。

这就是《时代周报》看到的机会。德国媒体报道档案公开几周之后，他们的数据库就上线了，最初开放了约450万张卡片的直接检索，后来扩展到覆盖整个数据集。上线后，这个工具吸引了数以百万计的搜索。