自动主题标引工具Annif

不知道什么时候看到2021年的文章《BIBFRAME作品实体描述的半自动化方法》：

Jim Hahn (2021) Semi-Automated Methods for BIBFRAME Work Entity Description, Cataloging & Classification Quarterly, 59:8, 853-867, DOI: 10.1080/01639374.2021.2014011

摘要：本文报告了在RDF关联数据编辑器Sinopia（https://Sinopia.io）中半自动创建BIBFRAME作品实体描述的机器学习方法的研究。自动主题标引软件Annif配置了美国国会图书馆主题标题（LCSH）词表，该词表来自关联数据服务https://id.loc.gov/。培训语料库由来自IvyPlus POD项目 (https://pod.stanford.edu/) 和Share-VDE (https://wiki.share-vde.org) 的930万个题名和LCSH关联数据参引组成。探索了半自动化流程，以支持和扩展而不是取代专业知识。

内容涉及BIBFRAME、机器学习、语料库、自动主题标引……就编目领域而言，很潮。不过下载到电脑桌面后就忘了，前几天看到，打开仔细看过：文章篇名称“作品实体描述”，实际只是提供“主题”；“半自动化方法”，指根据文献题名，由自动主题标引软件Annif给出建议的主题，编目员决定是否采用。其实主题标引建议，对MARC编目也同样适用。

本文围绕两个工具：一、Annif，根据文献题名建议主题；二，BIBFRAME编辑器Sinopia，通过API选择或不选择建议的主题，需要解决编辑器功能问题。以下结合本文了解Annif使用方法。

Annif（https://annif.org/）是芬兰国家图书馆开发的自动主题标引和分类工具。最新版本Annif 1.0.2（2024年2月2日）。

实际使用有3种途径：1、命令行界面，2、简洁的Web UI（网站主页有试用），3、微服务风格的REST API。

使用方法（四步骤）

1、选择主题词表

Annif结合使用现有的自然语言处理和机器学习工具，包括TensorFlow、Omikuji、fastText和Gensim。它是多语言的（网站演示3种语言即芬兰语、瑞典语、英语），可以支持任何主题词表（SKOS或简单的TSV格式）。

本文使用LCSH，下载自 https://id.loc.gov/。由于LCSH文件格式没有Annif支持的TTL语法，作者使用RDF语法库进行转换，并在GitHub上公开SKOS LCSH TTL转换的输出。

2、根据训练数据准备语料库。本文使用两个训练语料库：

（1）宾夕法尼亚大学图书馆的130万条带有题名 (245 $a) 和相关的关联数据主题 (650 $0 uri) 的记录的元数据集，数据由Share-VDE作过URI增强处理。

（2）IvyPlus开放数据平台（POD）和Share-VDE的930万题名和主题关联数据。Share-VDE数据来源于合作编目计划（PCC）数据池项目。

3、加载词表并训练模型

首先使用预先标记的测试集评估训练模型。通过使用预先标记的测试，软件将系统地确定基于机器学习的标题[主题]与人工指定的标题的比较方式。PCC成员馆中单独的SDVE强化MARC元数据集提供了测试训练的目标。

通过Scikit学习模型评估，生成归一化折损累计增益（NDCG）分数，前述两个语料库分别得分0.401和0.487。文章称，对于依赖完全自动化机器学习系统的行业来说，预测精度通常接近百分之九十。

4、为新文档建议主题

Annif网站 Web UI 试用可选择显示10、15、20个建议主题。

【话外】第3步预测精度不足，是语料库的问题，不是Annif的问题。由题名预测主题，其不靠谱是可以预料的，最著名的例子是《钢铁是怎样炼成的》。这也就是本文只能“半自动”的主要原因了。

用本文摘要试用Annif网站 Web UI，词表选择YSO Omikuji Bonsai English，建议的10个主题如下：

  • lists of subject headings
  • subject indexing
  • subject cataloging
  • semantic web
  • linking
  • thesauri
  • linked open data
  • metadata
  • machine learning
  • computer programmes

提到Annif的相关博文：