不知道什么时候看到2021年的文章《BIBFRAME作品实体描述的半自动化方法》:
Jim Hahn (2021) Semi-Automated Methods for BIBFRAME Work Entity Description, Cataloging & Classification Quarterly, 59:8, 853-867, DOI: 10.1080/01639374.2021.2014011
摘要:本文报告了在RDF关联数据编辑器Sinopia(https://Sinopia.io)中半自动创建BIBFRAME作品实体描述的机器学习方法的研究。自动主题标引软件Annif配置了美国国会图书馆主题标题(LCSH)词表,该词表来自关联数据服务https://id.loc.gov/。培训语料库由来自IvyPlus POD项目 (https://pod.stanford.edu/) 和Share-VDE (https://wiki.share-vde.org) 的930万个题名和LCSH关联数据参引组成。探索了半自动化流程,以支持和扩展而不是取代专业知识。
内容涉及BIBFRAME、机器学习、语料库、自动主题标引……就编目领域而言,很潮。不过下载到电脑桌面后就忘了,前几天看到,打开仔细看过:文章篇名称“作品实体描述”,实际只是提供“主题”;“半自动化方法”,指根据文献题名,由自动主题标引软件Annif给出建议的主题,编目员决定是否采用。其实主题标引建议,对MARC编目也同样适用。
本文围绕两个工具:一、Annif,根据文献题名建议主题;二,BIBFRAME编辑器Sinopia,通过API选择或不选择建议的主题,需要解决编辑器功能问题。以下结合本文了解Annif使用方法。
Annif(https://annif.org/)是芬兰国家图书馆开发的自动主题标引和分类工具。最新版本Annif 1.0.2(2024年2月2日)。
实际使用有3种途径:1、命令行界面,2、简洁的Web UI(网站主页有试用),3、微服务风格的REST API。
使用方法(四步骤)
1、选择主题词表
Annif结合使用现有的自然语言处理和机器学习工具,包括TensorFlow、Omikuji、fastText和Gensim。它是多语言的(网站演示3种语言即芬兰语、瑞典语、英语),可以支持任何主题词表(SKOS或简单的TSV格式)。
本文使用LCSH,下载自 https://id.loc.gov/。由于LCSH文件格式没有Annif支持的TTL语法,作者使用RDF语法库进行转换,并在GitHub上公开SKOS LCSH TTL转换的输出。
2、根据训练数据准备语料库。本文使用两个训练语料库:
(1)宾夕法尼亚大学图书馆的130万条带有题名 (245 $a) 和相关的关联数据主题 (650 $0 uri) 的记录的元数据集,数据由Share-VDE作过URI增强处理。
(2)IvyPlus开放数据平台(POD)和Share-VDE的930万题名和主题关联数据。Share-VDE数据来源于合作编目计划(PCC)数据池项目。
3、加载词表并训练模型
首先使用预先标记的测试集评估训练模型。通过使用预先标记的测试,软件将系统地确定基于机器学习的标题[主题]与人工指定的标题的比较方式。PCC成员馆中单独的SDVE强化MARC元数据集提供了测试训练的目标。
通过Scikit学习模型评估,生成归一化折损累计增益(NDCG)分数,前述两个语料库分别得分0.401和0.487。文章称,对于依赖完全自动化机器学习系统的行业来说,预测精度通常接近百分之九十。
4、为新文档建议主题
Annif网站 Web UI 试用可选择显示10、15、20个建议主题。
【话外】第3步预测精度不足,是语料库的问题,不是Annif的问题。由题名预测主题,其不靠谱是可以预料的,最著名的例子是《钢铁是怎样炼成的》。这也就是本文只能“半自动”的主要原因了。
用本文摘要试用Annif网站 Web UI,词表选择YSO Omikuji Bonsai English,建议的10个主题如下:
- lists of subject headings
- subject indexing
- subject cataloging
- semantic web
- linking
- thesauri
- linked open data
- metadata
- machine learning
- computer programmes
提到Annif的相关博文: