自动主题标引工具Annif

不知道什么时候看到2021年的文章《BIBFRAME作品实体描述的半自动化方法》：

Jim Hahn (2021) Semi-Automated Methods for BIBFRAME Work Entity Description, Cataloging & Classification Quarterly, 59:8, 853-867, DOI: 10.1080/01639374.2021.2014011

摘要：本文报告了在RDF关联数据编辑器Sinopia（https://Sinopia.io）中半自动创建BIBFRAME作品实体描述的机器学习方法的研究。自动主题标引软件Annif配置了美国国会图书馆主题标题（LCSH）词表，该词表来自关联数据服务https://id.loc.gov/。培训语料库由来自IvyPlus POD项目 (https://pod.stanford.edu/) 和Share-VDE (https://wiki.share-vde.org) 的930万个题名和LCSH关联数据参引组成。探索了半自动化流程，以支持和扩展而不是取代专业知识。

内容涉及BIBFRAME、机器学习、语料库、自动主题标引……就编目领域而言，很潮。不过下载到电脑桌面后就忘了，前几天看到，打开仔细看过：文章篇名称“作品实体描述”，实际只是提供“主题”；“半自动化方法”，指根据文献题名，由自动主题标引软件Annif给出建议的主题，编目员决定是否采用。其实主题标引建议，对MARC编目也同样适用。

本文围绕两个工具：一、Annif，根据文献题名建议主题；二，BIBFRAME编辑器Sinopia，通过API选择或不选择建议的主题，需要解决编辑器功能问题。以下结合本文了解Annif使用方法。

Annif（https://annif.org/）是芬兰国家图书馆开发的自动主题标引和分类工具。最新版本Annif 1.0.2（2024年2月2日）。

实际使用有3种途径：1、命令行界面，2、简洁的Web UI（网站主页有试用），3、微服务风格的REST API。

使用方法（四步骤）

1、选择主题词表

Annif结合使用现有的自然语言处理和机器学习工具，包括TensorFlow、Omikuji、fastText和Gensim。它是多语言的（网站演示3种语言即芬兰语、瑞典语、英语），可以支持任何主题词表（SKOS或简单的TSV格式）。

本文使用LCSH，下载自 https://id.loc.gov/。由于LCSH文件格式没有Annif支持的TTL语法，作者使用RDF语法库进行转换，并在GitHub上公开SKOS LCSH TTL转换的输出。

2、根据训练数据准备语料库。本文使用两个训练语料库：

（1）宾夕法尼亚大学图书馆的130万条带有题名 (245 $a) 和相关的关联数据主题 (650 $0 uri) 的记录的元数据集，数据由Share-VDE作过URI增强处理。

（2）IvyPlus开放数据平台（POD）和Share-VDE的930万题名和主题关联数据。Share-VDE数据来源于合作编目计划（PCC）数据池项目。

3、加载词表并训练模型

首先使用预先标记的测试集评估训练模型。通过使用预先标记的测试，软件将系统地确定基于机器学习的标题[主题]与人工指定的标题的比较方式。PCC成员馆中单独的SDVE强化MARC元数据集提供了测试训练的目标。

通过Scikit学习模型评估，生成归一化折损累计增益（NDCG）分数，前述两个语料库分别得分0.401和0.487。文章称，对于依赖完全自动化机器学习系统的行业来说，预测精度通常接近百分之九十。

4、为新文档建议主题

Annif网站 Web UI 试用可选择显示10、15、20个建议主题。

【话外】第3步预测精度不足，是语料库的问题，不是Annif的问题。由题名预测主题，其不靠谱是可以预料的，最著名的例子是《钢铁是怎样炼成的》。这也就是本文只能“半自动”的主要原因了。

用本文摘要试用Annif网站 Web UI，词表选择YSO Omikuji Bonsai English，建议的10个主题如下：

  • lists of subject headings
  • subject indexing
  • subject cataloging
  • semantic web
  • linking
  • thesauri
  • linked open data
  • metadata
  • machine learning
  • computer programmes

提到Annif的相关博文：

ISBDM演示网站

《ISBD载体表现》（ISBDM）编制中，将以在线形式发布。参见：ISBDM及2023-2024评审计划（2024-2-5）

目前演示网站已可访问，浏览后感觉不错。可谓取RDA之长、避RDA之短，毕竟ISBDM工作组主席，也是现任RDA指导委员会主席。比如：

  • 没有编号，有 URL 形式的唯一标识符（如某“说明”元素URL：https://www.iflastandards.info/ISBDM/docs/statements/1029.html），但URL没有细化到具体规定/条款。
  • 编排可供浏览。除网站首行的主菜单，还有侧栏导航。内容页的侧栏为多层导航，包括概述及各级元素，两次单击即可达具体内容页，直观易用（对比RDA没有侧栏导航，只显示具体内容，会让人不知所处位置、不明还有哪些相关内容）。
  • 页面简洁：具体内容以蓝底色/橙底色分块显示（没有如RDA突出设置”选项”）；“示例”点击展开/关闭，方便快速浏览所有规定。

作为IFLA标准，ISBDM应该会是免费的。因此“开放编目规则”（ORC）应该没什么必要了。虽然实际采用ISBDM应该还需相应的应用纲要（RDA也需要）。参见：《开放编目规则》（ORC）网站发布（2023-6-12）

ISBD for Manifestation (iflastandards.info)

【ISBDM主菜单】[九部分/编号为方便说明自拟]

参见：《载体表现ISBD》（ISBDM）进展（2023-4-22）

  • [1] Introduction 导论（信息源，元数据用途和处理）
  • [2] Assessment 评估（在开始创建元数据之前，编目员应该做出一些决定）
  • [3] Statements 说明（转录，信息来自载体表现本身）
  • [4] Notes 附注（编目员对载体表现如何描述自身的解释）
  • [5] Attributes 属性（用预先协调的术语或注释描述的载体表现的内在特征）
  • [6] Relationships 关系（载体表现与其他图书馆实体的关系）
  • [7] Values 取值（词表）
  • [8] Glossary 术语表
  • [9] Examples 示例（完整记录示例）

其中[1-2] 为引言，[3-6]为元素，[7-9]为增强。

【元素页面内容】[三部分/编号为方便说明自拟]

  • [A]元素参考 Element reference [表格]：定义，范围说明，定义域，值域，元素子类型、元素超类型
  • [B]其他信息 Additional information [蓝底色]

参见 See also（其他元素）

元素取值 Element values

字符串编码方案 String encoding schemes (SES)

  • [C]规定 Stipulations [橙底色]：红字*=必备；示例（链接到[9]完整示例）

2024冬BIBFRAME更新论坛

BIBFRAME发展到2024年，美国国会图书馆（LC）正式应用已近在眼前。业内前些年已经开始关注各家BIBFRAME应用的差异，某次会议多个报告人探讨以哪家应用为基点实现互操作，其中之一自然是LC。本次BIBFRAME更新论坛，LC关注“标准化”，罕见地只选择艾利贝斯（ExLibris）和OCLC两家报告，似乎是为推动以LC的BIBFRAME为“标准”以达成互操作。

BIBFRAME January 2024 Update Forum. 2024-1-22. https://www.loc.gov/bibframe/news/bibframe-update-jan2024.html

会议列出ExLibris报告2个、OCLC报告1个，但PPT只有两家各1个。

两家共同的态度是继续支持MARC。艾利贝斯比较隐讳，称“支持包括BIBFRAME在内的多种格式”；OCLC比较直接，称“在MARC和BIBFRAME之间无缝工作”。

一、Sally McCallum在开场中通报了LC的两个更新：

其一，B2M/M2B转换2.5版：LC前一周发布新版BIBFRAME-MARC和MARC-BIBFRAME转换【网站上没看到2.5版更新情况说明】

其二，示例：正逐步添加到BIBFRAME本体规范的属性和类中【List View可以看到已添加不少示例，应该也为展示LC在本次论坛介绍中所提出的“标准BIBFRAME”】

二、ExLibris报告：解锁连接：关联开放数据和BIBFRAME如何为图书馆用户带来好处 Unlocking Connections: How Linked Open Data and BIBFRAME can Benefits Library Users / Chani Yehuda, Itai Veltzman. 22 slides.

支持互操作：

  • [1]发布：导出为BIBFRAME；发布到OCLC。
  • [2] API：BIBFRAME作品和实例；与Sinopia集成。
  • [3]全球来源：LC，WIkidata，ORCID，更多……。
  • [4] 知识图谱：由Alma导出目录到机构知识图谱。

2024-2025年关联数据路标：

  • 2024上半年，测试托管自己的Sinopia实例（2024年5月，SINOPIA编目接入Alma系统）
  • 2024年下半年，在Primo和Alma中，基于LC和Wikidata，添加新的信息卡(Info Card)和个人页(Person page)；扩展关联数据强化处理，由现有规范到编目工作流程。添加外部查找功能到元数据编辑器(Meadata Editor)中的编目工作流程。
  • 2025年，集成本地目录到外部知识图谱系统；能够搜索作品及其实例。

三、OCLC报告：OCLC为BIBFRAME所做的准备 OCLC’s preparation forBIBFRAME / Jeff Mixter. 9 slides.

  • [1]标识符：将WorldCat实体URI添加到WorldCat记录中：个人、地点和事件2023年12月，作品2024年1月底起（创建将在工作流程中使用的全局标识符）
  • [2]工具：2024年1月底，WorldShare Record Manager集成WorldCat实体查找和URI插入编目工作流程（弥合传统记录和关联数据框架之间的差距，实现数据的无缝创建和管理）
  • [3]导入/导出：已发布向OCLC提供BIBFRAME 2.0数据的文档（Prepare your BIBFRAME）https://help.oclc.org/Metadata_Services/WorldShare_Collection_Manager【希望采用美国国会图书馆在其编辑器 MARVA 中使用的序列化方式Concise Bounded Description (CBD)】
  • [4] BIBFRAME风格：评估了LC、Share-VDE和瑞典国家图书馆的BIBFRAME，适应BIBFRAME 2.0模型的不同风格（图书馆员可以以尽可能高的保真度共享和交换数据）

另参见：2024年1月30日OCLC新闻，关于OCLC 将 WorldCat 实体标识符添加到 WorldCat 记录中，并将关联数据功能集成到图书馆已使用的编目服务中