关联数据的“调和”与“解析”

关联数据应用中,相同实体判定是重要工作,决定最终的应用效果。对于从原有数据转换而来的关联数据,这项工作尤其重要。比如从MARC转换到BIBFRAME、schema.org或其他格式,完成格式上的映射后,做一个转换程序不会太难,麻烦的是给转换后的实体配上相应的URI。当然可以简单地设置自家URI/IRI,但后续也需要与其他/通用URI匹配,才能发挥作用。比如把书目记录中的某个作者,关联到维基百科中的某个人物词条。调和与解析(Reconciliation & Resolution),就是对实体进行匹配。

LD4 Community Working Group on Reconciliation
基于安德鲁梅隆基金系列课题(LD4L、LD4L-Labs、LD4P)的LD4社群,在2017年5月成立了一个开放参与的“调和与解析工作组”,致力于解决这个问题。目前志愿参与的成员来自Europeana、芬兰赫尔辛基大学、美国国会图书馆、史密森学会、斯坦福大学、华盛顿大学、印第安那大学、加州大学圣迭戈分校、加州大学圣芭芭拉分校、加州大学校长办公室、艾利贝斯集团、Apache软件基金。
工作组目标是为文化遗产/GLAM(美术馆、图书馆、档案馆、博物馆)的资源元数据的调和与解析,总结匹配算法、工作流程、工具和功能需求
对于相关概念,小组认定的术语含义如下(目前工作内容仅涉及前二者):
调和(Reconciliation):实体/URI到实体/URI
实体解析(Entity resolution):字符串到实体/URI(常误称“调和”)
词汇化(Lexicalization):实体/URI到字符串(即得到相应的标签label)

调和与解析相关工作,在实际应用中可能不只是匹配一种情况。目前小组正在公开征集用例、功能需求、当前服务、工作流程等。有一个提交用例的简单模板,包括主要行动者(参与人员)、涉及范围、描述(story)三项内容。
GitHub上到今天(2017-8-10)已经提交了38个用例(编号21-76,有跳号),比如:#76跨语言匹配,#70运行优化,#68使用本体,#39断言两个实体不同。

via BIBFRAME listserv: Call for Reconciliation & Entity Resolution Use Cases / Needs / Stories. Brian Tingle. 8 Aug 2017
参见小组工作计划:LD4 Community Working Group on Reconciliation, 2017-2018 Work Plan

另参见:重量级图书馆关联数据项目LD4P获得资助(2016-5-10)

LC提供2500万书目记录免费批下载(附LC在Library.Link)

2017年5月,美国国会图书馆(LC)宣布免费提供2500万条书目记录批下载。时间段为1968-2014年,应该就是2014年前LC制作的所有MARC记录。很多年前LC的书目记录就可以通过Z39.50逐条获取,但批量数据以前是付费订购的。虽说“主要供研究与开发利用”(MARC Open-Access),但因为并未限制使用目的,估计很多书目服务商听到消息第一时间就去下载备用了。
根据LC网站的 MARC Distribution Services (data set) 网页上的FAQ说明,本次免费提供的数据截止到2013年12月,以后可能每年更新。订购数据则更及时,目前截止2015年12月底,同时提供每日、每周更新。
开放MARC数据的目的是希望书目数据得到原有目的之外的、更广泛的利用。LC采访与书目访问部主任Beacher Wiggins在报道中说:“为了更有效的信息分享、更方便可视化与其他不可预知的分析,我们希望社会科学家、数据分析师、开发者、统计学者及其他人在工作中使用数据,对大数据集做创新工作,强化新知识的学习与生成”。
via Fortune: The Library of Congress Just Made 25 Million Records Available for Free (2017-5-17)

——— Library.Link中的LC书目数据 ———
今天看到Library.Link中,对LC书目记录经关联数据转换后发布。LC宣布开放数据是2017-5-17,数据被载入Library.Link是2017-6-12,发布是2017-6-15,可谓反应迅速。不知道是不是最早的公开发布应用。
关于Library.Link,参见:2016 ALA年会BIBFRAME更新论坛(2016-8-27)

LOC.Library.Link
LC像其他加入Library.Link的图书馆一样,有一个主页。如果有帐号,可以看访问统计。
右栏是“资源”,即由MARC记录转化后的Bibfra.me类(共16个)及数量,字顺排列:
Agent 2338223
Collection 667912 (由相关题名字段转换而来?)
Concept 6546780
CopyrightEvent 564
Family 25860
Form 9336
Instance 12898932
Meeting 228118
Organization 1200225
Person 4891149
Place 634135
ProviderEvent 6005730
Series 958273
Temporal 8906
Topic 303503
Work 13649505

每次在新形态下看发布的书目数据,总不免看到一些原本埋没着不知道的原始数据错误,如以前看分面OPAC,现在看关联数据。选择“个人”随意浏览,本当为人名,但排序在前几页的都是非字母开头的(标点符号、数字),有些可能是非拉丁字母转化的字符问题,还有相当部分应该是原始数据有问题。
比如有个”16 juli 1993″,根据题名返回到LC目录查原记录,LCCN=94124897(https://lccn.loc.gov/94124897),果然有:
7001_ |a “16 juli 1993.”
本书1993年出版,可能把500误作700了。

接下来还有不少以冠词A起始的,很有意思,比如:A 1st class boy, A British officer, A Californian, A lady of this city …
比如:A lady of this city
LC目录中查到原记录LCCN=16009701(https://lccn.loc.gov/16009701)
245 04 $a The life of the beautiful and accomplished danseuse, Mademoiselle Fanny … $c … Selected and comp. by a lady of this city.
700 0# $a A lady of this city.
原来还有这样直接用题名页上称呼做个人名称检索点。

IFLA关联技术分委员会公开征求委员

IFLA标准委员会(IFLA Committee on Standards)下属关联技术分委员会(Linked Data Technical Sub-Committee, LIDATEC) )现正寻找热心者参与。分委会的主要工作是对IFLA命名空间的维护与管理,目前IFLA已经发布了FRBR家族、ISBD和UNIMARC三个词表。
本分委会至多由7人组成,全志愿,主要在线工作;每年IFLA年会碰一次面,注册费有优惠。
申请截止期为2017年6月30日,发送邮件到 elections@ifla.org,提供姓名、所属机构,并简单描述个人背景,以及与关联数据和RDF相关的专长(约250词)。
分委会成员将在7月确定,希望入选者能参加8月在波兰举行的IFLA年会。

Via IFLA Committee on Standards News. Call for nominations for the Linked Data Technical Sub-committee / By Joanne Yeomans (9 June 2017)