标签： 大千世界

科学数据管理的“FAIR原则”及其实施

【FAIR原则】https://www.go-fair.org/fair-principles/

2016年，Mark D. Wilkinson等在《Scientific Data》上发表 The FAIR Guiding Principles for scientific data management and stewardship（ https://doi.org/10.1038/sdata.2016.18），提出科学数据管理的“FAIR指导原则”，即改善数字资产的可查找性（Findability）、可获取性/可访问性（Accessibility）、互操作性（Interoperability）和重用性（Reusability）。原则强调机器可操作性，即计算系统在没有或最少人为干预的情况下查找、获取、互操作和重用数据的能力。

FAIR原则涉及三种类型的实体：数据（或任何数字对象）、元数据（有关该数字对象的信息）和基础架构（如注册、搜索引擎）。原则如下：

  • F 可查找性
  • （重复）使用数据的第一步是找到它们。对人和计算机来说，元数据和数据都应该易于找到。机器可读的元数据对于自动发现数据集和服务至关重要，因此这是“FAIR化流程”的重要组成部分。
  • F1、（元）数据被分配一个全局唯一且持久的标识符
  • F2、用丰富的元数据（由下面的R1定义）描述数据
  • F3、元数据清晰明确地包含了它们描述的数据的标识符
  • F4、（元）数据在可搜索资源中注册或索引
  • A 可获取性
  • 一旦用户找到所需的数据，她/他就需要知道如何获取它们，可能包括身份验证和授权。
  • A1、（元）数据可使用标准化的通信协议通过其标识符进行检索
  • A1.1、协议是开放、免费的并且可以普遍实施
  • A1.2、协议允许在必要时进行身份验证和授权过程
  • A2、即使数据不再可用，也可以获取元数据
  • I 互操作性
  • 可互操作数据通常需要与其他数据集成。此外，数据需要与应用或工作流进行互操作，以进行分析、存储和处理。
  • I1、（元）数据使用一种形式化、可获取、共享和广泛适用的语言来表示知识。
  • I2、（元）数据使用符合FAIR原则的词表
  • I3、（元）数据包括对其他（元）数据的合格引用
  • R 重用性
  • FAIR的最终目标是优化数据的重用。为此，应详细描述元数据和数据，以便可以在不同的设置中复制和/或组合它们。
  • R1、（元）数据以多种准确且相关的属性进行丰富的描述
  • R1.1、（元）数据使用明确且可获取的数据使用许可证发布
  • R1.2、（元）数据与详细出处关联
  • R1.3、（元）数据符合领域相关的社区标准

【走向FAIR社区】https://www.go-fair.org/how-to-go-fair/

FAIR原则没有停留在学术论文中。自2018年以来，GO FAIR社区一直在努力实施FAIR指导原则。这种集体努力形成了一个三点框架，该框架制定了必不可少的步骤，为的是实现最终目标——一个全球性的“FAIR数据和服务互联网”，其中的数据可用于计算机的可查找、可获取、可互操作和可重用（FAIR）。

https://www.go-fair.org/wp-content/uploads/2020/07/3-point-framework_text_icon-background-1.png
三点框架指：M4M（用于机器的元数据）、FIP（FAIR实施纲要）和FDP（FAIR数据点）。自2020年4月以来，有3个相应的工作组在开发方法、工具和文档。

【定义元数据需求：M4M研讨会】https://www.go-fair.org/how-to-go-fair/metadata-for-machines/

没有机器可操作的元数据就没有FAIR数据。自2018年10月以来，已举办了6次M4M研讨会，由领域专家与元数据专家（数据管家）组成团队，定义满足特定领域的FAIR数据需求的元数据需求。

【FAIR化流程】https://www.go-fair.org/fair-principles/fairification-process/

对于非FAIR数据，走向FAIR社区采用7个步骤将之“FAIR化”：1检索非FAIR数据——2分析检索到的数据——3定义语义模型——4使数据可链接——5分配许可证——6定义数据集的元数据——7部署FAIR数据资源

https://www.go-fair.org/wp-content/uploads/2017/11/FAIRificationProcess-1.png

W3C数据目录本体（DCAT）入门

11/3收到“W3C数据目录本体（DCAT）入门”网络会议（Webinar – Introduction to the W3C Data Catalog Ontology (DCAT)）的邮件，看了是11/13零点的网会。由于前一天刚买好机票，确定11/10-13在海南旅游，不打算玩的时候还听网会，就没有注册，但邮件一直放在收件箱中没有处理，还打算有机会进一步了解。不料11/9上海出现一本地新冠肺炎病例，尽管那地方离我的活动区域有四五十公里（相当于到了江苏昆山），但由于之前一直关注各地疫情防控政策，推测很多地方极有可能小题大作，为免麻烦深夜退票取消了第2天的行程。于是11/10上午用通知上提供的折扣码免费注册了这个ASIS&T主办的DCMI网会。

提早一个多小时就打开网址，测试了网络，不料等会议开始，才弹出下载程序，下载龟速（会议时间近半仍未完成）。改看手机，倒是不必下载程序，但没有声音。所幸找到PPT可以下载，且手机下载速度较快，总算半夜没有白辛苦。第2天一早看PPT，备注中有详细解说，笔记见后。

先访问词表网站：

DCAT于2020-2-4发布了第2版，第1版6年前。粗略对照2个版本，类由7个增加到13个，属性有变化、仍有不少直接复用其他词表属性（仍以都柏林核心dct为主，增加大量prov本体）。

第2版类一览：类=复用词表（属性数量）

  • Catalog (7)、CatalogRecord (6)、Dataset (7)、Distribution (19)
  • ConceptScheme=skos (0)、Concept=skos (0)、Organization/Person=foaf (0)
  • 新增：
  • CatalogedResource (22)、DataService (3)
  • Relationship (2)、Role (0)=provPeriodOfTime(4)、Location(3)

DCAT2附录有与schema.org映射。既然这些属性schema.org都有，为什么需要DCAT？我想是因为它提供了一个针对发布数据的很好框架。看会议PPT，强化了以上初步印象。

— W3C数据目录本体入门（笔记）—

Introduction to the W3C Data Catalog Ontology (DCAT)

会议介绍主讲Peter Winstanley（Semantic Arts公司的本体专家，W3C Dataset Exchange Working Group共同主席），但PPT上没有署名。

PPT末称会议录音、PPT及后续调查会在48小时内提供。

【背景】“开放数据”运动——互联网的发展意味着信息分发的边际成本接近于零，因此，主张免费获取出自公共钱包支付费用的信息（在某些情况下，这不侵犯个人隐私、 政治敏感度或商业机密性）的观点变得势不可挡。 这在许多国家催生了立法，许多组织致力于推广“开放数据”，并帮助公共和非营利组织的人们将数据公开。(slide 4)

【历史】在此背景下，Vassilios Peristeras等从2006/2007年间开始研究使用RDF模型在网络上发布数据目录的框架，[2010前]作为W3C推荐标准发布。后为欧盟委员会创建了一个DCAT-AP[https://joinup.ec.europa.eu/release/dcat-ap-v11]，也用于欧洲数据门户（European Data Portal, EDP），他还启动了其他2个应用纲要扩展：统计STAT/DCAT-AP和地理GEO/DCAT-AP。(slide 6-9)

【第1版(2014)】基于都柏林核心的类和谓词。包括4个类：dcat:Catalogue（数据目录），dcat:Dataset（数据集），dcat:CatalogRecord（目录记录=注册事件），dcat:Distribution（数据集的各种序列化的发布，如同作品具有载体表现）[另有第5个类foaf:Agent]。此外，搜索由许多可索引的文本字段完成，并使用SKOS概念来表征数据集[另2个类：skos:ConceptScheme和skos:Concept（合计7个类）]。(slide 10)

【应用纲要(AP)】对于主流用户社区（如欧盟委员会和欧盟成员国）而言，基本的DCAT词表本身是不够的，但是以应用纲要的形式添加了其他几个组成部分，这是一种非常具有竞争力的通用语言，用来描述数据集并促进其发现(slide 12)。此后，针对国家或垂直行业（如统计、地理空间、运输和地质学）开发了其他更专业的应用纲要(slide 13)。

  • DCAT-AP – https://joinup.ec.europa.eu/release/dcat-ap-v11
  • GeoDCAT-AP – https://joinup.ec.europa.eu/release/geodcat-ap-v10
  • StatDCAT-AP – https://joinup.ec.europa.eu/release/statdcat-ap-v100
  • DCAT-AP_IT – https://www.dati.gov.it/content/dcat-ap-it-v10-profilo-italiano-dcat-ap-0
  • DCAT-AP.de – https://www.dcat-ap.de/
  • DCAT-AP-NO – https://doc.difi.no/dcat-ap-no/
  • Transport-DCAT-AP – https://oasis.team/storage/app/media/O1.2%20TransportDCAT-AP%20and%20Controlled%20Vocs.pdf
  • EPOS-DCAT-AP – https://github.com/epos-eu/EPOS-DCAT-AP
  • DCAT-US – https://resources.data.gov/resources/dcat-us/
  • DCAT – Australia – https://toolkit.data.gov.au/Discovering_Metadata.html

【第2版(2020)】[2016/2017]从征求的用例中提炼出一组需求，形成第2版。优势：

  • [1] 放宽类和属性定义的约束，以促进术语和模块的重用。[对比keywork：第1版定义域dcat:Dataset，值域skos:Concept；第2版定义域无，值域rdfs:Literal]
  • [2-3] 新增超级类dcat:Resource（表示目录中无法包含的任何资产），下属dcat:Dataset、dcat:DataService（支持提供对数据资产访问的目录服务端点；新增）。
  • [4] 增加表示结构松散的目录的方式，其中数据集及其发行之间没有区别。
  • [5] 表示数据集来源和质量的方式的更多细节。
  • [6] DCAT词表与schema.org词表之间的对齐方式。(slide 14-15)

【示例】dcat:Catalog具有一些元数据和一组dcat:Dataset实例URI……(slide 16-19)

【如何使用】(slide 20-28)创建一个或多个dcat:Catalog实体；添加相关的元数据，包括：标识符，发布者详情，所用主题分类法，权利和政策（许可等）、使用如ODRL、CC或相关词表，创建、更新日期等；添加目录内容——数据集、数据服务、发布等。……

  • （文件集）在dcat:Dataset只是一个“文件袋”（没有“发布”意义）的情况下，可以使用dct:relation表示各种文件；
  • （链接数据集到出版物）可以使用dct:isReferencedBy将数据集与出版物相关；
  • （质量控制）利用W3C数据质量词表（Data Quality Vocabulary, dqv:）

【版本控制】在第3版解决。查看讨论：https://github.com/w3c/dxwg/wiki/Material-for-a-SPRINT-on-Versioning

【为什么选择DCAT】有其他用于描述/编目数据集的词表（如：欧洲通用研究信息格式CERIF、DataCite、ISO19115-1地理信息、Schema.org），但DCAT可以在整个数据集目录之间提供通用语言，并且专注于在Web上发布，是一个互操作标准。(slide 30)

【参考资料】(slide 32)

  • * https://www.w3.org/TR/vocab-dcat-2      W3C DCAT v2
  • * https://github.com/SEMICeu/DCAT-AP     SEMIC EU DCAT-AP work
  • * https://github.com/digst/DCAT-AP-DK      DCAT-AP-DK

旧文录（书社会日志27：2011）：一失足成千古恨

某人研究生毕业留校当辅导员，后来大概是去过国外进修什么的（今天才听说的），转到教师岗位。这时她发现自己的硕士论文大有问题，耻于为学生所见。于是托关系来图书馆找到本人，要求将其学位论文做保密处理（不公开）。 尽管这不符合规定，但我心存恻隐之心，还是给她做了屏蔽处理。几年过去了，不知哪里出了问题，近日她竟然发现该论文又可以在学位论文系统里查到了，于是忧心忡忡地托人电询此事。尽管所用系统经常出现各种状况，但知道这事还是很令我吃惊，答应马上查清。我对来电人玩笑说，早知今日、何必当初呢。他说是啊，她恨不能抹掉呢。我说弄出来就抹不掉了，一失足成千古恨啊。他笑说：是啊，还好她在二楼，要不然我担心她从楼上跳下去呢。挂下电话去查，还真是她的那条记录有问题，马上再度屏蔽。为何会出现这一问题，仍然困惑中。
本以为事情已经了结，不料今早接到领导电话，说她托到大领导【原为该系教授】，希望能够把此文换掉。换掉？这真正令我大吃一惊！传过来的话说，她要求我不公开论文，被我一口回绝──天哪。我实言相告，当初她要我屏蔽论文，我答应后她要给我购物卡还是交通卡（记不清了），我自然不能收。难道她认为我因此就没给她处理？当年她难道没有确认过我是不是做了？据说她马上要博士毕业，因此希望把此文替换掉。如果同意的话，她就提供替换的论文。这回我真是一口回绝──我们有存档职责，不能这样造假吧？领导说她是担心学生问，为什么老师的论文在系统里查不到。我说这很正常，根据以前做的比对，留校或在职读本校学位的教师，未提交电子版论文的特别多，就解释她没提交好了。
不过我能够理解她的心情，况且我们也有失误，因此想跟她沟通下。给中间人电话要她的联系方式，提到她跟大领导说此事，他也没想到。估计他以为我因此很紧张，马上说：不要紧，我跟她解释好了。发现自己对她要替换论文一事难以启齿，毕竟他们两人是同事。因此就找不到要联系她的理由了，只能请他代为告知，已经给她屏蔽掉了。
世事难料。我无法保证其他人不做替换或删除论文的事，因此虽然完全没兴趣看此论文，还是很邪恶地把它下载了一份保存在云中。如果哪天想起，可以查查它是不是还在论文库里，或者论文库里的还是不是原来的那份。