中文开放知识图谱相关网站

去年底在微信上看到哈工大姜天文的《知识图谱的发展概述》(2017-10-16),访问了其中提到的中文知识图谱网站。最近又看了专访王昊奋和漆桂林:AI-108将|偷偷告诉你,那些二次元萌妹都有个叫知识图谱的爸爸(邢书博. AI时间, 2018-8-6)。今日再访相关网站,汇总笔记如下。

一、平台:OpenKG.CN 中文开放知识图谱
中文知识图谱门户网站,汇集由成员机构上传的知识图谱数据集(或其信息)与相关工具。目前有成员57家(其中30多家上传了资源或资源信息),内容包括:
数据集81个(如上海图书馆有2个:名人手稿和华人家谱,似乎只是链接)
工具集47个(标注采用的编程语言等;也包括应用如“唐诗别苑”可视化平台的介绍)
漆桂林:“openKG已经汇集了百科类的知识图谱以及很多行业图谱,而且也在建立这些图谱之间的链接,这将有助于解决知识图谱的数据缺失问题”。

二、知识图谱数据集
见OpenKG.CN的数据集部分。大型综合知识图谱如下,内容大多从网络百科抽取,也多提供API方式利用:
1、zhishi.me(东南大学Knowledge Science and Engineering Lab)
数量统计:百度百科5,198,298、互动百科4,579,805、中文维基百科559,402(数据更新时间2015-11-24)
2、Xlore (清华大学知识工程研究室 KEG)
数量统计:14,951,135 实体,1,371,272 概念,512,883 关系,5000万+ 访问(2017.11.25/2018.8.19访问)
3、CN-DBpedia(复旦大学知识工场 KW Lab)
数量统计:API调用次数 638,237,313;实体数 17,064,759,关系数 222,987,218
4、大词林(哈尔滨工业大学社会计算与信息检索研究中心)
数量统计:(2018.8.19网站数据)约250万命名实体;类别共约15万个;平均每个命名实体有1.32个不同粒度的类别;上下位关系超过330万;(2017.10.16姜天文《知识图谱的发展概述》数据)约900万实体、约17万类别;平均每个命名实体有1.77个不同粒度的优质类别;上下位关系超过1千万对。
大词林与前3种数据集的不同点在于提供的是实体对应的各种属性及其层次关系(感觉可用于区分同名、提供推理)。“《大词林》以《同义词词林(扩展版)》为骨架,不断添加命名实体及其层次化类别信息,自动构建开放域命名实体知识库。”

三、知识图谱用词表:cnSchema
从名称就可以看到schema.org的影子。“cnSchema.org是一个基于社区维护的开放的知识图谱Schema标准。cnSchema的词汇集包括了上千种概念分类(classes)、数据类型(data types)、属性(propertities)和关系(relations)等常用概念定义,以支持知识图谱数据的通用性、复用性和流动性。结合中文的特点,我们复用、连接并扩展了Schema.org,Wikidata, Wikipedia等已有的知识图谱Schema标准,为中文领域的开放知识图谱、聊天机器人、搜索引擎优化等提供可供参考和扩展的数据描述和接口定义标准。通过cnSchema, 开发者也可以快速对接上百万基于Schema.org定义的网站,以及Bot的知识图谱数据API。”

四、知识图谱工具
自己不懂技术,感兴趣者可到OpenKG.CN的工具集部分找,可能也不乐观。漆桂林说:“缺工具的问题比较明显,这里的工具不是单指某一个算法实现后的工具,而是工具群以及把这些工具群整合在一起的平台”。“举个例子,关系抽取有不少算法,也有一些开源的工具,但是商用的时候不是一个算法可以解决问题的,往往需要把一套关系抽取工具集成起来才有效,这种可以解决用户问题的工具是缺失的,需要通过公司化运作来实现。大公司大部分都是这么做的,但是他们的工具只是给自己用,不会开放出来。可喜的是,目前有一些小公司正在做知识图谱的实用工具和平台,今年或者明年应该会有一些很不错的产品出现,这也将是知识图谱快速发展的契机。”

——— 大型知识图谱数据集中的“绍兴”和“毛泽东”———
想了解各个数据集情况。想到用“绍兴”查,是因为同名既可能是时间、也可能是地点。查百度百科后发现不止这么简单,共有6个同名词条:1浙江省下辖地级市、2绍兴市下辖县,3西辽仁宗年号、4宋高宗年号,5汉语词汇,6郑燮的诗。
查找结果:CN-DBpedia具有实用性。如何保证知识图谱数据的真实性、准确性、时效性,恐怕仍然是待解决的问题。

1、zhishi.me:绍兴
2个结果,都是地点:(1)中文维基:绍兴市;(2)百度百科:绍兴(浙江省下辖地级市)。
感觉每种百科只取1个结果。再查“毛泽东”验证:3个结果,维基、百度、互动3种百科各1个。

2、Xlore:绍兴
3个结果,不同性质:(1)绍兴(instance):西辽年号;(2)绍兴(concept):地名;(3)绍兴(绍兴府)(instance):历史地名。
绍兴(西辽年号)详细信息:性质:西辽仁宗年号;皇帝:辽仁宗—耶律夷列。
不知道为什么会缺南宋年号。同名检索结果分instance和concept。再查“毛泽东”:2个结果,同样1个实例、1个概念。

3、CN-DBpedia:绍兴
5个结果(多义词):(1)绍兴(浙江省下辖地级市),(2)绍兴(宋高宗年号),(3)绍兴(西辽仁宗年号),(4)绍兴(郑燮的诗),(5)绍兴(汉语词汇)。
绍兴(西辽仁宗年号)详细信息:性质:西辽仁宗年号;皇帝:辽仁宗—耶律夷列;国家:契丹族【最后1条Xlore无,来源不同还是识别实体差异?】
绍兴(宋高宗年号)详细信息:开始:1131;结束:1162;属于:宋高宗年号【与上条相比,显然没有固定格式,由来源数据生成】
绍兴(浙江省下辖地级市)详细信息中有市长、市委书记,没有关联时间。
结果数量非常接近百度百科:少了词条名现为“柯桥区”的“绍兴县”。应该是百科词条全收。
再查“毛泽东”得到验证,15个结果除了人名(无产阶级革命家)外,还有图书名、影视片名。选择人名有可视化(RDF图)、时间线(历史长河)、好奇心(自己探索关系)——一个比一个好玩

4、大词林:绍兴
14个结果(不同属性):中国地名、中国城市、中国市县、人、企业、县、地点、城市、市、时空、浙江县区、浙江城市、行政区划、都市【“人”不知是谁】。并提供这些结果间层次关系图。
姜天文:“《大词林》的构建不需要领域专家的参与,而是基于多信息源自动获取实体类别并对可能的多个类别进行层次化,从而达到知识库自动构建的效果。”
从去年和今年两次查“毛泽东” 的结果看,确实在不断丰富。但质量是不是更好就不好说了,特别看“别名”:
2017.11.25:石三伢子、二十八画生 等、毛润之
2018.8.19:* Shaoshan* 毛泽东纪念馆* 毛主席纪念堂* Chairman Mao Zedong Memorial Hall* 德州扒鸡* Comrade Mao Zedong Memorial
去年还是真正的别名。现在变成了韶山和2个纪念机构(及其英文名称),竟然还有“德州扒鸡”!——于是百度一下“毛泽东 德州扒鸡”,第一页结果中都有这样的信息:“五十年代,国家副主席宋庆龄从上海返京途中,曾多次在德州停车选购德州扒鸡送给毛泽东主席以示敬意”。那为什么没有“红烧肉”?

研究数据管理书目(2009-2017)

曾在博文“Data Curation:数据监护?数据保管?”(2011-5-22)中提及此书目,现在这个书目更新到了第9版,含2009-2017年著述:
Research Data Curation Bibliography / Charles W. Bailey, Jr. VERSION 9: 4/18/2018

近年国内 Data Curation 研究热度不减,CNKI收录文章在2016年达到峰值95篇,2017年第2高值73篇。查该术语翻译五花八门,大致有:管护、监管、监护、策管、策展、管理。以我的理解,在图情领域,Data Curation 约等于 Research Data Management (RDM),本书目中有大量文章含后一术语,比data curation更多,因此觉得不妨用“管理”一词更具包容性。

要做研究数据管理,这个书目是不错的参考源。
本书目收录750种精选英文文章、图书和技术报告,含访问链接,在不违反版权的情况下也包括摘要。内容涉及:研究数据创建、采访、元数据、出处、存储库、管理、政策、支持服务、资助机构要求、开放获取、同行评审、出版、引用、共享、重用和保存等主题。
比较可惜的是,书目是按作者字顺排序,没有对论著做简单的分类以方便浏览。也没有嵌入引文数或替代计量数值,辅助评估选择。

关于 data curation,本书目在导言中引用 Christopher A. Lee 和 Helen R. Tibbo 对 digital curation 的定义:
“digital curation涉及创作者和档案工作者的选择和评估,不断提供智力接入,冗余存储,数据转换,并且对于一些材料而言承诺长期保存。digital curation是管理(stewardship),提供认证数字数据和其他数字资产的可重复性和重复使用。开发值得信赖和耐用的数字储存库,声音元数据创建和捕获的原则,使用文件格式和数据编码的开放标准,以及提高信息管理素养,对于数字资源的长期使用和curation工作的成功都至关重要。

“第五届全国文献编目工作研讨会论文集”笔记

去年11月参加第五届全国文献编目工作研讨会(参见:第五届全国文献编目工作研讨会:笔记 ),照例收到论文集1册:
中国图书馆学会学术研究委员会信息组织专业委员会编. 回顾与展望:新媒体时代下信息组织方法的创新与发展——第五届全国文献编目工作研讨会论文集. 国家图书馆出版社, 2017.11. ISBN 978-7-5013-6288-2

这几天有空翻看,发现国图作者比例极高,真是人才济济。于是数了下,收录论文共69篇,国图49篇占71%:一等奖4篇(国图2篇50%),二等奖9篇(国图6篇67%),三等奖17篇(国图12篇70%),优秀奖16篇(国图11篇69%),交流论文23篇(国图18篇78%)。
以下摘取对我而言是新知的6篇论文概要(二等奖、三等奖各有一篇讨论PRESSoo和ROAD),作者都是国图的:

赵敏、宋文燕. PRESSoo对我国连续性资源编目的影响. 第91-99页.
ROAD(the Directory of Open Access scholarly Resources开放存取学术资源目录)是一项在联合国教科文组织交流和信息部门资助下由ISSN国际提供的免费服务,起始于2013年12月。其创立目的主要有四项:(1)为以开放存取出版的各类在线学术资源提供单独的访问点;(2)提供关于OA资源质量和声誉的信息;(3)在世界范围内提供开放存取学术内容的概述;(4)展示使用ISSN收集来自各种资源信息的新方式。目前,ROAD提供两种格式的数据,一种是MARC XML,另一种是RDF/XML。其中,后者是基于PRESSoo概念模型建立。
ISSN国际中心以ROAD项目为依托,根据PRESSoo概念模型,利用关联数据技术,将MARC21格式转换为RDF/XML格式……

李仕超. 连续出版物数据的关联与开放. 第130-136页.
ROAD……【由】ISSN国际中心提供免费的ISSN注册数据集(提供180多万条书目记录的订阅服务)。该数据集包括在开放获取(OA)环境下描述学术资源,且已获得ISSN网络分配的国际刊号的书目记录,例如期刊、会议记录等。

刘俊. 国外图书馆随刊光盘管理利用方式分析及启示. 第236-244页.
本文通过电邮调查7家国家图书馆(美国、英国、澳大利亚、加拿大、法国、新加坡、日本)+波士顿公共图书馆,并选取典型刊物查询这些图书馆OPAC,了解随刊光盘的管理及MARC著录方式。

王彦侨. 大数据时代联合目录的质量控制. 第276-281页.
1 联合目录的数据质量:四大要素:完整性、一致性、准确性、及时性
2 联合目录的质量管理:标准规范,管理制度
3 联合目录的数据清洗:人工检查,应用专门程序,针对特定项目的处理,查重匹配
【框架不错,内容略泛】

胡媛. 跨越资源藩篱 共享中文数据——略述中文文献资源共建共享合作会议. 第344-351页.
中文文献资源共建共享合作会议【2000-2016,两岸四地11次会议,除中文名称规范库外,竟然不曾听说】
代表性建设成果:中文石刻拓片资源库(国图),中文名称规范联合数据库检索系统,中国古代版印图录(图书),中文古籍书目数据库,中国科技史数字图书馆(清华),中国家谱总目(图书),中国近代文献图像数据库,中华寻根网(家谱)

王薇. CJK数字图书馆建设现状调查与思考——基于与Europeana和WDL的比较、分析. 第384-390页.
借鉴WDL和Europeana的成功经验,2007年8月南非第73界国际图联大会上日本国立国会图书馆馆长长尾真向中韩两国的国家图书馆提出了《数字存档方面的国际合作》提案……共同建设CJK数字图书馆(China-Japan-Korea Digital Library)项目,以东亚地区文化和学术信息资源为对象的门户网站计划将于2017年9月正式上线。……应用关联数据和语义网,整合数字文化资源,通过跨领域、跨国界的统一网络平台,为用户提供一站式浏览和检索服务……
数字资源内容:中日韩三馆首批分别向网站注入1000种左右的古籍文献。元数据发布……;专题库……可提供全文影像浏览。……两种服务方式兼具了WDL与Europeana的特点。
技术标准:中日韩三方共同认可以DC核心元数据作为数据交换标准。……网站的系统开发由韩方负责。三馆各自拥有不同的检索门户系统,通过WebOPAC检索进行互联与对接。