自动音译工具ScriptShifter

ScriptShifter是美国国会图书馆(LC)于2024年开发的自动音译工具。开源软件。

所谓“音译”,指文本从一种文字到另一种文字的系统转换。将文本音译为拉丁字母,即所谓“罗马化”。比如,为汉字生成汉语拼音。

ScriptShifter就是一款自动罗马化音译工具。LC使用的罗马化标准是:《ALA-LC罗马化表》(ALA-LC Romanization Tables

ScriptShifter目前支持近百种文字(Supported Scripts/Mappings in ScriptShifter),有罗马字母到文字、文字到罗马字母2种转换,部分文字只有单向转换。比如中文汉字,只支持文字到罗马字母(汉字生成拼音),不支持罗马字母到文字(拼音转成汉字)。

有在线版本可以试用:https://bibframe.org/scriptshifter

  • 试汉字。几个多音字组成的词,转换正确。
  • 试日语,有平假名、片假名2种文字,均支持双向转换。支持日文汉字生成罗马字母,或者罗马字母生成假名(但罗马字母不能转成日文汉字)。另外,对多音汉字如人名无法很好处理,也是意料之中(在BIBFRAME更新论坛上提到希望借助AI)。

ScriptShifter是LC为编目非拉丁文字资源而开发的。目前已嵌入开发中的新版BIBFRAME编辑器Marva Quartz,用于实时生成罗马化内容。

由于其灵活的使用方式(见下),显然在回溯处理批量数据时也会有用武之路。

ScriptShifter可在本地运行、本机运行、通过API集成到其他软件中使用:

LC正鼓励参与开发:试用Scriptshifter;尝试安装Scriptshifter或使用API;通过Github或电子邮件报告问题。

Paul Frank and Matt Miller. ScriptShifter: Enhancing Library Metadata and Discovery. https://www.loc.gov/bibframe/news/bibframe-update-jul2024.html

参见:2024夏BIBFRAME更新论坛(2024-7-12)/posts/2024/0712/6271 

听周小玲讲座:RDA的发展和更新(实施与翻译)

今天去上图采编中心参加讲座:RDA的发展和更新。小会议室里挤满了人,很感慨时代的变化。几年前如有外来专家讲座,一定是市学会活动,公开发布消息,高校馆公共馆同仁济济一堂,而今却只是一个内部活动。很感谢几位让我得到了这样一个机会,姓名不表。

主讲人周小玲(Charlene Chou现任纽约大学图书馆知识检索部门主任,目前正在上海纽约大学访学。她做报告的身份是RDA指导委员会的更广泛社区参与专员(RSC / Wider Community Engagement Officer,2022-2023, 2024-2025),据她说因北美、欧洲和澳洲三洲已有各自的地区机构,这个职位负责在其他三洲即南美、非洲和亚洲推广RDA,她从东亚开始。她说台湾的馆长在推动采用新RDA。另外,日本的国会馆有兴趣但不确定实施时间【确定不是敷衍?日本为对标原RDA已更新本国编目规则】,韩国感兴趣西文部分【和吾国类似】,新加坡积极【新加坡国家图书馆局的Haliza Jailani是2021-2023年RDA理事会亚洲代表】。

提问阶段我问了RDA实施情况。比如说,美国PCC于2024.5.1-2027.4.30滚动式实施,现在有图书馆开始实施了吗?并没有,因为第一,培训才做第一阶段,均在期待更实用的第二阶段;第二,等待应用纲要完成;第三,LC-PCC PS和MGD更新,今年完成【实施至少2025年了】。

其他已经实施的国家有:大英图书馆【工具包有BLPS】,德语联盟【有RDA DACH】;新西兰【工具包有NLNZ PS】,澳大利亚;以色列,希腊——我问:没看到有这2个语种翻译啊?答曰:可能版权比较复杂,没上网【原RDA中译本非电子版,也说明有中文翻译的】,或者直接用英语【德国也没翻译原文,RDA DACH是对应的手册】。

最近有ALA活动“RDA Around the world”【未查到资料】,西班牙文翻译已完成,但南美并无实施。

关于翻译,她特意介绍RDA registery(RDA注册)已由顾犇翻译成简体中文,初稿很快会上传征询意见;台湾正在翻译繁体中文

看提问不踊跃,我又就她报告中提及的RDA各种映射,问了与BIBFRAME映射问题。不意她理解为BIBFRAME与MARC映射,说到了BIBFRAME实施的问题(真是意外收获)——由于b2m转换不似m2b成功,因而LC想只做BIBFRAME记录(再转换成MARC)一直没有执行【就是那个关注很久却找不到实例的BIBFRAME 100】,而比如她们馆用Share-VDE把MARC转换为BIBFRAME,觉得很好,因之没觉得有必要用BIBFRAME【大致此意】。

之前查RDA近期PPT时,发现RSC网站(www.rda-rsc.org)不知何时并入了RDA工具包网站(https://www.rdatoolkit.org/rsc),大概是为了降低维护成本,但更新不及时了,半年过去,还没有2024年的报告。2023年有在台湾和香港的报告,今天的内容大致同在香港JULAC的报告,可见 2023 Presentations | ALA RDA Toolkit

Introduction to Official RDA Toolkit. Bibliographic Services Committee, Joint University Libraries Advisory Committee, Hong Kong. 2023-12-15.

以上相关内容可参见部分博文:

2025年LC正式实施BIBFRAME(及非拉丁字母文献编目变化)

2024年下半年起,美国国会图书馆(LC)部分编目员开始直接用BIBFRAME编目,然后转换为MARC格式记录供使用(应该不久就可以在LC目录中看到转换记录)。2025年3月LC实施FOLIO和BIBFRAME,7月完全切换到FOLIO,现在的图书馆集成系统Voyager退休,意味着届时所有出自LC的MARC记录都由BIBFRAME转换生成。

之前LC的MARC数据的字符集为marc-8,只支持部分语言文字,随着更换到FOLIO,将使用unicode字符集,支持所有语言文字。加之元数据格式由MARC转为BIBFRAME,非拉丁文字编目政策因之而变。2024年4月,LC发布消息(Cataloging, Acquisitions News, 04/25/2024. https://www.loc.gov/aba/news/),为准备2025年春季在LC实施BIBFRAME,作为LCAP(图书馆馆藏访问平台)FOLIO实施的一部分,采访和书目检索局(ABA)将采用[新的]非拉丁文字输入书目描述的最佳实践,并附3个文件,分别是通告、建议报告和政策问题文件:

  • 通告(2024-4-15)Announcement(PDF : 159 KB) 分阶段实现BIBFRAME和LCAP/FOLIO中输入非拉丁文字(2025年内,分季度实现不同语种的非拉丁文字的原文录入,使用LC开发的开放获取的罗马化工具ScriptShifter:参见:2024夏BIBFRAME更新论坛. /posts/2024/0712/6271
  • 政策问题文件(2023-11-3)Policy Issue Document(PDF : 174 KB)FOLIO BIBFRAME中非拉丁文字输入的政策问题 (LC遵循《PCC多字符集书目记录创建指南》,使用MARC模式A,即非拉丁文字信息记录在880字段中,音译记录在常规MARC字段中。但自2017年开始的BIBFRAME编辑器试验中,非拉丁文字输入一直遵循MARC模式B(对应于MARC就是直接使用常规字段),书目描述是在实例中用原始文字,在作品中提供拉丁音译的检索点。/ 应考虑恢复实施MARC前在旧目录卡上描述非拉丁文字条目的方法,条目包含原始文字中的信息,检索点和正题名以音译形式呈现。以此简化书目描述的创建和结构,节省键入音译数据的资源,满足日益全球化的图书馆生态系统中非拉丁文字用户的需求。此外,以音译提供适当的检索点和正题名,确保图书馆资料的组织和安排,以及规范检索点的维护。)
  • 建议报告(2024-5-8)Recommendation Report(PDF : 980 KB) 关于在BIBFRAME和FOLIO中非拉丁文字输入的建议(最佳实践草案,解决2023年“政策问题文件”中提出的2个问题:1)制定一项关于BIBFRAME描述中包含的音译数据范围的政策,2)确定生成音译数据的解决方案,促进BIBFRAME-MARC转换。/ 音译数据范围:实例:对应MARC字段245/264的信息,作品:检索点如首选题名[MARC字段130/240]。/ BIBFRAME输入采用MARC模式B,但为满足编目服务发行部(CDS)客户[购买LC书目记录的图书馆]的需求,需要为BIBFRAME-MARC转换的描述性元数据生成成对的音译字段。建议采用两种方法提供音译数据:ScriptShifter自动音译;没有自动化工具时字段空白、使用<>作为占位符。/ 附录为示例:多语种BIBFRAME格式;MARC音译占位方式)

由于是在2025年内实施到位,对其他图书馆来说,LC的三阶段实施细节不太重要,主要是了解建议的书目数据细节(还不是最后决定)。后附一条记录,直观感受变化。

尽管国内大量套录源自LC的书目记录,但小语种记录来自LC的不多,估计不会有太大影响。只是现在开始LC记录将逐步过渡到BF转换成的MARC,也需要关注下载记录的变化,确定应对方法。随着明年中Voyager的退休,数据套录方式肯定也会变动,同样需要关注。

— 找一条中文文献记录对比看变化 —

目前由BIBFRAME转换的MARC记录,是考虑其他图书馆需求的折中方案,但结果并非MARC模式A——不是所有原文字都使用880字段:只有规范检索点用音译,不用音译时直接使用相应字段。可以看到转换后的记录880字段少了很多。曾亲眼见证转换程序的变化,如2021年6月的 bibframe2marc v1.1.0 转换结果是BIBFRAME采用的MARC模式B,完全不用880字段,可参见:BIBFRAME/MARC数据双向转换程序更新(880字段消失). /posts/2021/0620/5691

1、LC目录(https://catalog.loc.gov/)查中文文献记录(输入汉字,如:上海),找一条看MARC记录(申報自由谈)。记录010字段LCCN号=82185853 或 001字段书目号=4232950(用于查找Bibframe2Marc对比记录)

  • 130 0_ |6 880-01 |a Zi you tan.
  • 880 0_ |6 130-01/$1 |a 自由谈.【BF转换记录无:1XX检索点不做原文】
  • 245 00 |6 880-02 |a Shen bao Zi you tan.
  • 880 00 |6 245-02/$1 |a 申報自由谈.
  • 246 30 |6 880-03 |a Zi you tan【BF转换记录无:2XX描述仅照录、不做罗马化(尽管通常246/247也是检索点)】
  • 880 30 |6 246-03/$1 |a 自由谈
  • 260 __ |6 880-04 |a [Shanghai] : |b Shanghai tu shu guan ying yin, |c 1981.
  • 880 __ |6 260-04/$1 |a [上海] : |b 上海圖書館影印, |c 1981.
  • 500 __ |6 880-05 |a Incomplete reprint of the literary section, zi you tan , of the daily shen bao . Originally published: shang hai, 1911-1949. Reprint ed., with new pref., includes only issues for Dec. 1, 1932 – Oct. 31, 1935 and Oct. 10-31, 1938.【BF转换记录无:5XX描述仅照录、不做罗马化】
  • 880 __ |6 500-05/$1 |a Incomplete reprint of the literary section, 自由談,of the daily 申報.Originally published: 上海, 1911-1949. Reprint ed., with new pref., includes only issues for Dec. 1, 1932 – Oct. 31, 1935 and Oct. 10-31, 1938.
  • 505 0_ |6 880-06 |a Shang. 1932nian 12yue 1ri-1934nian 4yue 25ri–xia. 1934nian 4yue 26ri-1935nian 10yue 31ri, 1938nian 10yue 10ri-1938nian 10yue 31ri.【BF转换记录无:5XX描述仅照录、不做罗马化】
  • 880 0_ |6 505-06/$1 |a 上. 1932年12月1日-1934年4月25日–下. 1934年4月26日-1935年10月31日, 1938年10月10日-1938年10月31日.
  • 630 00 |6 880-07 |a Shen pao.
  • 880 00 |6 630-07/$1 |a 申報.【转换无,6XX检索点不做原文】

2、BIBFRAME工具:BIBFRAME2MARC转换工具https://id.loc.gov/tools/bibframe/comparebf-lccn)v2.6【调整顺序880字段到配套字段下】

  • 130 0 $aZi you tan.$0http://id.loc.gov/resources/hubs/36aebe4e-1991-3a2b-d7fe-f6387a551327【检索点,罗马化+$0规范,不做880】
  • 245 00 $6880-01$aShen bao Zi you tan
  • 880 00 $6245-01/$1$a申報自由谈
  • 246 10 $a自由谈【不做880】
  • 264  1 $6880-11$a[Shanghai]$bShanghai tu shu guan ying yin$c1981
  • 880  1 $6264-11/$1$a[上海]$b上海圖書館影印$c1981
  • 500  $aIncomplete reprint of the literary section, 自由談,of the daily 申報.Originally published: 上海, 1911-1949. Reprint ed., with new pref., includes only issues for Dec. 1, 1932 – Oct. 31, 1935 and Oct. 10-31, 1938.【不做880】
  • 505 0 $a上. 1932年12月1日-1934年4月25日–下. 1934年4月26日-1935年10月31日, 1938年10月10日-1938年10月31日.【不做880】
  • 630 4 $aShen pao.$1http://id.loc.gov/resources/hubs/39380c58-e2da-603d-076c-441b383c6718【检索点,罗马化+$1实体URI,不做880】
  • 884  $aDLC bibframe2marc v2.6.0 (MarkLogic Corporation) $g20240714211322.0 $qDLC $uhttps://github.com/lcnetdev/bibframe2marc【转换信息】