《TEI图书馆最佳实践》第4版发布(附5级编码详解)

TEI除指南外,还有针对不同应用场景的多种专题指引,《TEI图书馆最佳实践》是其中之一,用于依据TEI对大规模数字化(扫描)图像进行编码。第1版发布于1999年,由数字图书馆联盟(DLF)资助的TEI工作组(TEI Task Force)制订,第3版起由TEI联盟旗下的TEI图书馆特殊兴趣小组(TEI SIG on Libraries)承担修订职责。
上月《TEI图书馆最佳实践》发布4.0版,加了一个副标题或说明语:大规模数字化、自动化工作流程以及促进使用TEI的XML互操作的指南。
Best Practices for TEI in Libraries: A guide for mass digitization, automated workflows, and promotion of interoperability with XML using the TEI
Editors: Kevin Hawkins, Michelle Dalmau, Elli Mylonas, and Syd Bauman
Version: 4.0.0 (published September 2018)

本最佳实践最初为在基于图书馆的大型数字化项目中使用TEI而创建,作为一种从整体上达成数字化和编码的方式。由于不同的文本数字化项目目的各异,本最佳实践设置了5个编码级别以尽可能包容不同需求。5个级别有各自的编码样例,图书馆数字化项目实例链接,建议使用的元素和属性(并且不建议使用其他),适用项目,工作流程等。以下摘录第4版的5级编码目的、样例和工作流程【组成为个人理解概括】。

——— 5级编码:目的、样例、工作流程 ———
Level 1: Fully Automated Conversion and Encoding 全自动化转换与编码
目的:创建电子文本的主要目的是搜索关键字并链接到页面图像。在这种非常严格限制的编码级别使用TEI的主要优点是TEI标头附加到文本文件。【组成:标头/书目信息+扫描图像+未经审核OCR+页码标记】
样例:密歇根大学Making of America Books (MoA)
工作流程:可通过全自动方式创建和编码1级文本。使用OCR扫描和处理页面图像,但文本通常未经校正(“脏OCR”),并且从OCR输出生成XML。如果需要,可以通过标记各个页面元素来增强这种自动输出,以指示关键文本特征,例如题名页、文前内容或新章节的开始。

Level 2: Minimal Encoding 最小编码
目的:创建用于全文搜索的电子文本,链接到页面图像,以及识别简单的结构层次结构以改进导航(例如,可以根据此类编码自动生成目次)。【组成:标头/书目信息+扫描图像+未经审核OCR+章节标记/目次】
样例:密歇根大学Scholarly Mongraph Series (SPO)
工作流程:通常可以通过自动化手段创建和编码2级。分页在级别1中标识,并且可能基于页面图像创建文本分区的元数据。文本划分元数据可能包含划分开始的页码和该划分标题的转录。此元数据在适当的位置插入OCR,形成有效的XML文档。2级文本在章节级别下不需要任何特殊知识或人工干预。

Level 3: Simple Analysis 简单分析
目的:创建独立的电子文本并识别层次结构(逻辑结构)和排版,而无需内容分析是最重要的【组成:标头/书目信息+经审核OCR+文本结构标记(文前文后、排版样式),页面图像可选】
样例(第3版):印第安那大学Victorian Women Writers Project(VWWP)
样例(第4版):密歇根大学Travels in Southeastern Europe
工作流程:可通过电子来源(如HTML文件或文字处理文档)或印刷来源(通过OCR或键盘输入)进行半自动转换来创建;可能需要一些人为干预。

Level 4: Basic Content Analysis 基本内容分析
目的:要创建可以单独作为电子文本的文本,识别层次结构和排版,指定文本和结构元素的功能,并描述内容的性质而不仅仅是其外观。但是此级别无意编码或识别文本的所有结构、语义或书目功能。【组成:标头/书目信息+全文文本+文本内容标记】
样例(第3版):北卡罗来纳大学教堂山分校Oral Histories of the American South
样例(第4版):印第安那大学Victorian Women Writers Project
工作流程:文本通过录入生成(可能是外包的使用TEI Tite从页面图像中双录入),或者可能是使用识别拼写错误的软件更正OCR文本,或者从OCR软件查询日志以找到OCR文本中的不确定区域。如果从TEI Tite转换,应添加最少的额外标记,如TEI Tite附录A中所述。[附录A:TEI Tite与TEI图书馆最佳实践。TEI Tite介于3级与4级之间]

Level 5: Scholarly Encoding Projects 学术编码项目
5级文本是需要具有学科知识的编码者进行大量人为干预的文本。 这些文本可能包括语义、语言、韵律或其他特征的编码,远远超出上面1-4级中讨论的基本结构元素。它们还可能包括编辑、批评或分析添加的元素;手稿描述;译文;或其他文字设备。
目的:创建可能适合特定研究目的的深度分析编码文本,作为学术出版项目的一部分,或基于图书馆的文本编码中的其他编码实践。
样例:印第安那大学The Chymistry of Isaac Newton
工作流程(无)

———- 版本备记 ———
TEI官方版:1990.6 P1(首个草案),1994.5 P3版指南(首个官方版),2002.6 P4版指南,2007.11 P5版指南。
TEI图书馆最佳实践版本:1999年第1版(TEI Text Encoding in Libraries: Guidelines for Best Encoding Practices),确定了沿用至今的5级编码。2005年第2版,2011年第3版改名(Best Practices for TEI in Libraries)。2015.11决定修订第3版,2017.11发布3.1版、2018.1.15公示,2018.9.10发布4.0版。
从官网看,在TEI特殊兴趣小组中,负责本文件第3、4版的图书馆特殊兴趣小组归在不活跃之列(Dormant SIGs)。而TEI本身版本在此期间(2011-1018年)并未更新,不知道为何却有兴趣更新图书馆最佳实践文件。第4版中未找到与第3版在内容上差异的说明,大致浏览也未看出太多修订内容,不知为何由3.1版一下变成了4.0版。

参见:
TEI中的书目描述及其他(2018-8-10)
TEI笔记:语音转录(2018-8-27)
TEI笔记:手写本和印刷古籍的编目(2018-8-28)
TEI笔记:数字化文本的文字转录(2018-8-30)
TEI笔记:人物、机构、地点相关信息的标识(2018-9-13)

TEI笔记:人物、机构、地点相关信息的标识

TEI有一个通用名称元素<name>,适用于各种名称,可用属性@type定义名称类型,包括:人物、地点、机构、产品等。也可以使用专指元素表达,如<persName>人名, <placeName>地名, <orgName>机构名。
除了名称作为基本标识,人物<person>、机构<org>、地点<place>还有其他标识,TEI P5指南的第13章(Names, Dates, People, and Places尤其是13.3 Biographical and Prosopographical Data)有详细说明。
TEI将个人、机构和地点的信息归纳为三类,有各自的通用元素,即:<trait>特征(独立于个人意志的),<state>状态(与时间有关的),<event>、<listEvent>事件(改变状态甚至特征),可以用@type说明信息的具体类型,也可以使用如下专指元素。另外还有<relation>、<listRelation>说明相互间关系。
一、个人元素(13.3.2)
<person>,属性:@role职能/分类,@sex性别,@age年龄组(也可以用相应的专用元素)
<personGrp>
<listPerson>可用于TEI标头<profileDesc>之<particDesc>(参与者描述,如定义个人类别),也可用于正文
1、可嵌套的个人特征元素
<faith>信仰,<langKnowledge>语言知识,<nationality>国籍,<sex>性别,<age>年龄,<socecStatus>社会经济状态,<persName>人名(嵌套<forename>名、<surname>九),<occupation>职业,<residence>居所,<affiliation>单位,<education>教育经历,<floruit>活跃时期,<persona>角色,(没有专指元素时使用)<state>状态、<trait>特征
例(p.461)阿尔马尼亚族人
<trait type=”ethnicity” key=”alb”>【@type可以使用词表(种族),@key可以定义中国少数民族】
 <label>Ethnicity</label>
 <desc>Ethnic Albanian.</desc>
</trait>
2、可嵌套的个人事件元素
<birth>出生,<death>去世。其他用<event>@type定义。
例(p.462)结婚于1859年4月26日
<event type=”marriage” when=”1859-04-26″>
  <label>Marriage</label>
  <desc>
    <name type=”person” ref=”#WM”>William Morris</name> and <name type=”person”
ref=”http://en.wikipedia.org/wiki/Jane_Burden”>Jane Burden</name> were
married at <name type=”place”>St Michael’s Church, Ship Street, Oxford</name>
on
    <date when=”1859-04-26″>26 April 1859</date>.
……</desc>
</event>
3、人际关系元素
<relation><listRelation>,用@name说明关系类型。
例(p.464-465)
<relation name=”spouse” mutual=”#WM #JBM”/>【双向关系】
<relation name=”parent” active=”#RB” passive=”#JBM”/>【亲子关系:@active父母,@passive子女】
二、机构元素(13.3.3)
没有太多专指元素:<org>、<listOrg>机构,可嵌套的元素<orgName>机构名,<desc>描述。
三、地点元素(13.3.4)
<place>、<listPlace>地点,<placeName>地名
1、可嵌套的地理位置元素
(1)地理特征
<geo>地理坐标,<geoDecl>地理坐标声明,<geogFeat>地理地形特征(山、谷……),<geogName>地理名称(与地形名称结合的地名,如庐山)
(2)<location>位置
(从大到小)<bloc>多国(洲、欧盟……),<country>国家,<region>地区,<settlement>定居点,<district>区,<address>详细地址,<street>街;<locale>非正式描述地点性质
(3)<offset>相对位置
例(p.456)距巴黎北部20公里
<measure>20 km</measure>
<offset>north of</offset>
<settlement type=”city”>Paris</settlement>
2、可嵌套的地点特征与事件
<population>人口,<climate>气候,<terrain>地形。
没有专指元素时,使用<event>的@type说明特定事件。
例(p.474)治理变化:爱尔兰于1944年6月17日独立
<event type=”governance” when=”1944-06-17″>
<desc>Iceland became independent on 17 June 1944.</desc>
</event>
3、地点间关系
没有专指元素,通过<listPlace>或<place>层级嵌套表示。包括多地点(13.3.4.2),如多级行政区域、群岛,不同时期、不同语言名称;上下级关系等(13.3.4.4)等。(举例略)
详见最新版P5的指导文件:
参见:

TEI笔记:数字化文本的文字转录

TEI(Text Encoding Initiative,文本编码倡议)用于编码数字形式的文本全文,包括转录语音。语音转录方面,除口述文字外,TEI可以精准标记整个语音过程、包括非文本信息。
同样对于文本,除最终文字外,TEI也能标记整个书写过程、记录文稿上的各种修改、加注等痕迹,因而特别适合标识手稿、古籍、批注本等,以及对其数字化图片(数字摹本)的文字转录。TEI可以完美保留第一手资料信息,包括:不同位置的加注,手稿上的更改、更正、错误,书写过程中划线、加符号、重描(字上改写)、掉换顺序等修改痕迹,因损坏、模糊而无法转录情况,不同的笔迹等。当然,页眉、页脚、版式等信息也不会被忽略。
数字化文本的文字转录,古籍有很大需求,会涉及字符集不够大,需要说明竖排版式的问题。最新版P5的指导文件第5章对字符、字形和书写模式有说明(5 Characters, Glyphs, and Writing Modes)。而第11章则详解第一手资料的表示(11 Representation of Primary Sources),特别适用于数字化图片与转录文字对照表示的情况。
零、自造字与竖排本
1、字符:声明字符集中没有字符,以图片形式提供
在标头的<encodingDesc>,用元素<charDecl>声明字符
2、字形:声明已有字符的不同字形(比如避讳字?)
同上,用元素<charDecl>声明,增加新字符
3、书写模式:除从左向右、从上向下的通常书写外的各种其他模式
中文古籍多用从右向左的垂直书写模式,用属性@style说明。以下为日语例(p.203)
<lg xml:lang=”ja”
style=”writing-mode: vertical-rl”>
<l>古池や</l>
<l>蛙</l>
……
</lg>
一、数字摹本的表示
1、第1层元素
摹本<facsimile>、来源文档<sourceDoc>,可以代替或和<text>同用:
<text>转录文本
<facsimile>摹本图片
<sourceDoc>摹本图片+转录文本(嵌入转录法)
<facsimile>+<text>(并列转录法)
2、第2层及以下元素、属性
面<surfaceGrp>、<surface>(二维坐标空间,通常为1个数字化文件)
区域<zone>(面中的二维区域,如:叶中的页,页中的图区域)
坐标值属性:@ulx、@uly左上角x、y,@lrx、@lry右下角x、y
3、例(p.364):面组
<facsimile>
  <surfaceGrp n=”leaf1″>【面组/第1叶,含2页】
    <surface>
      <graphic url=”page1.png”/>
    </surface>
    <surface>【1面/第2页,有不同精度图片】
      <graphic url=”page2-highRes.png”/>
      <graphic url=”page2-lowRes.png”/>
    </surface>
  </surfaceGrp>
</facsimile>
4、例(p.365):面坐标
<facsimile>
  <surface ulx=”0″ uly=”0″ lrx=”500″ lry=”321″>
Handschrift.karlsruhe.blb.jpg”/>
  </surface>
</facsimile>
二、转录与摹本结合(数字化图片与文字对照)
例(p.371):并列转录法
<facsimile>【摹本图片】
  <surface start=”#PB49R”>【以PB49R为标识关联】
    <graphic url=”Bovelles-49r.png”/>
  </surface>
</facsimile>
<text>【转录文字】
  <body>
    <div>
      <!– … –>
      <pb xml:id=”PB49R”/>
      <fw>De Geometrie 49</fw>
      <!– … –>
    </div>
  </body>
</text>
三、转录文字方法
1、更改、更正和错误的文本(手稿常见现象)
选择<choice>(同一文本的交替编码组,嵌套<abbr><expan>、<sic><corr>等)
缩写<abbr>,扩展<expan>
更正<corr>,原文如此<sic>
添加<add>、<addSpan>,删除<del>、<delSpan>,恢复<restore>(嵌套<del>)
替代<subst>、<substJoin>(删除……改为……:嵌套<del><add>)
跳过<gap>(忽略),隔开文字<secl>,空格<space>
多余文字<surplus>,(转录者/编者)补充文字<supplied>
(1)例(p.384):在原有文字上标注删除
For I hate this <del rend=”strikethrough” hand=”#dhl”>my</del> body, which is so dear
to me …【在my上划删除线,表示删除】
<handNote xml:id=”dhl”>D H Lawrence holograph</handNote>【说明笔迹情况】
(2)例(p.385有手写稿图片):添加和删除
The O.E.D. is not a dictionary so much as a corpus of precedents <del hand=”#RG”>in the</del>:【未说明删除方式】
current, obsolete, <add hand=”#RG” place=”above”>cant,</add> cataphretic and
nonce-words are all included.【在行上添加文字】
(3)例(p.385):添加内容后被删除
You quote the <del>
<add hand=”#RG” place=”margin”>Norton</add>【页边添加文字】
</del> O.E.D…
(4)例(p.391, 392) :不同转录方法:跳过,或者添加
I am dr Sr yr <gap reason=”illegible” quantity=”3″
unit=”word”/>Sydney Smith【因难以辨认,跳过3个词】
I am dr Sr yr <supplied reason=”illegible” resp=”#msm”
source=”#Ry2″>very humble Servt</supplied> Sydney Smith【难以辨认,由责任人msm依据来源Ry2,添加3个词】
2、不同笔迹
笔迹说明<handNote>,笔迹改变<handShift>
3、损坏和猜测
损坏<damageSpan><damage>,模糊<unclear>
补充文字<supplied>,跳过<gap>
4、标记书写过程(文稿上的各种修改痕迹)
修改<mod>(如划线等)
元标记<metamark>(图形或文字符号,与各种修改结合用)
重描<retrace>(在原字上修改)
重做<redo>,撤销<undo>(如删除后恢复)
掉换顺序<listTranspose><transpose>(与<metamark>结合)
四、版式
例(p.411):定义面
<sourceDoc>
  <surfaceGrp type=”quire” n=”1″>【第1帖】
    <surfaceGrp type=”leaf” n=”1″>【第1叶】
      <surface type=”recto” n=”1r”>【第1页正面】
        <!– … –>
      </surface>
      <surface type=”verso” n=”1v”>【第1页反面】
        <!– … –>
      </surface>
    </surfaceGrp>
  <surfaceGrp type=”leaf” n=”2″>
    <surface type=”recto” n=”2r”>
      <!– … –>
    </surface>
    <surface type=”verso” n=”2v”>
      <!– … –>
    </surface>
  </surfaceGrp>
    <!– other leaves in first quire –>
  </surfaceGrp>
    <!– other quires here –>
</sourceDoc>
五、页眉、页脚等信息
印版工作<fw>(逐页标题、导词、页码等)
<fw type=”head” place=”top-centre”>Poëms.</fw>
<fw type=”pageNum” place=”top-right”>29</fw>
<fw type=”sig” place=”bot-centre”>E3</fw>
<fw type=”catch” place=”bot-right”>TEMPLE</fw>
六、在标头中定义变更和修订的标识(xml:id)
1、TEI标头<profileDesc>之<creation>,记录原文档制作或电子文件修订过程中的变化:
变化<listChange><change>
2、例(p.415)
<profileDesc>
  <creation>
    <listChange ordered=”true”>
      <change xml:id=”ST-1″>First stage, written in ink </change>【第1阶段,墨水笔书写】
      <change xml:id=”ST-2″>Second stage, with revisions written in the author’s hand
using pencil</change>【第2阶段,作者笔迹用铅笔修改】
      <change xml:id=”ST-3″>Fixation of the pencilled revisions together with further
revisions in the author’s hand using ink</change>【修改铅笔修订,作者笔迹用墨水笔修改】
      <change xml:id=”ST-4″>Additions in a different hand, probably at a later
stage</change>【可能在稍后阶段,以不同笔迹添加】
    </listChange>
  </creation>
</profileDesc>
详见最新版P5的指导文件:
参见: