- 相关推荐
数字图书馆的评估研究
【内容提要】文章总结了过去10年来的许多研究成果，从数字图书馆评估的基本问题、一般方法、主要内容和数据收集等方面进行了探讨。【摘 要 题】实践研究
【关 键 词】数字图书馆/评估/系统评估/用户评估/评估内容/评估方法/数据收集
【 正 文】
数字图书馆建设是一个庞大的系统工程，建立和发展数字图书馆必须首先进行先进、可靠的工程设计。当数字图书馆建设进入实质性的设计方案选定和具体实施、执行阶段后，为了确保工程质量，必须进行及时、可信的中前期系统评估和用户评估。当数字图书馆建成或基本建成以后，仍然需要进行全面的后期评估。只有在数字图书馆建设的每个阶段都进行了有效的评估，才能最终保证工程建设的质量和水平。国内外的实践与研究表明，数字知识管理系统的工程设计和评估研究同样重要[1-2]。本文着重对数字图书馆评估研究的基本问题、一般方法、主要内容和数据收集等方面进行了探讨。
1 数字图书馆评估的基本问题
传统图书馆和现代信息检索系统、人-机交互系统、知识管理系统、知识仓库相比，数字图书馆的组成要素和结构与后一类的相同性更为明显，因为数字图书馆是一个大量应用现代计算机技术、网络通讯技术、多媒体数字技术的复杂人-机资源系统。数字图书馆评估不同于传统图书馆（包括自动化图书馆）评估，它以数字图书馆的定义、要素、结构为基础，对其主要指标、内容按照一定的方法从功能性和可用性角度进行全面地评价研究。Saracevic在《数字图书馆评估：关于概念的发展》一文中认为，评估应该满足某种要求，包括以下最基本的相关选择和决策[3]：
（1）评估体系的构建。即评估什么？数字图书馆的实际含义是什么？它包含的内容是什么？评估内容包含什么元素（成分、部分、程序）？
（2）评估标准的选择。即评估的目标、框架、观点和标准的选择。评估的标准是什么？选择评估标准的关键是什么？最后，选择某个标准有什么目的？
（3）相应的选择目标所反映的性能标准。即性能参数集中在哪一点？评估有什么尺度或特征？
（4）测度反映记录性能的选择标准。即使用假定标准专门测度什么？
（5）实际评估的方法。即用于测度的工具是什么？样本是什么？数据的收集使用什么程序？怎样分析数据？
只要我们对上述每一点都给予关注，我们就可以进一步开展数字图书馆的评估。遗憾的是，数字图书馆评估的这些基本问题，国内图书馆界至今没有进行过研究和实践。经过近10年的发展，国外数字图书馆的评估理论体系已经初具雏形，值得我们借鉴参考。
国外学者根据评估的规范性、约束性及其深度和广度，一般将数字图书馆评估分为正式评估（Formal Evaluation）和非正式评估（Informal Evaluation）。正式评估复杂、可靠，但却耗费太多人力、财力，让人望而生畏。非正式评估简单、有效但却容易使评估迷失方向，使人们产生数字图书馆认识的某些错误感觉和期望。为了数字图书馆的更好发展，必须根据数字图书馆建设的各个时期，选择其中一种或两者结合起来使用。
根据评估采用的方法不同，数字图书馆评估主要有系统评估（System Evaluation）和用户评估（User Evaluation）。目前，国外大多数数字图书馆工程主要采用用户评估，或将这两种评估方法同时并用但以用户评估为主的双重评估。此外，在数字图书馆的评估研究中还广泛采用其它一些方法，如：社会学方法（Sociological Approach）、经济学方法（Economic Ap proach）、政治学方法（Political pproach）、民族地理方法（Ethnographic Approach），但这些方法不是数字图书馆评估的主要方法。
除此之外，一些研究人员还专门进行了比较评估（Comparing Evaluation）和跨馆服务质量评估工具研究。[4-5]根据数字图书馆工程设计、实施、执行和验收的各个阶段，还可以分为前期评估、中期评估和后期评估。所有这些研究，对于数字图书馆评估理论的发展，指导数字图书馆建设实践，都有十分重要的意义。
2 数字图书馆评估的一般方法
尽管数字图书馆评估的方法有各种各样，但始终不能偏离系统和用户这两个一般性范畴。因为数字图书馆系统功能的实现和用户使用的满意程度，已经能够代表对数字图书馆评估的主流。数字图书馆是在传统图书馆基础上发展起来的复杂人—机系统，系统和用户是数字图书馆的两个最根本的构成要素。国外数字图书馆的评估研究，从方法角度看主要也集中在系统评估和用户评估这两个方面。只不过有的研究专门使用其中的一种，有的将这两种结合起来使用。
系统评估是设计人员或其相关技术人员根据数字图书馆工程中的设计目标方案、软硬件技术和规范标准对其功能进行的评估。其目的是检查（验）系统设计目标是否完成，硬件是否符合工程需要，软件性能怎样，以及系统的技术标准化程度。由于系统评估是一项专业性很强的功能评估，一般只能由从事数字图书馆工程设计、实施、执行和管理方面的专业人员来完成。此外，由于技术垄断需要，其系统核心设计技术的评估，一般不允许机构外的人员参加。
2002年11月，《数字图书馆杂志》发表了一篇题为《数字图书馆的交互性设计与评估》的文章，比较全面的反映了数字图书馆的系统评估研究[1]。作者以美国科学基金会（NSF）资助的一个GORW交互式数字图书馆工程作为研究对象，对GORW数字图书馆的开发目标（包括跨学科藏书、终身学习者资源、时钟循环访问、交互式学习目标和用于学习的信息），交互性及其GROW概念框架（包括互惠、反馈、直接、关联、同步、选择、沉浸、演示、流动、多维性和控制），GORW的各种交互性（包括GROW资源的交互性、GORW资源选择的交互性、GROW元数据的交互性描述、GROW界面的交互性）都进行了研究和评估，从这项评估研究中我们看到，一个有效的交互式数字图书馆本身是一个复杂的人—机系统，其交互性技术要求涉及到各种社会的行为、组织、管理联系。可见，在很多情况下，数字图书馆的系统评估不能回答技术之外的各种社会问题。然而，用户评估在很大程度上可以弥补系统评估的这种不足。
用户评估是系统设计者或用户根据数字图书馆的目标任务完成、行为模式和资源组织、发布对系统可用性进行的评估。其目的是检查（验）数字图书馆完成了哪些数字化任务，满足了用户的何种行为模式，以及知识信息资源的收集、再现、挖掘、组织、存储、管理和发布效果。任何一项数字图书馆工程建设都必须开展反
复多次的用户评估，才能使数字图书馆建设满足用户的需要，因此它目前已成为探讨和实行数字图书馆评估的一种流行方式。当然，由于参加评估的用户在构成、组织形式上的不同，可用性评估结果及其权威性也完全不一样。
早在1989年，美国一个由101个会员组成的研究图书馆协会和51个州图书馆参加的咨询调查——“数字图书馆用户”（前期评估），帮助发起了具有历史意义的“美国回忆”（American Memory）数字图书馆试验计划（1990-1995）。1992-1993年，美国国会图书馆又组织完成了有44个学院、大学和公共图书馆参加的终端用户评估（后期评估），最终促成了现在仍在实施的“数字图书馆倡议”（DLI-1，1994-1998；DLI-2，1999-2003）[6]。1996年，VanHouse等人发表文章阐述了加州大学伯克利数字图书馆工程以用户为中心的设计方法。他们在对用户的各种需求进行反复评价、评估过程中，不断改进设计。2002年4月至6月，美国科学基金会（NSF）资助的国家科学数字图书馆（NSDL）用户评估工作组，花了整整3个月时间进行反复评估研究[7]。该工作组由那些对数字图书馆设计和评估感兴趣的志愿者组成，其任务就是从用户角度提出和回答各种问题。
综合采用两种方法但以用户评估为主进行数字图书馆评估的典型例子是美国科学基金会（NSF）资助的亚历山大数字图书馆（ADL）工程评估[8]。ADL评估组既进行系统设计，又进行用户评估。评估组的工作重点在用户使用，为此他们先后开发了3个不同的用户界面，并建立了相应的试验台进行用户评估。在系统评估层面上，一方面对系统和界面设计进行了大量中间发布，由包括加州大学、科罗拉多州大学研究人员在内的评估工作组进行评估，不断的将当前的Java基础界面和支持系统反馈给系统设计者；另一方面，他们又对设计、实施阶段进行了交互评估。这样，用户的功能性要求和实施修改设计的过程变成一个公式化的评估周期，不断的指导系统评估，了解用户的潜在使用。在用户评估层面上，ADL评估组一方面使用ADL用户和潜在用户反馈、恳求和分析的多种方法，包括联机调查、图形观察、目标用户组、界面设计内部评估、大学教室ADL使用分析，进行全面评估；另一方面，他们邀请外部用户评估专家，召开了3个与用户评估有关的会议，然后综合他们的评估意见和要求进行系统设计。ADL用户评估组提出的结果非常有用，它涉及下述相关问题：
（1）对于我们的用户，我们了解多少？
（2）对于评估和用户研究方法，我们了解什么？
（3）对ADL界面，我们了解哪些方面的内容？
（4）对于ADL的功能性和内容，我们了解什么？
这些问题看似简单，实际上却涉及到数字图书馆建设中的几个核心问题。
3 数字图书馆评估的主要内容
人们对数字图书馆的认识和定义有各种各样，因此对数字图书馆评估内容的认识和界定也各不相同。Saracevic将数字图书馆评估的结构或元素划分为21个大类50个小项[3]；周欣平提出一个数字图书馆评估的体系，包括馆藏资源的数量和质量、网络及数字化程度、多元化的信息管理和服务、全球范围内信息资源的获取和利用、提供远距离学习和教育之环境、馆员素质6个方面[9]；Hill等人则将数字图书馆评估的主要内容划分为馆藏、元数据、搜索、检索和用户工作空间、帮助支持、系统支持、子系统7大类38个小项[8]。
尽管人们对数字图书馆评估的内容有不同的认识和界定，但对其主要内容或基本内容的认识和界定应该是大致相同的。只是由于评估者评估的目标、对象、范围不同，评估的内容才会有所不同。例如，对于以改进系统设计为目标的评估者来说，他可能更偏重技术方面的系统评估；对于一个以地理图像或多媒体为主要馆藏对象的数字图书馆来说，评估者可能更偏重于资源易用性的用户评估。相对而言，一个以交互式学习、研究为目标的大学图书馆和一个以面向大众平等获取数字资源为目标的公共图书馆，评估者选择的评估内容肯定各有侧重[10-12]。一般地讲，目前数字图书馆主要从以下几个方面进行评估。
（1）技术性能与水平评估，主要内容有：数字图书馆系统的功能结构及其完善程度；数据安全、共享的实现形式；分布式异构数据库的互操作性；海量多媒体数字信息的生成、存储技术及其网络传播、检索的无障碍性；人—机交互式学习、研究技术及其实时、同步控制程度。
（2）数字资源量评估。主要内容有：本馆数字化资源总量；外购数字化资源总量；数字资源的完整性、系统性、及时性和连续性；数字资源的加工质量（分辨率、压缩比等）。数字图书馆的数字资源量目前按TB（10[12]，万亿）计算。
（3）易用性评估。主要内容有：分类、标引、索引和检索手段的完备性；多种资源格式的转换、统一与知识挖掘性能；跨网、跨库、跨系统、跨平台、跨语言的操作与检索应用；界面的友好程度；检索、浏览、下载数字信息资源的效率与时间。
（4）数字化服务评估。主要内容有：在线数字信息资源服务；网上实时搜集、传递、推送、发布服务；专门化、个性化服务；数字图书馆馆员素质；用户反馈意见（时间、错误率、用户个人满意度、用户组综合意见）。
（5）数字化管理评估。主要内容有：数字化管理的观念、方法、制度；数字化图书馆设计、实施、执行、发展的过程管理与日志管理；数字化图书馆的要素、结构、功能的全面管理；管理的规范化与国际、国家标准化程度。
数字图书馆的评估内容不是一成不变的，它允许评估者有自己的选择。例如，有的研究者就把经济、社会因素作为一项重要的评估内容。在他们看来，评估的最终问题是，数字图书馆怎样改变人们的研究、教育、学习和生活。更重要的是，这些内容的评估本身需要一套完备的标准，而这些内容与标准的确立会因人、因地、因时的不同而不同。
4 数字图书馆评估的数据收集方式
确定数字图书馆评估的方法、内容体系是取得评估成功的关键，但其前提是获得真实、全面的评估数据。因此，数字图书馆评估的数据收集与分析的重要性不容忽视。当然，就数字图书馆评估而言，数字图书馆的测度、统计数据收集与测度规范并不是评估本身，不属于评估范畴，因为数据本身只是一种定性或定量的描述和观察。判定用户需要本身也不是评估，然而这些与评估相关，它们联系到某些特定性能，包括前述Saracevic提出的5个要求。正确的认识、区分这些差别，可以使我们更深入地了解数字图书馆评估的实质问题。
数字图书馆评估的数据收集有许多方式，并且往往是多种方式并用。但目前使用最广泛的主要有以下几种方式：
（1）用户问卷表。它可以根据评估者的需要设计问卷表，获得各种有用的定性、定量数据，是数字图书馆评估研究最流行的收集数据方式。目前，许多研究者采用微软Active Server Pages开发在线调查系统，进行网上实时收集数据。
（2）数字图书馆日志。利用数字图书馆系统的用户登录、处理文件记录、检索登记、下载监测等功能或记录，自动收集评估数据。但是，这种方法仅限于自主开
发的数字图书馆。商业性数字图书馆要么缺乏这些功能或记录，要么不向用户提供或者限制提供这些功能或记录。
（3）用户评估组。成立专门的用户评估组，成员可由设计、评估专家、用户组成，也可单独由对评估感兴趣的用户志愿者组成。它可以根据数字图书馆工程建设的不同阶段，反复收集相应的评估数据。
此外，还有电话访问、个人访问、电子公告板（BBS）、专题讨论、学术会议等方式收集评估数据。但是，这些方式相对上述三种方式而言，数据收集的广度、深度及其数据的质量都要差一些，单独使用难以进行准确、全面的评估。
5 结论
数字图书馆的评估研究对数字图书馆的发展起着不可低估的作用。随着数字图书馆评估理论的发展，人们对评估重要性认识的提高，特别是各国评估实践的日益增加，评估研究在数字图书馆建设与发展中的重要作用将会更加突出的显现出来。通过开展各种有效的数字图书馆评估研究，进一步完善数字图书馆评估的方法、内容体系，制定更符合时代发展需要的科学评估标准，对于促进各国数字图书馆技术和管理水平的提高，推动数字时代图书馆学理论与实践的发展，有着十分重要的意义。未来的数字图书馆评估研究，将会朝着跨系统、跨馆、跨国大型综合性评估、符合国际和国家标准的规范性工具评估、核心技术专门评估、馆藏资源评估、系统功能评估、用户多因素综合评估、评估标准的科学化和质量指标的精确化评估等方面进一步探讨和完善。
【参考文献】
1 Budhu， M. and Coleman， A. The Design and Evaluation of Interactivities in a Digital Library. [J] D - Lib Magazine， 2002， Vol.8，No. 11
2 Wei， Chih - Ping. And Hu， P. Design and Evaluation of a Knowledge Management System. [J] IEEE Software， May/ June 2002， 57 - 59
3 Saracevie， T. Digital Library Evaluation： Toward an Evolution of Concepts. [J] Library Trends， 2000， Vol.49. No.2， 350 - 369
4 Jones， M. Comparing Evaluations of Digital Collection Efforts. [J] D-Lib Magazine， 1999， Vol.5.No. 11
5 Blixrud， J. Evaluating Library Service Quality： Use of LibQUAL[+TM]. ttp：//www. libqual， org
6 National Digital Library Program. http：//lcweb2. loc. gov/am- mem/dli2/html/lcndlp. html
7 Jones， C. and Sumner， T. Evaluation of the National Science Digital Library. http：//www.uclic.ucl.ac.uk/
8 Hill， L. Alexandria Digital Library：User Evaluation Studies and System Design. [J] Journal of the American Society for Information S
cience， 2000， Vol. 51， No. 3，246 - 259
9 周欣平.数字时代图书馆的发展方向及评估标准.[J]图书情报工作，2001，（4），5-9
10 Leazer G.， and others. Evaluating the Use of a Geographic Digital Library in Undergraduate Classrooms： ADEPT. http：//is.gseis. ucla.edu/adept/pubs/short.pdf
11 Zwan， R.， and others. An Evaluation of the Informedia Digi tal Video Library System at the Open University.[J] Journal of Educational Media， 1999， Vol.24， No.2，131 - 136
12 Bishop， A.， and Bruce， B. Digital Library Evaluation as Participative Inquiry http ：//alexia. lis. uiuc. edu/～chip/ pubs/02delos. pdf
【数字图书馆的评估研究】相关文章：
互操作联邦数字图书馆研究08-05
基于PDCA的数字图书馆质量管理研究08-05
数字图书馆馆藏评价08-05
如何评估市场研究公司08-06
如何评估市场研究公司08-06
关于品牌资产评估的研究08-08
数字图书馆建设的探索与认识08-05
IDC与数字图书馆建设论文05-31