- 相关推荐
多级存储技术在媒体资产管理系统中的应用
多级存储技术在媒体资产管理系统中的应用
2002中南地区广播电视技术年会优秀论文一等奖一、 概述
1、媒体资产管理系统产生的背景
广播电视经过几十年的发展，积累下来许多珍贵的电视节目资料。这些资料是对社会发展有着重要意义的图文声像复合媒体，是一笔不可复得的、极为贵重的资产。在今天数字化、网络化的时代里，更好地保存、管理和利用这笔资产，是电视台今后开展多种业务、增加新的效益增长点的根本。
传统的节目保存方法是将记录有内容的录像带贴上标签存放在带库的架子上，目前几乎所有电视台都是采用这种方法。由于技术、保存和管理的局限，使得电视节目资料的再利用率极低，相当一部分还正在发生质量恶化，甚至信息消失，这是一个极其严峻的问题。而导致这个问题的关键因素是电视台没有建立起一套科学、有效的资产管理系统。所幸的是，科学技术的发展，特别是计算机多媒体技术的飞速发展，已经为电视行业提供了一个解决媒体资产管理的较为成熟的技术方案，即媒体资产管理系统。
媒体资产管理是从90年代初提出的数字图书馆技术发展而来的，结合了存储、网络、数据库、多媒体及人机交互等多项技术，主要解决视音频等多媒体数据的存储、编目检索、版权和再利用等问题。本文主要对媒体资产管理系统的存储模式做一个探讨。
2、内容存储是媒体资产管理系统的基础
获取、存储和管理。内容的获取和管理都与内容存储有着不可缺少的联系，可以说内容存储是媒体资产管理系统的基础。
二、多级存储模式的结构
媒体资产管理系统的核心技术是内容存储，所以采用什么样的存储模式对一个功能强大的媒体资产管理系统起到至关重要的作用。
在过去的三年里，非线性编辑网络在电视台迅速普及。以一个电视台为例，如果每天需要使用非线性编辑网络制作两个小时的节目，那么至少需要采集六个小时的素材量。记者每天拍摄的素材量可能源源大于采集的素材量，而很多没有制作的素材却有几高的保存价值。我们暂且按照六个小时的素材量计算，加上已经播出的两个小时的节目，我们至少应该保存八个小时的素材量。这样每年将有近3000小时的素材需要保存。但是由于中心存储设备的价格较高，一个制作网络里面的素材往往只能保存3-7天，所以根本无法满足素材存储 的需求。如何用一种相对廉价的、存储量大的存储设备作为系统的二级存储，保证随时能够将以前的素材调入，成为电视台最基本和最迫切的要求。而媒体资产管理系统的多级存储模式刚好能够满足这个要求。
在媒体资产管理系统的存储模式设计中，许多厂商都推出了在线（On-line）、近线(Near-line)、离线(Off-line)三级相互结合的存储模式。
有实际限制。最典型的离线存储设备是磁带，可用磁带来描述离线设备的使用。一般情况下，磁带并未装入磁带机，若要读取某一盘数据，必须先将该盘磁带装入磁带机，然后通过计算机系统读取磁带，全部操作完成后取下磁带。所谓离线是指数据介质并未处于随时可以读写的范围，如果使用，需要人为的介入完成。
离线存储设备通常价格比较低廉，所以可以将总存储做得很大。但是由于离线到在线的介质装载过程很长，所以离线存储一般用来存储那些不经常使用的冷数据。
在媒体资产管理系统中，当采集、标引、记录完成后，原始数据记录载体（光盘或数据流磁带）即可离开系统，存放在一般的储存架上了，由于媒体资产管理系统一般采用MPGE-4视音频的在线查询和浏览，在大量的查询和浏览视音频的工作中是不需要访问原始记录数据的。一旦查询系统确定要使用某一个（一批）素材时，针对离线的素材，系统会告诉你所需的素材在几号盘带上，在人工干预下，将该盘带放入系统的读写驱动器内，系统自动地将节目或素材迁移拷贝到在线存储体中，供节目的制作、播出使用。
图2-4：近线存储数据流向示意图
◆近线存储系统的工作原理
从近线存储数据流示意图我们可以看出，近线存储系统一般是采用硬盘、磁带或光盘作为存储介质，并结合相应的存储管理软件。其中硬盘用于存放数据检索系统，磁带和光盘用于存放大量的数据信息。当素材使用频率很低时，存储管理软件就根据事先设定的迁移策略，把素材从硬盘中迁移到磁带库或光盘库中，而这段素材的索引被保存在硬盘上。当用户需要访问近线存储的磁带库或光盘库时，首先通过存储管理软件，确定盘或带的存放位置，然后控制机械手将目标磁带或光盘装入相应驱动器，并启动读写操作，以完成数据访问。这个过程完全由计算机管理系统自动完成，不需要人工干预，管理员要做的只是制定一个规则。
◆近线存储系统的优点
近线存储系统兼具硬盘在线系统和磁带、光盘离线系统的优点：
（1）近线存储系统的数据检索部分位于硬盘上，吸纳了在线存储系统访问速度快的优点，从而为用户的数据访问提供最快的响应速度；
（2）近线系统将大量使用频率较低的数据迁移到磁带库或光盘库中，吸纳了离线存储系统数据容量近无限的优点，同时也节省了在线部分的硬盘空间；
（3）为中心存储设备提供了一种安全备份。由于媒体资产管理系统的迁移策略将一些素材转移到大容量的近线存储设备上，仅在在线存储设备上保存资料索引。镜像资料功能的设计可保证网络中心存储设备发生灾难损坏时，所有保存在近线设备上的素材节目资料都可从近线存储设备恢复。
◆近线编辑
记者和编辑可以利用存储在硬盘中的索引文件，可直接对资料进行虚编辑。即直接对索引文件打点编辑，虚编辑的结果产生两个文件：一个是编辑的EDL表，一个是实际资料读取的描述文件LIST文件，用来从近线设备中依次读取实际的素材文件。在通过LIST文件读取实际素材文件后，将EDL表中的索引文件名更换成实际的素材文件名，产生最后的输出结果。
三、存储介质分析与选择
存储技术的飞速发展，为广播电视节目的保存带来了新的解决方法。目前，存储介质大体可分为以下几类：磁盘、光盘和数据流磁带。下面就对这几种存储介质进行分析比较。
（一）、存储介质分析
1、磁盘与磁盘阵列
（1）硬磁盘
硬盘对于我们大家并不陌生，它应该是存储系统中最常用到的介质了。 其特点是响应速度快，读写速率和传输速率高，但价格较贵，一般作为快速读写存储介质，存放常用数据并作为系统的数据处理、缓存及中转中心。硬盘的性能用容量、读写速度、传输码率、响应时间等指标来衡量。目前硬盘单碟最大容量是80G，主流硬盘的转速多为5400rpm或7200rpm，高档系统中一般使用转速为10000rpm或更高的硬盘。
（2）磁盘阵列
媒体资产管理系统所需硬盘容量非常大，单个硬盘显然不能满足要求，因此一般使用硬盘阵列。
磁盘阵列又叫RAID（Redundant Array of Inexpensive Disks--廉价磁盘冗余阵列），是指将多个类型、容量、接口，甚至品牌一致的专用硬磁盘或普通硬磁盘连成一个阵列，使其能以某种快速、准确和安全的方式来读写磁盘数据，从而达到提高数据读取速度和安全性的一种手段。磁盘阵列是一种高效、快速、易用的网络存储备份设备，其容错技术提供以下几个级别（Level）, RAID-0、RAID-1、RAID-3、RAID-5及混合级RAID 0+1。
硬磁盘技术发展非常快，随着其容量提高、价格下降，以及移动硬盘技术的成熟，硬盘在存储介质中必将占有重要的地位。
2、光盘、光盘库与光盘网络镜像服务器
（1）光盘
DVD主要的限制有：单盘密度较低，只有4.7GB（单面）或9GB（双面），这对于高码率记录而言，如码率为25~50Mbps，意味着只能记录12~25分钟（单面），对于长节目则需要反复交换盘片，从而影响到素材的录入速度。DVD还有一个比较严重的问题，这就是它的传输速率较低，一般只有3Mps，传输速率过低将导致复制及传输时间增加，DVD的刻写或记录速度也不够令人满意。不过我们也可喜的看到，随着科学技术的发展，DVD光盘存储出现许多新技术。在这些DVD光盘存储新技术中，比较有代表性的当数由9家国际技术公司（三星、汤姆森、先锋、日立、松下、夏普、飞利浦和LG等）在2002年2月19日推出了一种新型"蓝光盘"（Blu-ray Disc）和美国InPhase公司在2002年4月8日至11日展示的该公司的全息记录技术"Tapestry"。
（2）光盘库
然而我们知道，就目前的技术而言，一张光盘的存储容量是很有限的，对于需要存储海量媒体数据的媒体资产管理系统来讲是远远不够的。要想获得海量信数据的网络存取，就必须将保存有大量不同信息的几十张甚至几百张光盘组合起来使用。
光盘库实际上是一种可存放几十张或几百张光盘并带有机械臂和一个光盘驱动器的光盘柜。光盘库也叫自动换盘机，它利用机械手从机柜中选出一张光盘送到驱动器进行读写。它的库容量极大，机柜中可放几十片甚至上百片光盘片，这种有巨大联机容量的设备非常适用于电视台的媒体资产管理中。
光盘库的特点是：安装简单、使用方便，并支持几乎所有的常见网络操作系统及各种常用通讯协议。由于光盘库普遍使用的是标准EIDE光驱（或标准5片式换片机），所以维护更换与管理非常容易，同时还降低了成本和价格。又因光盘库普遍内置有高性能处理器、高速缓存器、快速闪存、动态存取内存、网络控制器等智能部件，使得其信息处理能力更强。
光盘库的技术指标包括存储容量、驱动器类型、驱动器数量、单盘光盘容量，装载时间、光盘存取时间、接口方式和支持的管理软件等。下面以JVC Mc7600光盘库为例，该光盘库是目前业界关注和市场流行的高端产品，其技术指标如表3-2：
磁带格式的发展从传统的DAT4mm、8mm、Tranvan、QIC、AIT、3480/3490、DLT一直到最新的高速磁带格式DTF、SUPERDLT、LTO。
从媒体资产管理系统对存储介质的容量、性能、使用寿命等方面的要求来看，只有采用高速磁带格式，才能满足这种要求。表3-3是DTF、SUPERDLT和LTO三种高速磁带格式技术指标的比较：
（2）磁带库
磁带库是一种机柜式的、将多台磁带机整装到一个封闭系统中的存储设备。磁带库是近线存储系统中的关键设备之一。它由数台磁带机、机械手和数盒磁带构成，可实现磁带自动拆卸和装填，容量可达数百个PB可以在存储管理软件的控制下实现智能恢复、实时监控和统计。磁带库就象是一个将磁带塞到磁带机中的"机器人"，能够达到高速度、高效率、高存储容量的要求，且系统的扩展能力很强。
磁带库的技术指标包括存储容量、驱动器数量、单盘磁带容量、驱动器存取速度、连接方式和支持的管理软件等。通常，磁带库按照容量大小分成三个级别：初级、中级和高级。其中，初级磁带库的容量在几百GB至几个TB，中级磁带库的容量在几个TB至几十TB，而高级磁带库的容量在几十TB至几百TB甚至更高。
IBM Ultrium 3584和SONY PetaSite 8400磁带库都属于高级磁带库级别，表3-4：列出了两者的关键技术指标。
电视台媒体资产管理系统所使用的素材需求按照质量要求可以分为两类。第一类是浏览和检索，这一类用得最多，包括生产工艺中的库存资料调查、素材选择、节目审查等，支持低码流服务，使用光盘介质比较合适。第二类是节目制作，要求比较高的码率以保证制作质量，但是它用得不多，其用量只需与节目生产量保持在同一数量级或略高一点即可。硬盘适用于对查询速度要求高的场合，存放常用的数据；磁带作为主要存储介质，存放日常的大量数据；光盘作为新生的存储媒介，有远大的发展前景，但目前尚不宜大规模应用，只能作为磁盘、磁带存储的一种补充手段。
在目前技术条件下，在线存储采用硬盘是唯一的选择。离线存储介质必须与近线存储介质一致，关键是如何选择近线存储介质。
磁带作为一种传统的海量存储设备，其具有大容量、低成本、高技术、可管理性等四个方面的优点，让它在二级存储中占有重要的地位；光盘具有查询快捷、方便、低成本的优势，在部分场合也可作为二级存储的介质。但是由于硬盘的价格在不断降低，同时硬盘具有传输速率高，寻址迅速的优点，在有些场合下，用户也将部分硬盘空间虚拟成磁带库等近线存储设备，以提高效率，但这样做，成本还是很高，一般和磁带或光盘配合使用，进行近线存储。对于采用哪种介质，用户应根据自身的实际情况及应用目的进行选择。
同时，对于节目来说，对同一个节目应该针对不同的使用需求选择多种介质进行保存，比如，可以选择支持高码流服务的数据磁带作为节目保存的主要介质，而选择光盘作为节目保存的辅助介质以支持低码流服务。
四、分级存储管理软件
近线存储系统中非常关键的是用于存储管理的分级存储管理软件（HSM）。所谓分级是指将使用频率较高的数据存放在硬盘中，而将使用频率较低的数据存放在磁带库和光盘库中，数据在不同的层次之间流动，且这一过程完全由分级存储管理软件自动完成，管理员要做的只是规定一个规则。
对于一个好的分级存储管理软件来说，数据迁移功能的设计尤为重要。管理员能方便的通过各种设定的迁移策略将离线存储、近线存储和在线存储设备联系起来。对用户而言，整个分级存储系统类似于一个无限大的硬盘，数据的存储和迁移均在后台进行。系统的迁移可以考虑充分利用空闲时段，集中处理数据迁移，以提高系统网络带宽的利用效率。分级存储管理结构图如图4-1所示。
根据以上的阐述和分析，可以总结多级存储模式的特点如下：
1、降低了存储系统的单位存储成本
由于多级存储模式采用硬盘、磁带、光盘相结合的存储介质，相对于仅使用硬盘存储数据来说，存储成本要大大地降低。
2、大容量、平滑的存储容量扩展
目前，随着电视台业务的不断增加，需要存储的媒体数据量爆炸性增长，数据总量呈指数上升，媒体资产管理系统必须具有足够的容量以适应不断增长的数据量。多级存储模式采用近线存储，无论是磁带库，还是光盘库，容量都可以达到PB级，采用离线存储，更是可以获得无限制的存储容量。
多级存储模式不仅能提供大容量，还具有平滑的存储容量扩展的特点，存储网络上添加存储设备的过程对用户透明，而且任何工作站都不需停机。在进行应用扩展、系统测试、数据迁移、应用恢复的时候，不必增加物理容量，而是以逻辑复制的方式满足存储需求；当用户请求新的存储需求或要求访问权限调整时，不会中断其他用户的数据访问。
3、高性能的数据访问
对于电视台的非线性制作网、硬盘自动播出系统、视频点播系统来说，较高的访问速度是至关重要的。在多级存储模式中，网络中的各个编辑工作站、配音工作站、审片工作站，浏览工作站任何时候都可以无阻碍的实时获得所需要的各种数据。
4、高可用性
对于媒体资产管理系统来说，必须保证媒体数据始终是安全可用的。在任何情况下，例如系统产生错误或遇到意外灾难，数据都不能丢失。系统应具有快速故障恢复能力，保证应用系统永不停机（7×24小时不间断工作），数据始终保持完整性和一致性。
多级存储模式中的在线存储采用磁盘阵列作为存储设备，而磁盘阵列是一种最基本的高可用存储技术。多级存储模式中的近线存储子系统中，分布在各个层次中的数据，在软件的支持下可自动迁移或备份。硬盘或阵列盘中大量积压的过时文件或数据能自动迁移到近线存储设备中，使硬盘或阵列盘中永远保持足够的空间；对已迁移出硬盘或阵列盘的文件，系统提供透明检索，当用户要访问已被迁移走的文件时，它又能从近线存储设备中恢复，映象到在线文件系统。还能根据用户定义自动备份数据，遇到灾难时可迅速恢复数据，使整个系统很快投入正常运行。除了恢复迁移文件会导致延时之外，迁移、备份和恢复对用户都是透明的。
5、实现集中管理
多级存储模式中将处理过程集中到一个中心管理站上，依靠存储管理软件来对存储设备和素材进管理，在存储管理软件上可以设定素材迁移的管理软件对在线设备、近线设备和离线设备进行统一管理。同时管理软件对数据资源、存储设备和空间的使用权限和日志有严格完备的定义。
五、结论
总之，从IT技术的角度来说，现在已逐渐进入了一个以存储为中心的阶段。在其他行业先行的情况下，电视行业也开始认真考虑数字化存储的问题。从今年开始媒体资产管理技术已成为业内的热门话题，说明了电视行业数字媒体资产管理将成为电视行业的一个趋势。 而无论是从数据的海量存储、高性能访问、高可用性、可管理性，还是从节省硬件投资和人力资源，多级存储模式不失为媒体资产管理系统存储模式的最佳选择。
【多级存储技术在媒体资产管理系统中的应用】相关文章：
多媒体技术在地理信息系统中的应用08-06
嵌入式系统中的Flash存储管理08-06
闪速存储器在图像采集系统中的应用08-06
多端口存储器在多机系统中的应用08-06
多媒体技术在美术教学中的应用08-17
教学中应用多媒体技术初探08-07
论虚拟存储技术及其在视频网络中的应用08-06