上海景帝智能科技有限公司
扫一扫,手机逛起来
个人商铺
主营:物联网智慧平台解决方案包括智慧校园监控系统、企业智能制造与运营管理系统、政务系统政务公开平台系统、司法与监狱**监控系统、虚拟演播室、直播会务及赛事策划与直播、流媒体直播、及物联网IoT及虚拟现实AR硬件等解决方案产品与服务
02151857769
您现在的位置:
首页 > 技术文章
店铺信息
11
  • 入驻时间:2012-04-11
  • 联系人: 王雅淇
  • 电话:02151857769
  • 联系时,请说明仪表网看到的
  • Email:saturnbest@163.com
在线询价
技术文章

媒体资产系统中的数据管理(四)

发布时间:2012-06-11

  Ultrium磁带格式除了具有高可靠性的LTO技术,还具有大容量的特点。它能够单独操作,也可以在自动操作环境中使用。通过使用单卷轮介质,实现了高容量和高性能的优化,适合于备份、存储和归档应用,并将为大容量数据存储设置新的基准,以满足企业用  根据业务流程,我们就可以得到与之整个过程完全对应的所有的数据流向,这也是进行数据管理的重要依据。图中的每一次元数据通信,每一次媒体数据的迁移,都需要对数据进行管理规划,这个过程不仅需要相关的硬件部署,更需要所依附的软件平台来进行数据操作,可以说每一个步骤都是实施数据管理工作的实例。

  新奥特工作站上载素材时,为了应对媒资系统的数据需要,我们也对专题制作网的存储设备进行了分级存储规划。采集的标准视音频媒体文件(DV/ DVCPRO,码率25Mbps)从工作站本地硬盘上拷贝到制作网的存储体EMC CX 700盘塔中的高码率文件存储目录下,同时根据系统预置的低码率文件采集格式设定(WMV,码率300kbs)采集与高码率文件对应的低码率文件,存储在EMC CX 700盘塔中专门规划出的低码率文件存储目录下。在此过程中工作站还产生与之对应的元数据文件(META文件,记录用户信息、素材信息、存储路径等,是新奥特公司非编网络自定义的元数据封装格式)记录入制作网数据库;如需对素材进行编辑,当编辑完成后用户提交打包任务,数据库服务器会通知打包服务器进行打包操作,将时间线上的成片生成新素材。打包过程类似于采集,也有两种高低码率两种媒体数据输出格式,高码率文件存储在EMC CX 700中指定的“打包素材”目录下的高码率文件目录,低码率文件则存储在指定的“打包素材”目录下的低码率文件目录。同样打包结束后会有新元数据记录在数据库中,为传输入媒资作准备。这种分级存储不仅可以提供清晰的存储管理模式,更重要的功能就是便于各种数据的交互和迁移,明确了数据迁移的相关位置,一定程度上降低了数据管理的复杂性。

  用户在新奥特专题制作网中提交入媒资请求,此时主干数据库服务器与专题制作网数据库服务器进行通讯获取元数据,并将其封装成XML格式——之所以选取这种元数据格式,是因为单个版块自定义的元数据格式并不具备通用性(如上面提到的META文件),目前系统互联元数据基本都是基于XML的,统一采用这种格式会更适合在全台网多个版块之间进行数据交互,从而简化数据、提高效率。随后主干数据库服务器通知媒资管理服务器,完成对该素材元数据登记入媒资数据库的操作。在这一过程中,媒资数据库服务器会对接收到的元数据进行“查重”分析,如果接受到的元数据所指向的素材或者标题已经在媒资数据库中存在,为了避免数据的重复写入和重复迁移,则不执行该迁移任务,并在用户界面弹出“该对象已存在”提示。元数据确定后,主干通知迁移服务器并提交迁移任务,根据元数据的内容将元数据和媒体数据文件一起迁移至媒资系统。值得一提的是,迁移过程中服务器会对媒体文件进行MD5校验,虽然执行时间较长,但保证了文件的数据完整性和正确性,提供了更为的数据管理模式。

  迁移完成后数据进入媒资系统。高码率媒体数据文件存入媒资在线存储体中,相应的低码率文件存入流媒体存储管理服务器中,元数据文件写入媒资数据库服务器。通过编目工作站生成的编目信息成为非数据库元数据文件存入流媒体存储管理服务器的指定元数据存储目录下,与低码率文件并行存储、单独管理。另外编目过程中编目软件会通知流媒体管理服务器来调用低码文件预览等功能,并不是直接对媒体数据本身进行操作,这也在一定程度上保护了媒体文件的性;同时支持二次编目,即使编目流程已经执行完成,还可以申请二次编目操作,系统会记录新产生的编目元数据。

  编目过后用户提交任务,进入归档阶段。在归档时需要制定合适的归档策略,除了需要考虑归档中心的吞吐效率之外,还要认识到由于媒资管理服务器担负着编目、转码等流程的管理,还有与相关服务器进行元数据通讯等功能,所以还要制定策略时还要考虑媒资管理服务器自身的数据负荷问题,此外还要保证在线存储有足够的空间。我们将归档策略配置如下。

  媒资管理服务器根据设定的存储迁移策略,通知带库管理服务器对带库进行写操作,将媒体数据从在线盘阵迁入数据流磁带库中。素材入媒资流程完成。

  大洋新闻网中的用户登录通过媒资系统Web应用服务器检索并下载素材,根据媒体文件重新利用的使用需求,媒资管理服务器首先进行元数据查询,判断该素材是在在线存储还是在磁带库中,如果在在线存储中,直接从在线存储迁出;如果在带库磁带上,就对带库自己的数据库进行查询,找到对应的磁带,执行回迁任务,将媒体数据从磁带中迁移至在线存储中。其次媒资管理服务器还要与检索工作站进行通信,判断用户是否进行打点下载(即片段下载),获取相关数据信息(片段入出点)通知转码服务器对该片段进行转码,重新生成符合用户需求的媒体数据。

  此时媒资系统将等待迁移至大洋新闻网的素材的元数据文件封装成XML格式,通知大洋数据库服务器,同时通知主干服务器有数据需要迁移。主干服务器再通知迁移服务器,根据XML文件中指向的存储位置将媒体数据迁移到大洋新闻网中的EMC CX480存储体中,该迁移过程同样进行MD5校验。迁移完成后,大洋新闻网数据库获取元数据,通过导入的方式重新生成元数据并写入数据库中,完成该素材在新闻网中的登记入库。如图中所示的那样,大洋新闻网的在线存储体为两台EMC CX480,进行了“双读双写”的配置,实现了媒体数据文件的物理上双重备份,大大提高了数据管理的性。

  为了更好的进行媒资系统的数据管理,结合行业内一些先进的技术和经验,也出现了许多新的方法和尝试,包括提升数据存储的等级,以及越来越被广泛采用的“编目前移”。

  媒体文件在数据流磁带中,即可在非加电的情况下实现长期可靠保存。但是数据流磁带也会因为可能的空气粉尘污染、偶发的磁带驱动器物理故障(绞带等)甚至是外力挤压破损等自然因素造成数据丢失,为避免这些偶然因素对媒体数据带来的存储风险,对近线数据流存储也提供了存储自动双备份、数据流磁带手工克隆、重要对象多实例存储几种性措施。其中存储自动双备份是指,可以设定近线双备份存储资料组,当系统对这些媒体资料进行分级存储迁移的时候,自动将一个媒体文件同时存储在两盒数据流磁带中,在存储迁移完成后,只要任何一盒包含相关文件的数据流磁带可用,都可将该媒体数据的完整迁移回在线磁盘供进一步使用。实际应用中从来没有发生过两份数据流磁带同时不能使用的情况,这就保证了双备份资料存储的**。当系统中需要双备份存储的资料比例不是特别多的情况下,为相对节省存储成本,带库管理软件还可以提供指定数据流磁带的手工“克隆”功能,该功能可对指定的重要数据流磁带创建一份完全相同的“克隆”磁带,从而实现该部分资料的存储。此外,由于资料的重要性不一定在归档时完全明确,某些情况下用户很难决定哪些数据流磁带需要完整克隆,或者完整克隆的成本较大,这时媒资系统还可以提供重要对象多实例存储的功能:由用户手工指定某些重要媒体数据需要“多实例”存储,系统会自动将这些媒体数据复制到多份数据流磁带中,只要任何一个包含该媒体数据的数据流磁带可用,系统都能将其迁移回硬盘供后续使用。这样既可实现以前未双备份素材的存储,又避免了非重要素材的过多存储投入。

  对于系统中存储的低码流、关键帧和媒体数据的附件信息来说,由于其数据量相对比较庞大,一般这些数据是不进入数据库存储的,数据库备份还原措施无法实现对这些数据存储的有效保护,所以在客观上要求实现目录备份和分级存储同步关键帧/低码流功能。目录备份功能是通过在归档中心设置备份数据流磁带,指定需备份的目录文件夹的形式,创建系统的目录备份任务。带库管理软件应该制定相关策略,每天定时将指定目录中的新增文件备份到数据流磁带中,在任何需要将数据重新写回硬盘的时候,都可将指定目录的文件完整恢复到管理服务器的硬盘上,从而保证数据库外存储的关键数据的性。媒资系统的核心功能是提供对媒体文件的分级存储,扩展系统存储空间,其对媒体数据的存储管理是基于媒体对象的,这就意味着媒体数据不是一个个孤立的文件,而是包含了所有相关文件信息的一个媒体对象集合,在此基础上归档中心提供了对关键帧/低码流文件的另外一种附加保障,即在进行媒体文件从在线存储(硬盘)向近线存储(数据流磁带机/数据流磁带库)迁移存储的同时,可同步进行关键帧/低码流文件的拷贝存储。这样只要数据流磁带没有损坏,媒体数据包含的所有文件都可以通过归档中心从数据流磁带回迁到硬盘/服务器中供用户使用。

  随着网络化建设的深入和资料数量的爆炸性增长,编目信息主要在媒资内部依赖人工编目的工作模式越来越不能适应实际需要,编目前移的概念被越来越多付诸实施。完整有效的实现编目前移需要多系统的配合,比如在制作版块内,就可以实现**手资料的一次编目,开发专门的元数据来记录素材信息、场记、同期声、文联稿件等,规范入库交换元数据的结构。制作版块忠实记录所有引用关系,在提交媒资入库时,媒资系统会对元数据进行有效的继承,重点包括三个层面的内容:素材引用切点信息,素材原始初级编目信息以及与切点相关的素材场记、同期声的制作等元数据信息。入库接收后,在媒资系统内对接收元数据的人工审核和修改完善,同时使用自动化的辅助编目手段减轻人工编目的压力,补充关联信息。*后在用户检索使用时对各类元数据和资料之间的关联信息进行**的展现,帮助用户更快的找到所需资源。

(责任编辑:景帝www.ijingdi.com)

关于我们| 易展动态| 易展荣誉| 易展服务| 易家文化| 英才集结号| 社会责任| 联系我们

备案号:粤ICP备11010883号| 公安机关备案号:44040202000312| 版权问题及信息删除: 0756-2183556  QQ: 服务QQ

Copyright?2004-2017  珠海市金信桥网络科技有限公司 版权所有

行业网站百强奖牌 搜索营销*有价值奖 中小企业电子商务**服务商
以上信息由企业自行提供,信息内容的真实性、准确性和合法性由相关企业负责,易展仪表展览网对此不承担任何保证责任。