上海景帝智能科技有限公司
扫一扫,手机逛起来
个人商铺
主营:物联网智慧平台解决方案包括智慧校园监控系统、企业智能制造与运营管理系统、政务系统政务公开平台系统、司法与监狱**监控系统、虚拟演播室、直播会务及赛事策划与直播、流媒体直播、及物联网IoT及虚拟现实AR硬件等解决方案产品与服务
02151857769
您现在的位置:
首页 > 技术文章
店铺信息
11
  • 入驻时间:2012-04-11
  • 联系人: 王雅淇
  • 电话:02151857769
  • 联系时,请说明仪表网看到的
  • Email:saturnbest@163.com
在线询价
技术文章

媒体资产系统中的数据管理(三)

发布时间:2012-06-11

  Ultrium磁带格式除了具有高可靠性的LTO技术,还具有大容量的特点。它能够单独操作,也可以在自动操作环境中使用。通过使用单卷轮介质,实现了高容量和高性能的优化,适合于备份、存储和归档应用,并将为大容量数据存储设置新的基准,以满足企业用户的需要。Accelis磁带格式则主要侧重于快速数据存储。它在磁盘中装载了双轨磁带存储器以减少存取时间,提高速度,而且能够很好地适用于自动操作环境,可处理广泛的在线数据和恢复应用。

  这两种格式都使用同样的头、介质磁道面、通道和服务技术,并共享许多普通的代码部分。因为广电行业内的存储用户更偏重于对存储容量的需求,所以两种格式相比较而言,Ultrium格式是更值得关注的技术。LTO Ultrium系列磁带存储容量由100GB至800GB(非压缩),并在压缩后能达到1.6TB,*大数据传输率可达120至240MB/秒。当然,Ultrium格式的优势并不仅仅在存储容量上。在数据性方面, Ultrlum 960和 Ultrlum 1840对重写(rewriteable),一写多读(Write-Once,Read-Many(WORM))都支持。WORM磁带因为不能擦除或覆盖,所以加强了针对数据篡改的高性。

  由于HP EML 103e带库可以使用Ultrlum 460 (LTO 2), Ultrlum 960 (LTO 3)和Ultrlum 1840 (LTO4)的磁带驱动器,在搭建媒资系统阶段,我们结合数据的读写带宽、速度,特别是为了保证媒资写入带库内数据的高性,选配了2个Ultrlum 1840 (LTO4)的磁带驱动器,并在后期购买了与之适配的LTO4的WORM磁带100盘,每盘存储容量为800GB,这样80T的总体存储容量使得我们在一个相对较长的时间内可以不用考虑带库的扩容。即便是到使用后期需要扩容,也只需增加带库的基础模块、驱动器和磁带,对系统的改动相对简单。

  媒资系统数据库的元数据是保证整个系统正常运行的关键。我们将数据库安装在两台数据库服务器的共享阵列HP MSA2000盘阵上,利用集群技术实现两台服务器互为备份来管理数据库。其内置了10块146G的SAS硬盘,其中第1-2盘进行了Raid1配置,用来安装集群和数据库;第3-9盘做了Raid5配置,存放媒资流程中所产生的大量的非编工程标题信息,这些标题信息是在媒资系统和两套非编网络(喜马拉雅专题制作网和大洋新闻网)进行数据交换时的重要数据,所以也要对其进行更加的管理和存储,后面会结合实际流程来阐述;第10块盘作为冷备,平时无需加电。

  上述几部分的数据存储管理单元就构成了媒资系统中的数据存储管理区域(如图2所示)。硬件方面的部署只能尽可能地保证媒资系统作为一个数据仓库其本身的性,广电行业的网络技术发展到现在,媒资系统已经不再被定义为一个孤立版块,伴随着全台网业务流程的定义,媒资系统中的数据管理还要做到“动起来”,即把握数据流向,在相关的业务流程节点上来完善对数据的管理,软件上也要做出相应的部署,制定合适的策略。

  测试运行——理清业务流程,把握数据流向
  媒资系统应采用统一的工作流管理机制,一方面能大幅度提高系统工作效率,而且业务流程管理方便快捷。成熟的业务流程依附于全台网架构,利用主干系统连接各个业务子系统。主干系统提供统一的管理控制平台,集中进行用户管理、系统管理、工作流管理、编目体系管理及存储区域管理。对于运行当中的媒资系统,其数据管理应该充分考虑数据通信的不同特点:数据通信可能存在不间断的连续性,比如元数据的实时通信和数据“环路”,因为管理元数据的服务器之间需要互相通知;要区别对待元数据的“一对一”和“一对多”通信,前者的数据可以不用进入数据库,只需对其制定的存储和访问机制,即点对点的畅通,比如带库管理服务器和带库就是这种关系,而后者就需要部署一个共享性质的数据库,跟随定义好的流程保证数据的交互,比如媒资管理服务器,就需要和主干系统、媒资内部的编目、检索、转码等多个服务器进行一对多的通信;还要注意到媒体数据本身带来的管理难度。由于媒体数据较大,一旦需要迁移,除了要注意迁移的效率,还要注意数据在迁移过程中的性,软件上还应对文件进行必要的检查校验。此外,流媒体、网络平台、B/S等技术的利用,还可以有效地保护数据。

  由于业务流程和数据流向是依附于具体的节点定义的,其中数据的形式、存储的方式、备份的选择、管理的策略等等都是需要根据不同的情况和定义来进行规划管理,所以为了更好的阐述数据管理,在此给出一个完整具体的业务流程并对其进行数据管理的分析和讨论。前面已经介绍了我频道全台网的基本组成情况,就选取“从新奥特专题制作网上载素材——入媒资编目存储——大洋新闻网检索下载入库”这一业务流程。图3给出了该业务流程的完整节点定义。

  在新奥特专题制作网内,上载素材后可以有两种方式入媒资:上载的素材可以直接入库;也允许对素材进行编辑,经审核后打包生成新的素材入库,也叫“标题打包入媒资”。进入审核阶段后,“审核”业务可以灵活配置,提供了多级审核机制。审核完成,提交入媒资请求,开始进行数据迁移。

  素材进入媒资系统后,按照图示的节点顺序进行。“归档”虽然属于媒资内部业务,但此时带库管理服务器已经通知带库进行由在线存储到近线存储的迁移。这里需要进行归档策略的制定,避开归档任务高峰期时可能存在的处理瓶颈。即使迁移没有完成,但“归档”任务已经完成,待“发布”后才能在媒资检索工作站的B/S界面上进行检索。当用户选定一条素材要进行下载时,媒资系统数据库首先要进行素材所在位置的判断:如果该素材已被写入带库磁带,则进行“回迁”任务,由带库迁移至媒资在线存储;如果该素材并没有被写入磁带,本来就位于在线存储,则直接由迁移服务器将其迁移至大洋新闻网的存储体,同时完成相关元数据的登记数据库操作。“转码”为下载业务提供片段下载、并将其转码为系统预先配置好的低码率视音频文件格式。

(责任编辑:景帝www.ijingdi.com)

关于我们| 易展动态| 易展荣誉| 易展服务| 易家文化| 英才集结号| 社会责任| 联系我们

备案号:粤ICP备11010883号| 公安机关备案号:44040202000312| 版权问题及信息删除: 0756-2183556  QQ: 服务QQ

Copyright?2004-2017  珠海市金信桥网络科技有限公司 版权所有

行业网站百强奖牌 搜索营销*有价值奖 中小企业电子商务**服务商
以上信息由企业自行提供,信息内容的真实性、准确性和合法性由相关企业负责,易展仪表展览网对此不承担任何保证责任。