导航:首页 > 网络数据 > 大数据图书馆的机遇

大数据图书馆的机遇

发布时间:2024-04-30 15:40:10

1. 大数据给数字图书馆带来哪些变革

数字图书馆遇挑战
“各类型数据急剧增长,正朝着海量数据方向发展,国家数字图书馆面临着数字资源长期保存、资源整合、信息安全以及服务创新等多方面的挑战。”魏大威介绍说,截至2013年底,国家数字图书馆数字资源总量已达到874.5TB,其中自建数字资源量为737.9TB,网络信息采集量达45.7TB,外购中外文数据库共计273个,文津搜索汇集的元数据已达2.9亿条;随着读者服务扩展至计算机、数字电视、手机、手持阅读器、平板电脑、电子触摸屏等多种服务终端,服务量的不断增加,各业务系统每天都会产生大量的日志数据,其中包含了大量的用户行为信息,例如,Aleph系统日均产生日志数据约20GB,文津搜索系统日均产生日志数据大于300G。
将建立超大型元数据仓储
魏大威指出,面临新的环境、背景,国家图书馆为实现传统业务与数字图书馆业务高度融合,最大限度发挥国家图书馆服务效能,把资源整合作为工作抓手。
他进一步强调,进行数字资源整合必须结合大数据特点和资源现状,以用户需求为导向,博采众长,突出特色,分阶段、有计划的实施。建立超大型元数据仓储是未来数字图书馆进行资源整合的思路之一,从而实现资源的统一聚合与一站式检索,将云服务与关联数据结合起来实现数字馆藏的组织和聚合,构建“资源——用户”关系模型等思路展开工作,但资源整合也面临着资金、人才、技术等方面的挑战。

2. 大数据给专业图书馆带来的启示

随着大数据时代的到来,科学数据的产生和积累呈指数级增长,专业图书馆作为社会中储存信息知识、提供信息服务的信息中心,必须主动利用这些变化来进行战略性创新,满足需求,创造未来。

1.建立融数据和文献于一体的新型数字图书馆

科学向数据密集型科学研究范式转换的成功,标志着一种新的常规科学的形成,必将引发科学研究观念和方法的新突破与新发展,并将对专业图书馆产生新的需求。因此,必须建立融数据和文献于一体的新型数字图书馆,形成数据与信息融合的互操作架构,让科学研究的整个过程在数字图书馆的电子环境中进行,并对所有人开放,使科学研究的素材、思路、过程和结论得到传播和共享。培养数据密集型科研环境下的数据管理人才“数据是信息化时代的石油”,数据管理人才是数据密集型科研环境下的稀缺人才。全世界的各类海量数据正在源源不断地汇集到美国(或美国公司),这个趋势短期内还看不到转变的迹象。未来国家的核心竞争力将很大程度上依赖将数据转化为信息和知识的速度与能力,而这种转化速度和能力,实际上则取决于大数据方面的技术能力。要保持科学研究的领先地位,国家决策者和科学研究者必须高度关注大数据的趋势。美国国家科学理事会N SB在其发表的《长期保存的数字数据集合:支持21世纪的研究与教育》报告中,提出如何培育和支持被称为数据科学家的新兴科学家群体的问题:“数据科学家包括信息学家、计算机科学家、数据库和软件工程师或程序员、学科专家、数据管理者、数据标引专家、图书馆学家、档案学家等对科学数据资源的成功管理起着关键作用的人们,他们希望自己的创造性和智力贡献得到充分认可”。目前美国需要14万到19万以上具备“深度分析”专长的研究人员,而对具备数据知识的经理人员的需求超过150万。大数据的应用是技术难度极高的集成应用,如需要集成人工智能、商业智能、数学算法、自然语言理解、信息技术等跨学科领域的技术成果。数据科学家是未来10年最具吸引力的职位,数据图书馆员、数据服务馆员等数据管理人才将是数据密集型科研环境下的稀缺人才。

2.建立数据驱动的E-Science服务模式

在E-Science环境下,能否从传统信息服务向知识服务的突破,将是图书馆能否继续生存并保持活力的关键。因此,必须加强对科学数据的重视,认识到开展科学数据服务、提升对科学数据组织和挖掘能力,对科学研究及图书馆竞争力的重要意义。专业图书馆应针对海量数据需要长期存储的需求,为科研人员提供最佳信息和技术服务,融入用户工作流的数据生命周期。数据驱动的E-Science服务模式将是现代科学图书馆发展的新的生长点。

3. 当代大学生应该如何应对“大数据”带来的机遇与挑战

大数据,或称巨量资料,是指所涉及的资料量规模巨大,以致无法通过目前主流软件工具在合理时间内撷取、管理、处理并整理成为帮助企业达致经营决策目的的资讯。大数据技术不仅能够提高人们利用数据的效率,而且能够实现数据的再利用和重复利用,进而大大降低交易成本,提升人们开发自我潜能的空间。人们可以低成本或零成本进行事物信息全息式的纵向历史比对和横向现实比对。大数据技术自身不仅能够迅速衍生为新兴信息产业,还可以同云计算、物联网和智慧工程技术联动,支撑一个信息技术的新时代。

云计算、物联网、大数据、智慧工程都是新一代信息技术。云计算技术是一种按使用量付费的模式,这种模式可以提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。云计算技术可以使人们及时利用各类大数据。物联网技术的实质就是物物相连的互联网,物联网的核心和基础仍然是互联网,其用户端延伸和扩展到了任何物品与物品之间,进行信息交换和通信。物联网技术可以溯源大数据和保证信息的真实性。智慧工程就是把感应器嵌入和装备到电网、铁路、桥梁、隧道、公路、建筑、供水系统、大坝、油气管道等各种物体中,并且进行普遍连接,与现有的互联网整合起来,实现人类社会与物理系统的整合。智慧工程可以激活沉寂的大数据。

4. 大数据对公共图书馆服务产生哪些方面影

大数据的存储和运算能力对公共图书馆的建设和发展来说既是机遇也是挑战,如何应对这一新的信息技术的冲击关系着公共图书馆未来的发展走向
。公共图书馆要大力提高

5. 大数据趋势与专业图书馆

数据被称作信息化时代的石油,其重要性不言而喻。“大数据”通常被认为是一种数据量很大、数据形式多样化的非结构化数据。从产业角度,常常把这些数据与采集它们的工具、平台、分析系统一起称为“大数据”。在大数据时代,顺应大数据趋势,实现传统业务的转移,是带给国内专业图书馆的一个契机。

1.大数据与科学研究

2011年,麦肯锡研究院在《大数据:创新、竞争和生产率的下一个前沿》的报告中提出“大数据”时代已经到来。2012年3月,奥巴马政府发布了“大数据研究和发展计划”;2012年6月,联合国专门发布了大数据发展战略。这是联合国第一次就某一技术问题发布报告。“大数据”成为2012年热门词汇和研究热点之一。除了国家和研究机构,全球主要的大型IT商业公司均对大数据技术投入巨资,目的是利用大数据为国家治理、企业决策乃至个人生活提供服务。目前,科学研究正在进入一个崭新的阶段。在信息与网络技术迅速发展的推动下,大量从宏观到微观,从自然到社会的观察、感知、计算、仿真、模拟、传播等设施和活动产生出大量科学数据,形成被称为“大数据”的新的科学基础设施。数据不再仅仅是科学研究的结果,而且是科学研究活动的基础。科学家不仅通过对广泛的数据实时、动态地监测与分析来解决难以解决或不可触及的科学问题,更是把数据作为科学研究的对象和工具,基于数据来思考、设计和实施科学研究。以数据考察为基础,联合理论、实验和模拟为一体的数据密集计算的范式,成为与经验范式、理论范式和模拟范式并列的第四范式。数据被一起捕获或者由模拟器生成,处理后存储在计算机中,科研人员使用数据管理和统计学方法分析数据库和文档,据此产生创新思维和成果。这种科研模式被称为数据密集型范式,简称数据范式,是一种新的科研模式。

2.大数据与现有数据库技术的对比

大数据具有数据持续增加、体量巨大(Volume)、数据类型和来源多样(Variety)、速度快(Velocity)等特点。

3.大数据与新型数字图书馆

图书馆在科学文献(纸质或是电子)的组织与服务方面积累了丰富的经验,已成为科研活动和学术交流体系中的有力支撑。随着学术信息交流方式的变化,既有数据档案库,也有文献档案库,而数据则进入数据档案库中。因此,数据图书馆将成为未来数字图书馆的一部分。存储在各类数据库和文档系统中的科学数据,以及以业界标准化关系数据库所产生的元数据体系,将构成一种新型的、分布式的和整合式的数字图书馆。这种数字图书馆既包括传统数字图书馆的各类处理、管理、检索服务等功能,又包括数据转换、可视化和数据挖掘服务等新型数据服务功能。

4.大数据在专业研究领域中的应用

生物医学领域是大数据的先行者,这主要得益于美国国家医学图书馆基于科学数据建立的超级计算和数据处理平台。这些平台支持基础科学和应用科学的知识发现和数据关联,以及分析基础上的模拟仿真研究,为科研和政府决策提供服务。2007年,吉姆格雷扩展了其对数据密集型科学的看法,提出7个重要行动领域之一就是同国家医学图书馆支持生物科学一样,建立更多数字图书馆以支持其他科学。生物医学领域的数据量在飞速增长。欧洲分子生物实验室核酸序列数据库EMBL-Bank收到数据的速度每年递增200%;人类基因组计划2008年生产数据1万亿碱基对,2009年速率又翻一番;在生物医学文献编目中已经有1800万医学文章,每年增加接近百万篇。

美国国立医学图书馆的Entrez系统是美国国立医学图书馆建立的生命科学搜索引擎,它真正实现了数据和文献的交互性操作。用户可以在阅读论文的同时打开基因数据,跟随基因找到这个疾病,再回到文章(微软的WWT也实现了数据与文献的融合)。融合和交互操作可通过统一的链接、统一的标签和ID号实现。医学、生物学、心理学等学科领域的大型实验设备的实验型数据、人类基因数据中,有些由于观测和实验的不可重复性,有些由于时间、设备和经济等条件的限制,数据获取难度大,因此,数据的长期有效保存、科学管理、有条件共享和促进利用是极有意义和价值的一项工作。把全世界的数据都集成在一起,形成巨型的动态数据集,将诞生一个全球化的数据库。

5.国内专业图书馆的实践

专业图书馆的思考在实践方面,国内已经建立了一系列的科学数据平台,如科技部支持建设的科学数据共享工程等,但图书馆人员参与很少。在新的交流体系形成之际,专业图书馆应该深刻思考和研究支撑科研创造的信息服务环境;思考科研成果融合数据之后,形成的原始数据、派生数据和科学文献融为一体的新的信息环境下,如何提供信息和数据服务;研究数据科研基础设施建设和运行过程中信息机构的职责、作用和角色。从大量的数据中分析其潜在的价值将成为大数据时代图书馆的一大主要业务,并且提供这些业务的水平将决定着大数据时代图书馆的发展水平和方向。专业图书馆尤其要分析研究数据科学家的知识结构、基本素养、基本技能,并将此纳入培养计划加以实施,为未来社会提供所需人才。

6. 大数据时代信息检索的机遇与挑战

首先先帮您了解下什来么是大数源据,大数据”意指一个超大的、无法在可承受的时间范围内用传统软件工具进行捕捉、管理、处理的数据集合。
“大数据”的特点,业界将其归纳为4个”V”,即:Volume(容量),Variety(多样性),Velocity(时效性),Value(价值)。
然后,您问的关于大数据时代信息检索的机遇与挑战,先说机遇:
现在好多企业都还使用的是传统关系型数据库,无法横向扩展,对于数据存储规模有非常大的限制,而且传统关系性数据库数据记录达到百万或者千万级时,信息检索速度特别慢,设置会超时,这就是大数据技术的机遇。
挑战会很多,首先是一般的大数据技术是针对海量历史记录的,对频繁更新的应用支撑的不是很好,有很多业务应用需要实现检索亚毫秒级等。
我现在正在做这个行业,有机会多交流。

阅读全文

与大数据图书馆的机遇相关的资料

热点内容
ps入门必备文件 浏览:348
以前的相亲网站怎么没有了 浏览:15
苹果6耳机听歌有滋滋声 浏览:768
怎么彻底删除linux文件 浏览:379
编程中字体的颜色是什么意思 浏览:534
网站关键词多少个字符 浏览:917
汇川am系列用什么编程 浏览:41
笔记本win10我的电脑在哪里打开摄像头 浏览:827
医院单位基本工资去哪个app查询 浏览:18
css源码应该用什么文件 浏览:915
编程ts是什么意思呢 浏览:509
c盘cad占用空间的文件 浏览:89
不锈钢大小头模具如何编程 浏览:972
什么格式的配置文件比较主流 浏览:984
增加目录word 浏览:5
提取不相邻两列数据如何做图表 浏览:45
r9s支持的网络制式 浏览:633
什么是提交事务的编程 浏览:237
win10打字卡住 浏览:774
linux普通用户关机 浏览:114

友情链接