安卓篱笆

  • 400-800-1234
  • 为您定制专业的垂直门户
搜索
安卓篱笆 首页 软件/程序 数据库 查看内容

涨知识 | 还不知道就OUT啦!各类数据库概念大全

2017-12-25 00:29| 发布者: GuiTarvvm2098| 查看: 8| 评论: 0

摘要: “大数据”无疑是目前当仁不让的热点,但企业应理性看待大数据的价值,客观分析自身信息化建设和管理水平,本篇文章王博士从技术理解的角度深度解读各类数据库名词,方便大家应对新技术铺天盖地的今天。2017年召开的 ...

“大数据”无疑是目前当仁不让的热点,但企业应理性看待大数据的价值,客观分析自身信息化建设和管理水平,本篇文章王博士从技术理解的角度深度解读各类数据库名词,方便大家应对新技术铺天盖地的今天。

2017年召开的第四届中国国际大数据大会(ChinaInternationalBigDataSummit简称:CBDS),参会人员远超过主办方估计,主办酒店甚至将餐厅椅子拿来也没有彻底解决问题,很多听众都是站着参加会议的。用两张图来看下当时现场火热情况:

由此可见,“大数据”切实是当前IT界的常青树,当仁不让的热点。大数据在我国越发受到重视的原因,主要是我们对大数据本身赋予更多的期望:

1大数据热潮被认为是中国IT业“弯道超越”的机会

在过去的三十年的信息发展历程中,我们一直是学习者、追随者。传统的IT行业对底层平台、软件技术、理论体系要求非常高,而我们又缺乏积累,绝大多数据软硬件采用引进的方式。

然而,大数据是近几年发展起来的新技术,在其应用方面我们与国外的差距并不大,国外也处于反复试错和技术创新的阶段。因此,大数据是我国IT业发展从红海领域苦苦挣扎转向蓝海领域奋起直追的战略机遇。

2我们认为大数据的主战场在中国

中国有庞大的应用市场、消费市场和产业市场,有完整的工业体系和生态环境,因此各类大数据在中国最完整、最多样和最具分析价值,这是我们的数据金矿。

3信息化应有的效益没有发挥出来

传统的信息化应用中我国很多企事业单位投入产出不明显示,信息化应有的效益没有发挥出来。这也就造成我国企业事业单位在信息化应用中比较喜欢追求新技术,总是寄希望于新的技术来解决旧的问题。这虽是是不成熟的思维,但这么想的企业确实大有人在。

在这样一个大数据环境下,我们希望广大企业能够理性看待大数据的价值,客观分析自身信息化建设和管理水平,保持理性的心态,毕竞相对于在消费类市场的应用,大数据在工业领域的较为成熟和普适的应用还较为少见。

本篇文章便从技术理解的角度解读各类数据库名词,方便读者应对新技术铺天盖地的今天。

实时数据库

实时数据库是实时处理技术与数据库技术两者的结合,可直接实时采集、获取企业运行过程中的各种数据,并进行长周期的存贮。

实时数据库最为重要的特征是“实时性”,是指数据实时性和事务实时性。数据实时性指实时数据库的数据在一个允许的周期内保持与外界环境的一致性,即要求“实时”采集数据;事务一致性指数据库对其事务处理的速度要求“实时”,即在一个允许的时间内所有事务获得调度处理,否则事务直接撤消。举个例子,GPS导航系统必须在“允许”的时间内返回车辆的位置信息,否则信息滞后会导致事故的发生。实时数据库广泛应用于工业现场、控制系统等。

历史数据库

实时数据库“实时”反应了采集对象的状态,这种状态有时间维,且对长周期的数据进行分析处理更有意义,因此存在将大量实时数据按时间维度进行存贮的需求。在计算机硬盘资源有限的前十多年,如何保存长周期、高并发、细粒度的实时数据是个技术问题,随之诞生历史数据库。

历史数据为一般采用自定义的文件结构节省空间,同时按数据的特征进行数据压缩。如一个1个小时都没有变化的温度信号,仅保存初始时刻的一个值就可以完整再现信号状态。

时态数据库

一般而言,实时数据库与历史数据库只针对一组高并发的数据源,在逻辑上表现为一维结构。但事实上我们管理的数据对象存在多个维度,如:国家领导人的数据结构,在一个时期表现为一维结构(多人),但同时具有时间维度,形成三维的结构,这便需要应用时态数据库。

时态数据库包括历史时态数据库和事务时态数据库。历史实态数据库主要管理对象的全生命周期,而历史对象本身是一个典型的关系数据模型。事务时态数据库主要记录数据库事务处理的时间值、时间区间、资源竞争情况。时态数据库最为典型的应用是股票的数据管理。

移动数据库

数据库在设计过程中由于要处理各类一致性、数据管理规模等而变得庞大,随着移动通信技术的发展,移动设备与中央处理单元之间进行广泛的数据交换,如何应对这类场景从里到便提出了移动数据库。

移动数据库主要处理移动计算的特殊性(相较分布式计算):一是移动性(非固定位置);二是频繁断接性;三是网络条件的多样性;四是网络条件的非称性(上下行不对称);五是移动设备的能力;六是可靠性低;七是规模大(较传统的C/S网络)。举个例子:在手持PDA处理点巡检业务时,要考虑“在线”时如何从服务器上下载及上传数据,“离线”时如何独立处理业务,此时便需要移动数据库技术。

主动数据库

传统数据库是由文件系统发展而来,数据库管理系统是其数据模型的一种实现,用户有请求,它就提供服务。可见这种数据库管理系统是一种典型的被动服务程序。

顾名思义,所谓主动数据库是一种能根据各种事件的发生或环境的变化主动给用户提供相应信息服务的数据库系统。主动数据库在很多场合有很好的适用性:实时监控的报警——例外对错误情况的主动处理和自动恢复功能;系统瞬时状态的输出或关键点状态的输出等。

模糊数据库

我们经常说到数字化是一个确定性的概念,但现实世界中的绝大多数事物和现象都是表露不完全或模糊不清的。作为客观世界抽象描述的数据库来说,如果不能表示模糊性和不完全性等概念将是一个很大的不足,于是模糊数据库是一个很自然的客观需求,它在很多场合得到广泛应用。

模糊数据库研究主要有两方面,首先是如何在数据库中存放模糊数据;其次是定义各种运算建立模糊数据上的函数。模糊数的表示主要有模糊区间数、模糊中心数、模糊集合数和隶属函数等。

NoSQL数据库

NoSQL数据库泛指各种非关系型的数据库。是随着互联网技术发展,产生了高并发和超大规模的大数据集合,传统的数据库技术很难应对。NoSQL数据库包括键值(Key-Value)存储数据库、列存贮数据库、文档数据库、图形数据库等。

NoSQL数据库在以下的这几种情况下比较适用:1、数据模型比较简单;2、需要灵活性更强的IT系统;3、对数据库性能要求较高;4、不需要高度的数据一致性;5、对于给定key,比较容易映射复杂值的环境。

当前大数据、云计算和社交网络的大规模发展,给NoSQL数据库极大的发展机遇,因此NoSQL数据库技术本身还在不断发展变化中。

HDFS、HBase数据库

Hadoop是一个由Apache基金会所开发的分布式系统基础架构,包括了很多内容。其中HDFS是Hadoop架构下的分布式文件系统,而HBase是一种列存贮的NoSQL数据库。这两者是大规模海量数据存贮所用的关键技术。

NewSQL数据库

NewSQL是对各种新的可扩展/高性能数据库的简称,这类数据库不仅具有NoSQL对海量数据的存储管理能力,还保持了传统数据库支持ACID和SQL等特性。NewSQL是NoSQL之后的扩展,其目的是想利用关系数据数据模型和SQL接口的技术优势和便利,但同时必须具备NoSQL的在大数据处理方面的优势,是一个崭新的研究领域。

内存数据库

一直以来数据库技术发展中需要不断解决的两个重要问题:一是系统的处理速度,二是可管理的数据规模。比如采用分布式技术来提高应对并发事务的处理能力和存贮能力,采用数据压缩解决大规模数据的存贮能力等。而内存数据库是一种很直接地提高处理速度的办法,顾名思义就是将数据放在内存中直接操作的数据库。

相对于磁盘,内存的数据读写速度要高出几个数量级,将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。在过去的计算机中由于微电子技术的限制而内存空间十分有限,不大可能发展内存数据库,反而出现了“磁盘缓存”这种技术,即当内存不足时操作系统利用硬盘的部分空间当作RAM,来增加操作系统的健壮性。

今天,内存极大增长(当然相信这种增长还有很大的发展空间)可以支持全状态数据的处理,可以支持大规模数据的统计分析。内存数据库的高速性对传统的实时数据库技术提出了挑战。

大数据系统

大数据系统就不能称之为数据库了,是利用了大数据库技术,大数据处理技术的应用系统。大数据系统的核心是大数据处理,包括大规模数据接入、存贮、处理,并发性和实时性是主要考虑的性能指标。反而由于硬件的技术的发展,对计算能力和存贮空间考虑不多,大数据管理系统的软件性能反而成为瓶颈。

工业大数据系统

一般而言,大数据是从商业领域、消费领域最先发展起来的,主要是因为互联网2.0技术的快速发展。如果将大数据移植到工业领域,必须要考虑工业数据的特殊性,这便产生了工业大数据系统。

工业大数据除大数据的基础特征:数据规模大(Volume)、数据结构多样(Variety)、数据增长快速(Velocity)的3V特征。工业大数据的专属特征有:时序特征、高维特性、多尺度特性、高噪特性等。


鲜花

握手

雷人

路过

鸡蛋
发表评论

最新评论

返回顶部