云计算下的大数据处理技术研究

伴随科学技术的迅猛发展，进入21世纪信息时代以来，数据呈现出海量增长的趋势，传统数据存储模式已然难以满足现代社会大众生活生产的需求。在该种背景下，大数据应运而生，由此要求对原本的数据处理框架开展革新以满足大数据应用的需求。进而，云计算也应运而生，云计算技术可有效优化大数据存储、处理等方面的问题。近年来，伴随云计算的不断发展，云计算下的大数据处理表现出大容量、便捷处理、多元化、信息准确等特点。如何依托云计算技术对大数据开展高效处理，已然转变成信息技术发展亟待解决的一项重要课题。因而，对云计算基础下的大数据处理技术应用开展研究，有着至关重要的现实与理论价值。

1  大数据与云计算相互间的关系

云计算在当前社会发展中扮演着十分重要的角色。云计算可自根本上使人们的生活、工作、学习发生极大转变，其已经成为当前社会所不可或缺的一项新型技术。不论是哪一位终端用户，均可获取到由云计算所提供的计算服务，换言之，云计算可为各行各业的人们提供计算服务，并且其还具有效率高、成本低等优点，无需用户掌握专业技术便可直接使用，可实现对满足用户多种不同需求的有效满足。云计算凭借其各式各样的优点，可有效解决大数据存储、处理的需求，进而作为大数据发展的可靠载体。相对的，大数据发展的严苛要求也推动了云计算的不断发展，大数据与云计算相互间具有相互促进、相互作用的关系。

2  云计算及其关键技术

2.1  数据存储技术

为了实现对云计算的有效应用，应当确保信息数据读写存储的安全可靠，在分布式存储技术的支撑下，可将庞大的信息数据进行备份处理，进而为信息数据提供安全保障。除此之外，依托数据加密技术、冗余存储技术等，可有效防止信息数据遭受泄漏或篡改。于此环节，诸多存储系统在云计算系统中得到广泛推广，诸如Google研发的非开源GFS、Hadoop团队研发的GFS等等。

2.2  数据管理技术

分布式处理与分析是云计算中的一项关键技术，其可为使用者提供高质量的服务，但是需要开展好对数据管理技术的管理工作。于此环节，目前得到广泛推广的数据管理技术，包括有开源数据管理模块HBase、BigTable数据管理技术等。云服务平台管理，如图1所示。 

图1  云服务平台管理示意图

2.3  虚拟化技术

虚拟化技术也是云计算中的一项关键技术，其主要作用于借助相关方式方法将真实环境中的计算机系统、组件等转移至虚拟环境中，然后结合计算机操作系统、软件、硬件等构建虚拟化层结构。通常情况下，可将虚拟层划分成上中下三层，上下层结构通过中间层得以连接，可获取多项类似功能，进而实现在虚拟化环境中的有序运行。

3  云计算下的大数据处理技术应用

3.1  云计算下的大数据采集技术应用

通常情况下，云计算下的大数据采集技术应用，可将其划分成两种，即为分布式数据采集和集中式数据采集。其中，分布式数据采集相较于集中式数据采集表现出更好的灵活性，不过集中式数据采集则具备更好的全局性。而在大数据采集技术应用实践中，应当结合对应数据的特征来挑选适用的数据采集技术，即为倘若大数据表现出结构式、半结构等特征，则可依托云计算技术对数据开展分布式采集，从而确保池内的数据趋于同构化，帮助用户进行数据分类；而倘若数据存在于不同组织对象相互间，且组织相互间还是彼此独立的，则可应用集中式、分布式有效相融的数据采集技术。

3.2  云计算下的大数据存储技术应用

对于当前时代背景下所需处理的海量数据，传统计算方式已然难以满足当前时代的计算存储要求，而在云计算下，可实现对不同数据属性的有效分类，对不同类型、不同资源属性的数据均可予以单独存储。这是因为云计算技术的数据存储可对数据属性进行查询分析，然后结合数据的属性列便可实现对不同属性数列的存储，进一步极大水平提高云计算系统的数据处理工程量及数据处理效率，将采集的数据依据对应数据属性进行列式存储，确保数据库中处理系统邻近数据相互间保持良好的同质性，进一步提高对数据的压缩效率，节省更多的存储空间，达到存储更多数据的目的。

3.3  云计算下的大数据联机技术应用

云计算下的大数据联机技术，是指对数据开展不同维度的整合处理，这与大数据库的组织形式存在一致性，即为依托互联网联机途径，对云计算系统数据库与大数据的数据处理技术及整合技术进行有机融合，进一步使计算机处理系统的运算功能得到进一步优化，促使在对大数据进行分类及处理环节，便可完成对数据的实时运算，提高数据库整理系统的运算效率。云计算下的大数据联机技术应用，尤为强调对数据的决策分析，并且为用户提供更直观的数据处理结果，依托分布式并行的计算手段，对大数据中综合性数据开展处理，进一步建立起多维化的分析模型，在这一模型的支持下，进而可使数据处理的最终结果变得更为直观。为用户制定决策提供有力依据。

3.4  云计算下的大数据挖掘技术应用

联机分析对数据的处理只不过是表面的，其获得的数据信息价值较为有限，无法获取数据更深层次的含义及内在关联。云计算下的大数据挖掘技术，则是对联机分析技术的有效延伸，进一步获取更为深层次的数据信息，找到用户的信息偏好，使用户可找到自身需求的系想你，提高信息采集的深度、广度，并将用户需求的数据信息借助相关概念、规律或模型的方式予以呈现。云计算下的大数据挖掘技术，通常应用的是分布式并行挖掘技术。相较于其他串行方式，云计算下并行数据挖掘可借助机器集群拆分分布式系统中的并行任务，并将拆分完毕的每一项任务逐一转至对应的机器开展处理，进一步实现大规模数据处理，极大水平降低时间成本。

3.5  云计算下的大数据可视化技术应用

近年来，云计算下的大数据挖掘技术得到了越来越广泛的推广，在此基础上，大数据可视化技术也逐渐进入人们视野，并推动了数据挖掘技术的有效创新。云计算下的大数据挖掘技术，是指通过图形、图像方式，将数据呈现在用户面前，对数据开展可视化处理，使用户可更为直观地了解到数据与数据相互间的作用关系，依托图形、图像呈现的方式，使用户可提高对数据信息的有效认识，使大数据挖掘技术变得进一步形象化，使用户可更为便捷地获取自身需求的信息，加快对信息数据的检索速度，获取数据更为形象、更为深层次的信息，如此一来，可便于用户构建立体化的多维模型，使大数据挖掘技术在云计算下发挥出更大的效能。

4  结语

总而言之，21世纪信息时代，云计算的推广促进大数据实现了长足的发展，首先传统信息数据存储方式实现了有效创新，使大数据复杂繁多、存储空间大等特征优势得到了满足，其次为大数据存储、处理创造了良好契机。伴随云计算的不断发展，大数据管理将更趋向于数据分析、挖掘及管理模式的创新。现阶段，云计算下的大数据处理技术日趋成熟，依托云计算进一步提升大数据存储及处理方式，实现更可靠的数据挖掘及可视化技术，是今后有待解决的重要课题。鉴于此，大数据行业相关人员务必要不断革新思想观念，提高对大数据与云计算相互间关系的有效认识，加强对云计算及其关键技术的深入分析，积极促进大数据的有序健康发展。