当前位置: 首页 > 党团工作 >

使用Hadoop分布式文件系统检索云存储中的文件

发布时间:2023-05-30 13:00:08 | 来源:网友投稿

摘 要 云存储系统被认为是一个具有独立存储服务器的大型存储系统。云存储提供的服务是,可以通过网络和其他经过身份验证的用户存储用户数据,可以轻松访问数据,Hadoop分布式文件系统用于存储大文件,并以非常高的带宽将这些文件检索到用户应用程序,Hadoop将文件分割成大块,并将它们分布在集群中的节点之间。当我们从云中检索数据时,减少计算和通信开销是非常重要的。为了减少通信开销,当用户要求数据文件时,服务器只能根据关键字发送最新的文件。由于所有者不需要维护文件的副本,所以只需要检查可用的文件。在HDFS中,并行完成计算,从而大大减少了执行时间。在提出的用于检索top-n文件的系统中,我们使用Hadoop分布式文件系统,从而大大减少了搜索时间和通信开销。

【关键词】云存储 HDFS 集群 关键字搜索

1 引言

云计算可以将客户端的数据存储在远程存储介质中,并在任何时候可以由用户检索数据。通过存储在云中,数据拥有者可以免费在自己的系统中维护数据的副本。但是存储所有者数据的服务器不一定被信任,为了提供保护,数据在外包到云端之前被加密。由于频繁的数据共享,这种方法在云环境中很难实现,可搜索的重新加密系统已经实现。在这种方法中,索引存储在主服务器中,数据分布到许多服务器。因此,这个系统在云存储环境中很难应用。为了在云存储中提供安全的数据,服务器提供了安全的存储空间,被称为云存储服务。为了利用这种安全的存储设备,使用的基本技术是分布式文件系统。

1.1 GFS

Google使用这种分布式文件系统提供安全的云存储。GFS包含三个组件,即客户端,主服务器和块服务器。

客户:代表应用程序与主服务器和块服务器通信。

主服务器:维护和管理文件系统原数据,如访问控制信息,名称空间,文件和块之间的映射信息以及块位置信息。 这些信息存储在主服务器的存储器中。它们几乎控制所有的系统功能,如创建块拷贝,返回可用的未使用的存储空间以及调整份数。

块服务器:块服务器管理存储的数据单元,并按照客户端的要求提供输入/输出数据。通过使用校验来识别数据错误。如果客户端想要存储文件,则客户端将文件详细信息发送到主服务器,主服务器又提供块服务器的位置。此外,如果客户端想要读取,则主服务器向客户端提供其中存储数据的块服务器位置。客户端然后与组块服务器进行通信并获取原始消息。

1.2 HDFS

Hadoop分布式文件系统(HDFS)的基本功能是可靠地存储大量数据,并以高带宽将这些数据发送给用户应用程序。在一个大集群中,数以千计的服务器处理直接连接的存储,并执行用户应用程序任务。Hadoop使用Map Reduce方法启用分布式系统,并为非常大的数据块分析和转换提供了基础。Hadoop的一个重要功能是将数据和分析分成数以千计的主机,并且并行执行所有应用程序计算,并且靠近其数据。Hadoop集群通过仅包括商品服务器来平衡计算和存储容量。

HDFS分别保存文件系统元数据和应用程序数据。为了存储元数据,使用称为名称节点的专用服务器,而使用称为数据节点的其他服务器来存储应用程序数据。基于TCP协议,所有服务器都完全连接。文件信息在多个数据节点上重复,可靠性如GFS。

HDFS的组件简介如下:

1.2.1 名称节点

HDFS命名空间包括目录和文件的層次结构。该文件分为大块。许多数据节点都可以独立地复制每个文件块。NameNode维护块到数据节点和命名空间树的映射。一个名称节点可用于每个集群。另一方面,每个群集可以拥有数千个数据节点和数万个HDFS用户,因为每个数据节点可能同时执行多个应用程序任务。

1.2.2 数据节点

数据节点上块的每个副本由本地文件系统中的两个文件表示。当第一个文件存储数据时,第二个文件存储包含数据的校验和的块的元数据。数据文件大小将等于块的原始大小,因此不需要增强的存储来匹配块大小。

1.2.3 HDFS客户端

在HDFS客户机中,一个端用于由用户应用程序访问文件系统。要访问数据,它提供文件系统界面。HDFS有读取,写入和删除文件等功能,也可以创建和删除目录。用户应用程序不需要知道文件系统元数据,因为存储位于不同的服务器上,或者该块具有多个副本。

2 存在问题

加密的云数据外包服务包括以下数据,即数据所有者,用户和云服务器。数据所有者拥有他与其他用户共享的各种数据的集合。由于他无法维护和处理用户每个请求的文件,他更愿意将这些文件外包给云服务器。但是这里的优先事项是信息不应该泄漏给任何人,也不应该泄漏给云服务器。因此,根据用户的要求,只能发送top-n个相关文件。为了确保数据的机密性,所有者在将它们外包到云服务器之前对其进行加密。由于计算在前n个文件中的文件的排名需要很多时间,在用户的每个请求上,服务器不会计算任何特定关键字的文件的排名。因此,在托管之前,数据所有者将首先创建一个可搜索的索引,该索引将由该特定关键字的每个文件的关键字文件ID和相关性分数组成。

3 实验设置

实验是在具有2个群集,cluster1和cluster2的云堆栈的Linux2,6x内核中实现的。所有者将数据存储在2个集群服务器中。Hadoop的性能主要取决于配置良好的软件层和精心设计的硬件资源,可以有效利用其CPU,内存,硬盘驱动器和网络带宽。

4 安全分析

我们提出的系统满足以下要求:

搜索速度:由于我们使用HDFS和B-tree数据结构在索引中存储和搜索关键字,搜索速度大大提高。

保密性:由于文件被加密,索引中的关键字被映射,所以没有信息泄漏。

通信效率:仅为用户请求检索前n个文件。因此,通信开销降低。

计算效率:由于文件被分组到集群中,创建索引的时间和文件排序的时间也减少了。

5 结论

本文列举了检索top-n文件的问题和满足所需要求的有效解决方案。所提出的模型是使用Hadoop分布式文件系统实现和测试的。通过使用我们的系统,搜索速度和通信开销大大降低。

参考文献

[1]严文中.分层结构CDN的负载均衡[J]. Modern Business Trade Industry,2009.

[2]王娟,赵问道.CDN内容路丨ll的负载均衡及网络分刘算法的研究[J].江南大学学报(自然科亇版),2008.

[3]张淼.CDN系统中基于层次策略的负载均衡算法的研究与性能仿真[D].沈阳:东北大学,2010.

[4]赵问道.基于网络拓扑的CDN内容路由技术研究.浙江大学学报,2004,Vol.38:414-419.

[5]严文中.CDN负载均衡和内容路由研究.杭州:浙江大学(硕士学位论文),2005.

作者单位

国防科学技术大学计算机学院 湖南省长沙市 410000

推荐访问:分布式 文件系统 检索 文件 Hadoop

本文标题:使用Hadoop分布式文件系统检索云存储中的文件
链接地址:http://www.ylwt22.com/dangtuangongzuo/2023/0530/258717.html

版权声明:
1.十号范文网的资料来自互联网以及用户的投稿,用于非商业性学习目的免费阅览。
2.《使用Hadoop分布式文件系统检索云存储中的文件》一文的著作权归原作者所有,仅供学习参考,转载或引用时请保留版权信息。
3.如果本网所转载内容不慎侵犯了您的权益,请联系我们,我们将会及时删除。

十号范文网 |
Copyright © 2018-2024 十号范文网 Inc. All Rights Reserved.十号范文网 版权所有
本站部分资源和信息来源于互联网,如有侵犯您的权益,请尽快联系我们进行处理,谢谢!备案号:粤ICP备18086540号