上海代写论文网专业提供代写毕业论文、代写本科论文服务
联系方式
您现在的位置:首页 > 计算机论文 > 软件工程论文 > 软件工程硕士论文(优选范文6篇)
软件工程硕士论文(优选范文6篇)
发布时间:2019-03-12



软件工程硕士论文范文第一篇:探讨Docker技术的Hadoop性能优化方法


  本篇文章目录导航:

  【题目】探讨Docker技术的Hadoop性能优化方法??
  【第一章】Docker技术的Hadoop性能优化研究绪论
  【第二章】Docker技术的相关知识背景介绍
  【3.1-3.2】系统环境搭建和内存配置分析
  【3.3-3.5】基于Docker容器的Hadoop架构平台搭建
  【第五章】YARN性能优化研究
  【第六章】异构系统下数据安全问题
  【第七章】Docker技术中Hadoop性能的优化结论与参考文献

摘要

  随着二十一世纪计算机信息技术的飞速发展,所产生的数据量呈指数趋势上升。Hadoop作为一个开源高效的云计算处理架构平台,其快速处理数据的能力成为了当今关注的焦点。

  Hadoop在数据处理性能方面仍有很大的提升空间,因此从不同角度对Hadoop性能瓶颈和安全进行分析,提出相应的优化方案来提升其性能,在大数据时代具有重大意义。

  本文在Docker容器、Hadoop集群等方向,分析了传统服务器上部署hadoop集群的局限性,比较了传统虚拟化技术与Docker技术在处理数据性能方面的优缺点。针对这些优缺点,提出了基于Docker技术的Hadoop性能优化的方法。该方法通过利用Docker容器技术,并在充分整合现有硬件资源的基础上,搭建一个Hadoop集群以优化Hadoop的性能。该方法通过分析内存配置参数,对Hadoop的性能进行调优,同时通过YARN集群管理设置最佳并发级别来获得最佳的性能。同时,本文对异构环境下的Hadoop数据安全方面作出了研究,提出新的数据分配方案,该数据分配方案通过使用秘密共享技术,来提高Hadoop异构系统中数据存储的安全性。

  针对上述问题,本文搭建了基于Docker容器的Hadoop测试平台。比较了改进后方案与未改进方案的任务执行时间,CPU占用率作为评估优化方案对系统的指标。测试结果表明,本文的优化方案与默认的Hadoop配置参数相比,CPU占用率由96.7%降至53%,并且在异构环境下提高了Hadoop的数据安全性。

  关键词:Hadoop;Map Reduce;Docker;内存配置;性能优化

软件工程

Abstract

  With the rapid development of computer information technology in the 21st century, the amountof data produced has been increasing exponentially. As an open source and efficient  architectureplatform for cloud computing, Hadoop's ability to process data quickly becomes the focus of attention.

  Hadoop  still  has  a  lot  of  room  for  improvement  in  data  processing  performance.  Therefore,  theHadoop performance bottleneck and security are analyzed from different angles, and correspondingoptimization schemes are proposed to improve its performance, which is of great significance in theera of big data.

  This paper analyzes the limitations of deploying hadoop clusters on traditional servers in Dockercontainers  and  Hadoop  clusters,  and  compares  the  advantages  and  disadvantages  of  traditionalvirtualization  technology  and  Docker  technology  in  processing  data  performance.  For  theseadvantages and disadvantages, it puts forward the Hadoop performance optimization method basedon  the  Docker  technology.  This  method  builds  a  Hadoop  cluster  to  optimize  Hadoop  platformperformance  by  using  Docker  container  technology  and  fully  integrating  the  existing  hardwareresources.

  This  approach  optimizes  Hadoop  performance  by  analyzing  memory  configurationparameters and maximizes performance by setting the optimal level of concurrency through YARNcluster management. At the same time, this paper studies the security aspects of Hadoop data inheterogeneous environments and proposes a new data distribution scheme.This scheme improves thesecurity of data storage in Hadoop heterogeneous systems by using the secret sharing technology.

  According to the above problem, this paper has set up a Hadoop test platform based on Dockercontainer. It compares the task execution time of the improved and unimproved solutions , the CPUusage is used as an indicator to evaluate the optimization scheme to the system. The test results showthat compared with the default Hadoop configuration parameters, the CPU usage of this article isreduced  from  96.7%  to  53%,  and  the  data  security  of  Hadoop  is  improved  in  heterogeneousenvironments.

  Keywords: Hadoop; Map Reduce; Docker; memory configuration; performance optimization

 

  目录

  第一章 绪论
  1.1 选题的研究背景及意义
  1.2 论文的主要内容
  1.3 论文的组织结构
  1.4 本章小结

  第二章相关知识背景介绍
  2.1 Hadoop 集群技术介绍
  2.1.1 Hadoop 平台简介
  2.1.2 HDFS
  2.1.3 MapReduce 模型
  2.1.4 YARN

  2.2 Docker容器技术
  2.2.1 Docker容器技术简介
  2.2.2 Docker的组成
  2.2.3 Docker容器与服务器虚拟化的区别
  2.2.4 Docker 的读写性
  2.3 秘密共享技术

  第三章系统环境搭建和内存配置分析
  3.1 系统环境搭建
  3.1.1 硬件环境
  3.1.2 软件环境

  3.2 系统方案的实现
  3.2.1 Docker容器集群的搭建
  3.2.2 Hadoop 平台的搭建过程
  3.2.3 Docker 集群部署方案

  3.3 基于 Docker容器的Hadoop架构平台搭建
  3.3.1 Docker 中搭建 Hadoop 平台
  3.3.2 内存优化的原因
  3.3.3 Hadoop 的默认内存配置参数

  3.4 实验测试与结果分析
  3.4.1 实验方案
  3.4.2 yarn.nodemanager.resource.memory-mb 对 Word Count 的影响
  3.4.3 yarn.nodemanager.resource.memory-mb 对 Tera Sort 的影响
  3.4.4 实验结果
  3.5 本章小结

  第四章YARN 性能优化
  4.1 YARN 的优化
  4.1.1 YARN问题由来
  4.1.2 Mapreduce 并行化工作

  4.2 实验环境
  4.3 容器大小和配置资源划分
  4.3.1 任务并发和工作完成时间
  4.3.2 实验结论
  4.4 本章小结

  第五章 异构系统下数据安全
  5.1 背景和相关介绍
  5.1.1 Hadoop 默认数据放置策略
  5.1.2 异构漏洞
  5.1.3 具有异构漏洞的分布式存储系统中的安全碎片分配

  5.2 异构系统下数据安全存在的问题
  5.3 优化方案
  5.3.1 系统环境
  5.3.2 解决方案设计
  5.3.3 保证模型
  5.3.4 系统保证模型评估
  5.3.5 解决方案性能分析
  5.4 本章小结

  第六章 总结与展望
  6.1 论文工作总结
  6.2 论文不足与展望
  参考文献

 
软件工程硕士论文(精选6篇)
第一篇:Docker技术的Hadoop性能优化方法探讨 第二篇:深度学习的目标检测与搜索算法研究
第三篇:云存储系统的云数据放置优化方法探究 第四篇:数字化审计系统的搭建与运用探讨
第五篇:微博用户转发预测的的特证探究 第六篇:云存储容器的动态迁移技术探究

版权所有:上海论文网专业权威的论文代写、论文发表的网站,秉承信誉至上、用户为首的服务理念,服务好每一位客户
本站部分论文收集于网络,如有不慎侵犯您的权益,请您及时致电或写信告知,我们将第一时间处理,邮箱:shlunwen@163.com