搜索结果: 1-10 共查到“计算机科学技术 Hadoop”相关记录10条 . 查询时间(0.093 秒)
一种Hadoop Yarn的资源调度方法研究
资源调度 蚁群算法 粒子群算法 Hadoop Yarn
2016/12/29
针对Hadoop Yarn资源调度问题,为提高集群作业执行效率,提出一种基于蚁群算法与粒子群算法的自适应Hadoop资源调度算法SRSAPH.SRSAPH中,通过Hadoop Yarn跳通信机制获取负载、内存、CPU速度等属性信息初始化信息素矩阵;同时,将粒子群算法的自我认知能力与社会认知能力引入到蚁群算法,提高算法的收敛速度;此外,根据蚁群算法全局最优解的波动趋势动态调整信息素挥发系数,提高解的...
基于Hadoop的云计算与存储平台研究与实现
Hadoop 云计算 云存储 虚拟化技术
2015/10/27
传统数据计算与存储成本高，并行程序编写困难，针对该问题，在综述Hadoop核心技术的基础上，利用Hadoop分布式处理技术和虚拟化技术设计、搭建了云数据计算与存储集群平台，实验证明，此平台与传统单机计算方式以及物理机集群计算方式相比具有较高性能，同时资源利用率也得到了提高。
基于Hadoop的海量医学图像检索系统
医学图像 检索算法 Brushlet变换 局部二值模式 分布式系统
2014/2/18
为了提高海量医学图像检索效率，针对单节点医学图像检索系统的缺陷，提出一种基于Hadoop的海量医学图像检索系统。首先采用Brushlet变换和局部二值模式算法提取医学示例图像特征，并将图像特征库存储于Hadoop分布式文件系统(HDFS)；然后采用Map将示例图像特征与特征库的特征进行匹配，采用Reduce接收各Map任务的计算结果，并按相似度大小进行排序；最后根据排序结果找到医学图像的最优检索结...
目前的矩阵乘法算法无法处理大规模和超大规模的矩阵,而随着MapReduce编程框架的提出，并行处理矩阵乘法成为解决大矩阵运算的主要手段。总结了矩阵乘法在MapReduce编程模型上的并行实现方法，并提出了实现高性能大矩阵乘法的策略——折中单个工作节点的计算量和需要网络传输的数据量。实验证明，并行实现算法在大矩阵上明显优于传统的单机算法，而且随着集群中节点数目的增多，并行算法会表现出更好的性能。
通过对Nutch MapReduce job配置参数调优而优化Nutch爬行性能。以Hadoop视角梳理Nutch爬行过程,并基于此详细分析Nutch MapReduce job的工作流特性;对Nutch爬行时MapReduce job进行持续监测,生成优化参数并代入下一轮相同类型的job运行中,从而达到优化目的;通过选取合适的间隔监测值平衡集群环境误差和监测负载以改进优化效果。经过实验测试,Nu...
针对Sqoop在导入大表时表现出的不稳定和效率较低两个主要问题,设计并实现了一种新的基于MapReduce的大表导入编程模型。该模型对于大表的切分算法是:将大表总的记录数对mapper数求步长,获得对应每个split的SQL查询语句的起始行和区间长度(等于步长),从而保证每个mapper的导入工作量完全相同。该模型的map方式是:进入map函数的键值对中的键是一个split所对应的SQL语句,将查...
Hadoop广泛应用于大数据的并行处理，其现有的任务分配策略多面向同构环境，或者没有充分利用集群的全局信息，或者在异构环境下无法兼顾执行效率与算法复杂度。针对这些问题，提出异构环境下的任务分配算法λ-Flow算法，将原先一次完成的任务分配过程划分成多轮，每轮基于当前集群状态，以及上轮任务的执行情况，动态进行任务分配，直至全部任务分配结束，以期达到最优执行效率。通过与其他算法对比实验表明，λ-Flo...
针对Delay算法的不合理等待问题, 提出一种基于资源预测的Delay调度算法（RFD）, 该算法基于对资源可用性的预测方法合理地调度作业. 实验结果表明, 在Hadoop机群一般应用场景下, 该调度算法与已有算法相比, 在保证作业本地化计算Map任务比例相近的同时, 将作业平均运行效率提高28.8%, 明显提高了Mapreduce作业的执行效率.
由中科院计算所主办的“Hadoop 中国2010云计算大会 - Hadoop in China 2010”于9月4日在京落下帷幕。
2010年Hadoop大会的口号是“交流”、“理解”和“实践”，意即发扬开源精神深度交流Hadoop技术，理解互联网应用对云计算技术的实际需求，促进以Hadoop为代表的云计算技术应用实践。继去年成功举办以来，Hadoop in China已逐渐成为集技术研讨、交流...