搜索结果: 1-4 共查到“计算机科学技术 MapReduce”相关记录4条 . 查询时间(0.042 秒)
MapReduce框架下的优化高维索引与KNN查询
云计算 MapReduce KNN查询 高维索引
2016/12/27
针对大规模高维数据近似查询效率低下的问题，利用MapReduce编程模型在大规模集群上的数据与任务的并行计算与处理优势，提出MapReduce框架下大规模高维数据索引及KNN查询方法（iPBM），重点突破MapReduce数据块（block）的优化划分与各数据块对计算的共同贡献两大难题，利用两阶段数据划分策略并依据相关性与并行性原则将数据均匀分配到各数据块中，设计分布式的双层空间索引结构与并行KN...
针对Sqoop在导入大表时表现出的不稳定和效率较低两个主要问题,设计并实现了一种新的基于MapReduce的大表导入编程模型。该模型对于大表的切分算法是:将大表总的记录数对mapper数求步长,获得对应每个split的SQL查询语句的起始行和区间长度(等于步长),从而保证每个mapper的导入工作量完全相同。该模型的map方式是:进入map函数的键值对中的键是一个split所对应的SQL语句,将查...
基于MapReduce模型的分布式天文交叉证认
天文交叉证认 MapReduce 并行计算 分布式计算
2010/9/6
交叉证认是实现多波段数据融合的关键技术，目前还缺乏对其分布式算法的研究。快速增长的数据规模使该问题必须要依赖分布式并行计算技术解决。提出了一种基于MapReduce分布式模型的新方法，根据Map-Reduce的要点，尽量减少了任务间的通信量，并通过合理设置划分粒度保证了效率与存储间的平衡。实验结果表明，该方法对海量数据交叉证认的效率提升明显，在大规模集群上达到了接近线性的加速比。该方法为交叉证认提...