CDH环境，23台DN，做过两次升级，第一次为CDH4.5－〉4.6,第二次CDH4.6->5.0.2 升级后最近空间持续告警，于是进行数据清理，在清理过程中发现一个现像：用hdfs dfs -du -h / 查看，发现根路径下所有文件相加不超过100T，复本数为3，则共占用空间应该为300T但是CDH WEBUI展示的结果是DFS使用45...(more)

我将mr程序打包成jar包上传到工作workflow目录下运行job时报如下错误？2015-03-04 16:19:38,518 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Created MRAppMaster for application appattempt_1424920434915_0943_0000012015-03-04 16:19:38,791 WARN [...(more)

大数据时代，开源技术Hadoop成为企业部署应用的首选平台。Hadoop将也成为云部署的杀手级应用，未来随着企业对Hadoop的应用拓展会有长足发展。网络、存储和整合服务的迅猛发展使得Hadoop也成为了企业和应用扩展至更大规模的首先平台。为何Hadoop将成为大数据分析的首选平台？从...(more)

引言：现在越来越多的公共突发事件当中，尤其是像人为的突发事件，比如说最近像上海的踩踏事件，互联网也好，大数据也好，能不能发挥一些正能量的作用？防止这种悲剧的再度重演呢？本期IT名人堂的访谈嘉宾是星环科技的联合创始人孙元浩先生，我们在2015中国Hadoop技术峰会上对他进行了独家...(more)

2014年，大数据进入快速发展的第一阶段。需求方面，企业对于大数据的需求持续增强，各类大数据应用逐渐落地，并成为产业链的核心，企业着力培育自身的数据资产。供给方面，新兴技术推动大数据技术环境趋向成熟，行业大数据应用渐渐丰富，大数据生态系统多元化程度加强。结合Enfodesk易观...(more)

Intuit公司的数据工程副总裁Bill Loconzolo,双脚踏进了数据湖。.Smarter Remarketer的首席数据科学家Dean Abbott直接奔向了云计算。大数据和分析的领先优势，其中包括用来存储原生格式的大量数据的数据湖泊，当然，云计算技术也在快速前进。虽然技术选项还远远没有成熟，但是等...(more)

今天，企业对数据价值的认同已经成为共识，然而如何从海量的数据信息中挖掘其中的价值却并不那么容易，幸运的是，找到了hadoop数据挖掘与分析工具。　　Hadoop是一个开源的分布式系统基础架构，由Apache基金会开发，使得用户可以在不了解分布式底层细节的情况下，开发分布式应用程序，充...(more)

一说大数据，人们往往想到Hadoop。这固然不错，但随着大数据技术的深入应用，多种类型的数据应用不断被要求提出，一些Hadoop被关注的范畴开始被人们注意，相关技术也迅速获得专业技术范畴的应用。最近半年来的Spark之热就是典型例子。　　Spark是一个基于RAM计算的开源码ComputerC...(more)

大多数企业 大数据应用案例还处于实验和测试阶段，对于少数首次在生产环境部署 Hadoop 系统的用户来说，最常遇到的就是扩展问题，此类问题往往导致中途烂尾，令 大数据项目无法持之以恒。部署和扩展 Hadoop 系统是一件高度复杂的事情，如果用户能提前考虑到 Hadoop 扩展时会遇到的...(more)

美国联合市场研究(Allied Market Research)机构近日预测，到2020年，Hadoop的市场价值会超过500亿。Hadoop技术发展至今，走过了近九个年头，乘着大数据的东 风，它以低廉的存储和快速的处理能力迅速在中小企业蔓延开来。而据联合市场研究预测，五年后，Hadoop会得到更广泛的部署，不止局...(more)