2014年12月18日,实验室成员方炜和贺淋亮参加了杭州市云计算协会举办的Spark培训。
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的计算框架,Spark拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
Spark是现在大数据时代最前沿的技术,本次Spark培训邀请到了Spark亚太研究院首席专家王家林老师做演讲,王老师就Spark的工作机制和实现原理进行了深入浅出的介绍,吸引了众多学术界和工业界的人士参加。