极分享：高质分享+专业互助=没有难做的软件+没有不得已的加班
Big Data非常复杂，涉及到的技术繁多。我们常"耳闻"的技术，如果MapReduce, Hadoop等处于哪一层次，下图会给你一个整体印象。图片：databricks.jpg
下面是常见的技术简介：
HBase：是一个分布式的、面向列的开源数据库。其设计理念源自谷歌的 BigTable，用 Java 语言编写而成。
MongoDB：是目前非常流行的一种非关系型(NoSQL)数据库
YARN：这是新一代的 MapReduce 计算框架，简称 MRv2，它是在第一代 MapReduce 的基础上演变而来的
Spark：是一个基于内存计算的开源的集群计算系统，其目的在于，让数据分析更加快速。Spark 是由加州大学伯克利分校的 AMP 实验室采用 Scala 语言开发而成。Spark 的内存计算框架，适合各种迭代算法和交互式数据分析，能够提升大数据处理的实时性和准确性，现已逐渐获得很多企业的支持，如阿里巴巴、百度、网易、英特尔等公司均是其用户。
原文：https://www.linkedin.com/pulse/100-open-source-big-data-architecture-papers-anil-madan
Read full article from 极分享：高质分享+专业互助=没有难做的软件+没有不得已的加班
No comments:
Post a Comment