晶奇Hadoop®大数据平台

晶奇Hadoop大数据平台（JingQi Hadoop® platform）基于开源的Apache Hadoop研发而成，新增加了两个软件库，以进一步提高可靠性、扩展性和分布计算。

晶奇Hadoop大数据平台新增的两个软件产品为：（1）面向石油勘探和开发的数据挖掘；（2）面向协同进化的数据流分析。这两个软件产品都支持使用简单的编程模型，实现跨计算机集群的大数据集分布式处理。设计支持从单台服务器扩展到机器，每台机器都能提供本地计算和存储。这两个软件产品自身都设计支持自动检测和处理应用层错误，而不仅依赖于硬件来实现高可用性，即使单点出现故障，也能保障在集群层面上提供高可用性服务。

这两个产品支持以下模块：

·  Hadoop Common: 支持其他Hadoop 模块的共用程序集。

·  Hadoop Distributed File System (HDFS™): 提供高通量访问应用数据的分布式文件系统。

·  Hadoop YARN: 提供任务调度和集群资源管理的框架。

·  Hadoop MapReduce: 基于YARN 的大数据并行计算系统。 

2.新闻

2015年11月18日：晶奇Hadoop数据挖掘产品5.0发布！

晶奇面向石油勘探和开发的Hadoop数据挖掘产品包含了一些重大改进和提升：

·  Hadoop Common

o 密钥管理服务 (beta)

o 凭证提供服务 (beta)

·   Hadoop HDFS

o 异构存储层 – 阶段 2

        ·   异构存储应用接口

        ·   SSD存储层

        ·   内存存储层(beta)

o 支持归档存储

o 静态数据透明加密 (beta)

o 不需要Root权限即可操作安全数据节点。

o 热插拔驱动器: 支持增加/移除数据节点容量而无须重启数据节点 (beta)

o AES支持更快的线上加密

·   Hadoop YARN

o YARN支持长期运行服务

       ·   应用的服务注册

o 支持滚动升级

      ·   ResourceManager重启后工作保留

      ·   NodeManager重启后容器保留

o 调度过程中支持节点标签

o Capacity Scheduler 支持基于时间的资源预留(beta)

o 应用全局、共享缓存 (beta)

o 支持在Docker 内本地运行应用(alpha)

2014年5月： 大数据分析产品成功整合Avro and HBase

基于Hadoop的Avro和HBase的面向协同进化数据流的异常检测大数据平台研发成功完成。该项目已成为晶奇Hadoop项目中的佼佼者。

视频链接地址： http://v.youku.com/v_show/id_XMTg1MjgwNzA3Mg==.html

2013年8月：新的晶奇Hadoop子项目-面向协同进化数据流的异常检测开发完成

晶奇Hadoop平台越来越大！

·  面向协同进化数据流的异常检测基于Hadoop Common开发而成。

·  MapReduce和HDFS已成功整合到项目中。

·  Avro和Chukwa已成功整合到项目中。

·  该项目已在澳大利亚皇家布里斯班妇科医院成功应用。

2008年7月：晶奇面向石油勘探和开发的数据挖掘Hadoop平台赢得Terabyte Sort Benchmark

·  晶奇Hadoop平台赢得Terabytes Award：晶奇面向石油勘探和开发的数据挖掘Hadoop平台在300秒内完成1TB的地震数据排序！

·  该项目已在澳大利亚必和必拓集团成功应用。