技术优势

TECHNICAL

Calin数据采集

零拷贝内存

应用层和驱动之间进行的数据交换全部采用零拷贝技术
让采集应用曾访问网卡内核空间的内存,如网卡访问自己地址空间一样
没有系统调用的上下文切换时间,没有加锁开销

高速网络处理

采用自主创新的高性能处理架构,海量网络数据包被抓取,优先调度和处理,不丢包、不累计

多核数据归并

每个链接的数据包按照分发规则分发到不同CPU上进行处理
同一个连接、同一个用户的数据包只会分发到同一个CPU
对用户和连接资源的处理都是无锁的高性能内存访问方式

业务内存保障

把操作系统的内存分为了两部分,一部分由操作系统进行管理,另外一部分则构成关键业务内存池
在操作系统层面进行隔离,保证业务程序有充分内存进行业务处理,保障数据包畅通

业务深度识别

能利用DPI和DFI技术,对数据包解析,识别用户面数据中包含的业务类型,并提取相关元数据字段
设备能够支持采用定期或是补丁去方式更新业务识别能力,持续跟踪各种应用的发展和演进

Mintaka的大数据平台

   高可扩展性:

Mintaka大数据平台所采用的Hadoop是一个高度可扩展的存储平台,Hadoop可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。不同于传统的关系型数据库系统不能扩展到处理大量的数据, Hadoop是能给企业提供涉及成百上千TB的数据节点上运行的应用程序。

   成本效益:

Hadoop还为企业用户提供了极具成本效益的存储解决方案。传统的关系型数据库管理系统的问题是,它并不符合海量数据的处理器,不能够符合企业的成本效益,而且有些商业数据库使用费用非常昂贵。许多公司不得不假设那些数据最优价值,然后根据这些有价值的数据设定分类,如果保存所有的数据,那么成本就会过高。虽然这种方法可以短期内实现工作,但是随着数据量的增大,这种方式并不能很好的解决问题。Hadoop的架构则不同,其版权使用是免费的,其被设计为一个向外扩展的架构,可以以一般的x86服务器集群就提供数百TB的存储和计算能力,经济地存储所有公司的数据供以后使用,节省的费用是非常惊人的。

   最大化数据的价值:

Hadoop可以容纳移动运营商中的不同类型的数据,从这些数据中产生价值,这意味着移动运营商可以利用Hadoop的灵活性从用户行为、用户位置、用户标签等数据中获得宝贵的商业价值,并拓展原来的通信业务到各种大数据运营业务,与政府及商业机构开展各种业务合作。

   海量数据的统计分析:

海量数据的统计分析:Hadoop的架构可以以一般的x86服务器集群就提供数百TB的存储和计算能力,其被广泛应用于各大互联网公司,包括百度、阿里巴巴及淘宝。

   实时:

集成Spark Streaming流计算技术,满足10分钟实时指标统计;集成HBase满足历史数据及详单查询响应2秒以内。

   稳定:

集群在同时垮掉2个节点情况下不影响生产。

   横向扩展:

集群支持在线、横向扩展。

   资源的灵活调度、可隔离及均衡利用:

利用YARN进行资源的灵活调度及计算资源的均衡应用,可支持不同资源池、以实现处理模块及非实时处理模块的计算资源隔离,以保证实时处理模块的时效性,避免非实时处理模块对实时处理模块的影响。

   智能规则引擎:

能规则引擎支持对于用户标签智能统计及分析,智能规则引擎使用Spark MLLib技术,其支持四种常见的机器学习问题:二元分类、回归聚类以及协同过滤、同时也包括一个底层的梯度下降优化基础算法来智能地计算用户标签,以尽可能地精确地为各种业务定位目标用户。

TOP