数据处理模型算力

『壹』 人工智能需要什么基础

人工智能（AI）基础：

1、核心三要素——算力、算法、数据（三大基石）：

算法、算力、数据作为人工智能（AI）核心三要素，相互影响，相互支撑，在不同行业中形成了不一样的产业形态。随着算法的创新、算力的增强、数据资源的累积，传统基础设施将借此东风实现智能化升级，并有望推动经济发展全要素的智能化革新。让人类社会从信息化进入智能化。

2、技术基础：

（1）文艺复兴后的人工神经网络。

人工神经网络是一种仿造神经元运作的函数演算，能接受外界资讯输入的刺激，且根据不同刺激影响的权重转换成输出的反应，或用以改变内部函数的权重结构，以适应不同环境的数学模型。

（2）靠巨量数据运作的机器学习。

科学家发现，要让机器有智慧，并不一定要真正赋予它思辩能力，可以大量阅读、储存资料并具有分辨的能力，就足以帮助人类工作。

（3）人工智慧的重要应用：自然语言处理。

自然语言处理的研究，是要让机器“理解”人类的语言，是人工智慧领域里的其中一项重要分支。

自然语言处理可先简单理解分为进、出计算机等两种：

其一是从人类到电脑──让电脑把人类的语言转换成程式可以处理的型式；

其二是从电脑回馈到人──把电脑所演算的成果转换成人类可以理解的语言表达出来。

『贰』 算力可贵，效率价高：智算中心凭啥是筑基新基建的最优解

在“新基建”浪潮下，人工智能正成为经济增长的新引擎，各行各业开启智能化升级转型。算力在其中扮演了重要角色，是国家未来竞争力的集中体现。但事实是，在发展的过程中，高速增长的海量数据与更加复杂的模型，正在为算力带来更大的挑战，主要体现为算力不足，效率不高。

算力诚可贵：数据、算法需要更多算力支撑

众所周知，在人工智能发展的三要素中，无论是数据还是算法，都离不开算力的支撑，算力已成为人工智能发展的关键要素。

IDC发布的《数据时代2025》报告显示，2018年全球产生的数据量为33ZB (1ZB=1万亿GB)，到2025年将增长到175ZB，其中，中国将在2025年以48.6ZB的数据量及27.8%的占比成为全球最大的数据汇集地。

另据赛迪顾问数据显示，到2030年数据原生产业规模量占整体经济总量的15%，中国数据总量将超过4YB，占全球数据量30%。数据资源已成为关键生产要素，更多的产业通过利用物联网、工业互联网、电商等结构或非结构化数据资源来提取有价值信息，而海量数据的处理与分析对于算力的需求将十分庞大。

算法上，先进模型的参数量和复杂程度正呈现指数级的增长趋势。此前 Open AI 发表的一项研究就显示，每三到四个月，训练这些大型模型所需的计算资源就会翻一番（相比之下，摩尔定律有 18 个月的倍增周期）。2012 至 2018 年间，深度学习前沿研究所需的计算资源更是增加了 30 万倍。

到2020年，深度学习模型对算力的需求达到了每天百亿亿次的计算需求。2020年2月，微软发布了最新的智能感知计算模型Turing-NLG，参数量高达到175亿，使用125POPS AI计算力完成单次训练就需要一天以上。随后，OpenAI又提出了GPT-3模型，参数量更达到1750亿，对算力的消耗达到3640 PetaFLOPS/s-day。而距离GPT-3问世不到一年，更大更复杂的语言模型，即超过一万亿参数的语言模型SwitchTransformer即已问世。

由此可见，高速增长的海量数据与更加复杂的模型，正在给算力带来更大的挑战。如果算力不能快速增长，我们将不得不面临一个糟糕的局面：当规模庞大的数据用于人工智能的训练学习时，数据量将超出内存和处理器的承载上限，整个深度学习训练过程将变得无比漫长，甚至完全无法实现最基本的人工智能。

效率价更高：环境与实际成本高企，提升效率迫在眉睫

在计算工业行业，有个假设是“数字处理会变得越来越便宜”。但斯坦福人工智能研究所副所长克里斯托弗•曼宁表示，对于现有的AI应用来说却不是这样，特别是因为不断增加的研究复杂性和竞争性，使得最前沿模型的训练成本还在不断上升。

根据马萨诸塞大学阿默斯特校区研究人员公布的研究论文显示，以常见的几种大型 AI 模型的训练周期为例，发现该过程可排放超过 626000 磅二氧化碳，几乎是普通 汽车 寿命周期排放量的五倍（其中包括 汽车 本身的制造过程）。

例如自然语言处理中，研究人员研究了该领域中性能取得最大进步的四种模型：Transformer、ELMo、BERT和 GPT-2。研究人员在单个 GPU 上训练了至少一天，以测量其功耗。然后，使用模型原始论文中列出的几项指标来计算整个过程消耗的总能量。

结果显示，训练的计算环境成本与模型大小成正比，然后在使用附加的调整步骤以提高模型的最终精度时呈爆炸式增长，尤其是调整神经网络体系结构以尽可能完成详尽的试验，并优化模型的过程，相关成本非常高，几乎没有性能收益。BERT 模型的碳足迹约为1400 磅二氧化碳，这与一个人来回坐飞机穿越美洲的排放量相当。

此外，研究人员指出，这些数字仅仅是基础，因为培训单一模型所需要的工作还是比较少的，大部分研究人员实践中会从头开发新模型或者为现有模型更改数据集，这都需要更多时间培训和调整，换言之，这会产生更高的能耗。根据测算，构建和测试最终具有价值的模型至少需要在六个月的时间内训练 4789 个模型，换算成碳排放量，超过 78000 磅。而随着 AI 算力的提升，这一问题会更加严重。

另据 Synced 最近的一份报告，华盛顿大学的 Grover 专门用于生成和检测虚假新闻，训练较大的Grover Mega模型的总费用为2.5万美元；OpenAI 花费了1200万美元来训练它的 GPT-3语言模型；谷歌花费了大约6912美元来训练 BERT，而Facebook针对当前最大的模型进行一轮训练光是电费可能就耗费数百万美元。

对此，Facebook人工智能副总裁杰罗姆•佩森蒂在接受《连线》杂志采访时认为，AI科研成本的持续上涨，或导致我们在该领域的研究碰壁，现在已经到了一个需要从成本效益等方面考虑的地步，我们需要清楚如何从现有的计算力中获得最大的收益。

在我们看来，AI计算系统正在面临计算平台优化设计、复杂异构环境下计算效率、计算框架的高度并行与扩展、AI应用计算性能等挑战。算力的发展对整个计算需求所造成的挑战会变得更大，提高整个AI计算系统的效率迫在眉睫。

最优解：智算中心大势所趋，应从国家公共设施属性做起

正是基于上述算力需求不断增加及所面临的效率提升的需要，作为建设承载巨大AI计算需求的算力中心（数据中心）成为重中之重。

据市场调研机构Synergy Research Group的数据显示，截至到2020年第二季度末，全球超大规模数据中心的数量增长至541个，相比2015年同期增长一倍有余。另外，还有176个数据中心处于计划或建设阶段，但作为传统的数据中心，随之而来的就是能耗和成本的大幅增加。

这里我们仅以国内的数据中心建设为例，现在的数据中心已经有了惊人的耗电量。据《中国数据中心能耗现状白皮书》显示，在中国有 40 万个数据中心，每个数据中心平均耗电 25 万度，总体超过 1000 亿度，这相当于三峡和葛洲坝水电站 1 年发电量的总和。如果折算成碳排放则大概是 9600 万吨，这个数字接近目前中国民航年碳排放量的 3 倍。

但根据国家的标准，到2022年，数据中心平均能耗基本达到国际先进水平，新建大型、超大型数据中心的 PUE（电能使用效率值，越低代表越节能）达到 1.4 以下。而且北上广深等发达地区对于能耗指标控制还非常严格，这与一二线城市集中的数据中心需求形成矛盾，除了降低 PUE，同等计算能力提升服务器，尤其是数据中心的的计算效率应是正解。

但众所周知的事实是，面对前述庞大的AI计算需求和提升效率的挑战，传统数据中心已经越来越难以承载这样的需求，为此，AI服务器和智算中心应运而生。

与传统的服务器采用单一的CPU不同，AI服务器通常搭载GPU、FPGA、ASIC等加速芯片，利用CPU与加速芯片的组合可以满足高吞吐量互联的需求，为自然语言处理、计算机视觉、语音交互等人工智能应用场景提供强大的算力支持，已经成为人工智能发展的重要支撑力量。

值得一提的是，目前在AI服务器领域，我们已经处于领先的地位。

近日，IDC发布了2020HI《全球人工智能市场半年度追踪报告》，对2020年上半年全球人工智能服务器市场进行数据洞察显示，目前全球半年度人工智能服务器市场规模达55.9亿美元（约326.6亿人民币），其中浪潮以16.4%的市占率位居全球第一，成为全球AI服务器头号玩家，华为、联想也杀入前5（分别排在第四和第五）。

这里业内也许会好奇，缘何中国会在AI服务器方面领跑全球？

以浪潮为例，自1993年，浪潮成功研制出中国首台小型机服务器以来，经过30年的积累，浪潮已经攻克了高速互联芯片，关键应用主机、核心数据库、云数据中心操作系统等一系列核心技术，在全球服务器高端俱乐部里占有了重要一席。在AI服务器领域，从全球最高密度AGX-2到最高性能的AGX-5，浪潮不断刷新业界最强的人工智能超级服务器的纪录，这是为了满足行业用户对人工智能计算的高性能要求而创造的。浪潮一直认为，行业客户希望获得人工智能的能力，但需要掌握了人工智能落地能力的和技术的公司进行赋能，浪潮就可以很好地扮演这一角色。加快人工智能落地速度，帮助企业用户打开了人工智能应用的大门。

由此看，长期的技术创新积淀、核心技术的掌握以及对于产业和技术的准确判断、研发是领跑的根本。

至于智算中心，去年发布的《智能计算中心规划建设指南》公布了智能计算中心技术架构，基于最新人工智能理论，采用领先的人工智能计算架构，通过算力的生产、聚合、调度和释放四大作业环节，支撑和引领数字经济、智能产业、智慧城市和智慧 社会 应用与生态 健康 发展。

通俗地讲，智慧时代的智算中心就像工业时代的电厂一样，电厂是对外生产电力、配置电力、输送电力、使用电力；同理智算中心是在承载AI算力的生产、聚合、调度和释放过程，让数据进去让智慧出来，这就是智能计算中心的理想目标。

需要说明的是，与传统数据中心不同，“智算中心”不仅把算力高密度地集中在一起，而且要解决调度和有效利用计算资源、数据、算法等问题，更像是从计算器进化到了大脑。此外，其所具有的开放标准，集约高效、普适普惠的特征，不仅能够涵盖融合更多的软硬件技术和产品，而且也极大降低了产业AI化的进入和应用门槛，直至普惠所有人。

其实我们只要仔细观察就会发现，智算中心包含的算力的生产、聚合、调度和释放，可谓集AI能力之大成，具备全栈AI能力。

这里我们不妨再次以浪潮为例，看看何谓全栈AI能力？

比如在算力生产层面，浪潮打造了业内最强最全的AI计算产品阵列。其中，浪潮自研的新一代人工智能服务器NF5488A5在2020年一举打破MLPerf AI推理&训练基准测试19项世界纪录（保证充足的算力，解决了算力提升的需求）；在算力调度层面，浪潮AIStation人工智能开发平台能够为AI模型开发训练与推理部署提供从底层资源到上层业务的全平台全流程管理支持，帮助企业提升资源使用率与开发效率90%以上，加快AI开发应用创新（解决了算力的效率问题）；在聚合算力方面，浪潮持续打造更高效率更低延迟硬件加速设备与优化软件栈；在算力释放上，浪潮AutoML Suite为人工智能客户与开发者提供快速高效开发AI模型的能力，开启AI全自动建模新方式，加速产业化应用。

那么接下来的是，智算中心该遵循怎样的发展路径才能充分发挥它的作用，物尽其用？

IDC调研发现，超过九成的企业正在使用或计划在三年内使用人工智能，其中74.5%的企业期望在未来可以采用具备公用设施意义的人工智能专用基础设施平台，以降低创新成本，提升算力资源的可获得性。

由此看，智能计算中心建设的公共属性原则在当下和未来就显得尤为重要，即智能计算中心并非是盈利性的基础设施，而是应该是类似于水利系统、水务系统、电力系统的公共性、公益性的基础设施，其将承载智能化的居民生活服务、政务服务智能化。因此，在智能计算中心规划和建设过程中，要做好布局，它不应该通过市场竞争手段来实现，而要体现政府在推进整个 社会 智能化进程的规划、节奏、布局。

总结： 当下，算力成为推动数字经济的根基和我国“新基建“的底座已经成为共识，而如何理性看待其发展中遇到的挑战，在不断高升算力的前提下，提升效率，并采取最佳的发展策略和形式，找到最优解，将成为政府相关部门以及相关企业的重中之重。

『叁』 首个AI Day，特斯拉惊喜有余实用不足

这个时代总会有一些英雄站在行业的前列，不管是革新还是引领，必须成为大多数人的偶像，以致他的一举一动总能被放大，成为标榜的对象，想必马斯克就是这样的英雄。无意拍马也无意迎合，但“为什么一定是马斯克和特斯拉”？

有人说，或许是马斯克的个人魅力在发光，但如果单单只是对屏幕上这位一头杂乱头发，一身棕色夹克，说话手舞足蹈的男人产生好感，那未免太过肤浅。特斯拉的魅力还在于它总能出其不意的给予行业一些活力。

所以马斯克带着特斯拉首个AI Day（人工智能日），再一次站在了聚光灯下。

将自动驾驶进行到底

北京时间8月20日，特斯拉首个AI Day有多少人在线看直播，没有准确的数据。但从网端流出的诸多稿件来看，堪比苹果每年在9月份召开的秋季新品发布会。

在长达3小时的发布会上，大家一直期待的马斯克只是充当了暖场嘉宾，抛砖引玉的让工程师做主角。本次AI Day可以总结为三件事情：一为老生常谈的自动驾驶；二为特斯拉D1芯片；三为人形机器人。

无疑，AI Day日的重点还是自动驾驶。

最近因为蔚来车祸事件，“自动驾驶”的行业排位又再一次靠前，让原本因为“自动驾驶”产生过众多起驾驶事故的特斯拉再一次站上风口浪尖。

8月17日，据外媒报道，美国国家公路交通安全管理局（NHTSA）对特斯拉的自动辅助驾驶系统Autopilot展开正式调查，调查车型涵盖了特斯拉全部在售车型。

根据NHTSA提供的资料中显示，从2018年1月-2021年7月期间，由于特斯拉Autopilot系统问题，已导致11起事故，致使17人受伤、1人死亡，且都为开启了Autopilot系统或使用了交通感知巡航控制（Traffic Aware Cruise Control）功能。总之令特斯拉应以为傲的“自动驾驶”一定背锅。

在AI Day日上，针对Autopilot系统特斯拉又给出了许多2.0的建议。意图很明显，“坚定不移的完善Autopilot系统是其使命”，而工程师们也依旧强调了“它们不会使用激光雷达”的讯息。

针对Autopilot系统，特斯拉加强了技术上的诸多算法细节，从神经网络的构建、单车道任务到多任务处理以及多摄像头图像数据的融合、算法模型的模拟、数据处理模型。这些高深莫测又晦涩难懂的专业用词简直就是天然的“催眠曲”，尽管线上直播视频中的工程师说话时神采奕奕，但不是铁粉的观众还是有要“换台”的冲动。

对于此次讲述的Autopilot系统，特斯拉所刻意强调的“它们不会使用激光雷达”，这一点BC还是颇有感触。

在早前《致蔚来、特斯拉们：我们愿意给予车企们试错的权利，但绝非用生命》一文中，BC简单就毫米波雷达和激光雷达的区别做过解析。

简单来说，“毫米波雷达在分辨率上一直存在硬伤，在目前绝大多数车企使用的L2辅助驾驶功能中，毫米波雷达至今都不能有效地识别前方静止车辆，但激光雷达就好很多。”这一点上，无论是特斯拉、蔚来还是小鹏、理想，面对毫米波雷达的本质属性，工程师们也都只有期盼着大家可以正确使用车机，但过分依赖所谓“自动驾驶”的用户们往往也败在这个诱惑上面。

但特斯拉还是坚持。

马斯克是这样解释的，“根据现掌握‘第一原理’——既然人类开车凭借眼观六路耳听八方就能完成，那么对于自动驾驶系统来说，一定也可以按照同样的方式去做到。而且一旦做到了，毫无疑问成本会比激光雷达更低。”有趣的是，马斯克使用毫米波雷达竟然第一因素是成本，这可是彻头彻尾的商人思维。

据该方案负责人Andrej说：“我们希望能够打造一个类似动物视觉皮层的神经网络连接，模拟大脑信息输入和输出的过程。就像光线进入到视网膜当中，我们希望通过摄像头来模拟这个过程 。”

不过由于“自动驾驶”经常失灵，特斯拉也不得不承认其“辅助”二字，虽然在马斯克心目中实现自动驾驶是终极目标，但显然，这个时间节点还未来到。截至目前，对特斯拉涉及Autopilot的事故还在调查，而马斯克选择沉默。

机器人时代，不是玩票

除了自动驾驶，特斯拉还分享了在自主研发的半导体方面的进展。显然在车、火箭、卡车之后，马斯克的野心勃勃令他还想继续深挖和 汽车 行业有关可能性的一切，比如芯片。

特斯拉自研芯片正式命名D1。官方话术如下，采用7nm的工艺，在同一个晶圆上不做任何切割直接光刻，BF16精度算力362 TFLOPs。”

至此Autopilot硬件高级主管甘纳什·温卡塔拉马南还表示，“特斯拉D1芯片每秒可处理362万亿次浮点运算，具有“GPU级”的计算能力，带宽是用于网络的芯片的两倍。”

这里的核心要点有二，采用7nm的工艺以及超级算力。听不懂没关系，必须这种复杂的半导体工艺技术就是凤毛麟角。

“1500个D1芯片共53万余训练节点，组成了Dojo超级计算机的训练模块。每个D1芯片之间无缝连接在，配合特斯拉自创的高带宽、低延迟的连接器，算力高达9PFLOPs（9千万亿次）。”

芯片技术工程师是这样告诉BC的，“牛，组成的Dojo超级计算机将是世界上首屈一指的人工智能训练计算机。”

有了这句陈述句，即便不懂算力、浮点运算是什么，多少也会对特斯拉产生某种敬佩感，再加上马斯克惯用的营销手段，出圈很简单，或许这才是特斯拉厉害的地方，了解市场和用户的兴趣点，“勾引”他们的目光。

不过最“勾引”目光的应属在发布会即将结束时，马斯克再次亮相介绍的“特斯拉机器人”（Tesla Bot）。

隔着屏幕都能感受到的热烈与欢呼，特斯拉用一个身高约1.78米，体重约57公斤，全身线条感强烈的机器人来践行“ 科技 之美”。

马斯克表示，该原型机器人将于2022年上市，会消除“危险、重复和无聊的任务”，比如说弯腰捡东西或去商店买东西。“实质上，体力劳动的未来将是一种选择。”不过听上去的确无聊，人类在现阶段还不需要机器人替代自己做这种简单地工作。

这个Tesla Bot到底是“智商税”还是马斯克某个大布局之下的产物？诸多问号，向马斯克涌来。

不过这个外感设计颇为后现代艺术的机器人还是花了不少思考，比如该机器人可以感知力量反馈的双轴脚部结构，它配备多个Autopilot级别的摄像头、FSD芯片，拥有众多的神经网络算法、Dojo芯片数据训练以及各种数据模拟模型能力，所以特斯拉车型或许还没用好的算力，可以先在机器人身上试水一番。毕竟马斯克说，“我们对它的设定是在机械和物理层面上，你可以逃离它，而且很可能制服它。”

创造且能制服，这和科幻电影中的机器人朋友如出一辙。不过介于马斯克经常喜欢“跑火车”的性格，将要在2022年上市的Tesla Bot，我们还是不要过于期待它的量产时间。

如果说特斯拉车型已经是新能源 汽车 行业当下的风向标，那么Tesla Bot可以看作是特斯拉想要完成 科技 使命的一个新征程，毕竟这家不想把自己框在“ 汽车 ”范畴内的 科技 公司，总是具备制造惊喜的能力。

诚如分析师吉恩·蒙斯特所说，“对投资者来说，特斯拉机器人是他们可以梦想的新事物，它特别新颖，特别具有创造力，所以可以讲述更多，而相对的芯片实在过于枯燥，乏味，即便它更有价值。”

『肆』 五种大数据处理架构

五种大数据处理架构
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。
本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息和见解的过程。
下文将介绍这些框架：
· 仅批处理框架：
Apache Hadoop
· 仅流处理框架：
Apache Storm
Apache Samza
· 混合框架：
Apache Spark
Apache Flink
大数据处理框架是什么？
处理框架和处理引擎负责对数据系统中的数据进行计算。虽然“引擎”和“框架”之间的区别没有什么权威的定义，但大部分时候可以将前者定义为实际负责处理数据操作的组件，后者则可定义为承担类似作用的一系列组件。
例如Apache Hadoop可以看作一种以MapRece作为默认处理引擎的处理框架。引擎和框架通常可以相互替换或同时使用。例如另一个框架Apache Spark可以纳入Hadoop并取代MapRece。组件之间的这种互操作性是大数据系统灵活性如此之高的原因之一。
虽然负责处理生命周期内这一阶段数据的系统通常都很复杂，但从广义层面来看它们的目标是非常一致的：通过对数据执行操作提高理解能力，揭示出数据蕴含的模式，并针对复杂互动获得见解。
为了简化这些组件的讨论，我们会通过不同处理框架的设计意图，按照所处理的数据状态对其进行分类。一些系统可以用批处理方式处理数据，一些系统可以用流方式处理连续不断流入系统的数据。此外还有一些系统可以同时处理这两类数据。
在深入介绍不同实现的指标和结论之前，首先需要对不同处理类型的概念进行一个简单的介绍。
批处理系统
批处理在大数据世界有着悠久的历史。批处理主要操作大容量静态数据集，并在计算过程完成后返回结果。
批处理模式中使用的数据集通常符合下列特征…
· 有界：批处理数据集代表数据的有限集合
· 持久：数据通常始终存储在某种类型的持久存储位置中
· 大量：批处理操作通常是处理极为海量数据集的唯一方法
批处理非常适合需要访问全套记录才能完成的计算工作。例如在计算总数和平均数时，必须将数据集作为一个整体加以处理，而不能将其视作多条记录的集合。这些操作要求在计算进行过程中数据维持自己的状态。
需要处理大量数据的任务通常最适合用批处理操作进行处理。无论直接从持久存储设备处理数据集，或首先将数据集载入内存，批处理系统在设计过程中就充分考虑了数据的量，可提供充足的处理资源。由于批处理在应对大量持久数据方面的表现极为出色，因此经常被用于对历史数据进行分析。
大量数据的处理需要付出大量时间，因此批处理不适合对处理时间要求较高的场合。
Apache Hadoop
Apache Hadoop是一种专用于批处理的处理框架。Hadoop是首个在开源社区获得极大关注的大数据框架。基于谷歌有关海量数据处理所发表的多篇论文与经验的Hadoop重新实现了相关算法和组件堆栈，让大规模批处理技术变得更易用。
新版Hadoop包含多个组件，即多个层，通过配合使用可处理批数据：
· HDFS：HDFS是一种分布式文件系统层，可对集群节点间的存储和复制进行协调。HDFS确保了无法避免的节点故障发生后数据依然可用，可将其用作数据来源，可用于存储中间态的处理结果，并可存储计算的最终结果。
· YARN：YARN是Yet Another Resource Negotiator（另一个资源管理器）的缩写，可充当Hadoop堆栈的集群协调组件。该组件负责协调并管理底层资源和调度作业的运行。通过充当集群资源的接口，YARN使得用户能在Hadoop集群中使用比以往的迭代方式运行更多类型的工作负载。
· MapRece：MapRece是Hadoop的原生批处理引擎。
批处理模式
Hadoop的处理功能来自MapRece引擎。MapRece的处理技术符合使用键值对的map、shuffle、rece算法要求。基本处理过程包括：
· 从HDFS文件系统读取数据集
· 将数据集拆分成小块并分配给所有可用节点
· 针对每个节点上的数据子集进行计算（计算的中间态结果会重新写入HDFS）
· 重新分配中间态结果并按照键进行分组
· 通过对每个节点计算的结果进行汇总和组合对每个键的值进行“Recing”
· 将计算而来的最终结果重新写入 HDFS
优势和局限
由于这种方法严重依赖持久存储，每个任务需要多次执行读取和写入操作，因此速度相对较慢。但另一方面由于磁盘空间通常是服务器上最丰富的资源，这意味着MapRece可以处理非常海量的数据集。同时也意味着相比其他类似技术，Hadoop的MapRece通常可以在廉价硬件上运行，因为该技术并不需要将一切都存储在内存中。MapRece具备极高的缩放潜力，生产环境中曾经出现过包含数万个节点的应用。
MapRece的学习曲线较为陡峭，虽然Hadoop生态系统的其他周边技术可以大幅降低这一问题的影响，但通过Hadoop集群快速实现某些应用时依然需要注意这个问题。
围绕Hadoop已经形成了辽阔的生态系统，Hadoop集群本身也经常被用作其他软件的组成部件。很多其他处理框架和引擎通过与Hadoop集成也可以使用HDFS和YARN资源管理器。
总结
Apache Hadoop及其MapRece处理引擎提供了一套久经考验的批处理模型，最适合处理对时间要求不高的非常大规模数据集。通过非常低成本的组件即可搭建完整功能的Hadoop集群，使得这一廉价且高效的处理技术可以灵活应用在很多案例中。与其他框架和引擎的兼容与集成能力使得Hadoop可以成为使用不同技术的多种工作负载处理平台的底层基础。
流处理系统
流处理系统会对随时进入系统的数据进行计算。相比批处理模式，这是一种截然不同的处理方式。流处理方式无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作。
· 流处理中的数据集是“无边界”的，这就产生了几个重要的影响：
· 完整数据集只能代表截至目前已经进入到系统中的数据总量。
· 工作数据集也许更相关，在特定时间只能代表某个单一数据项。
处理工作是基于事件的，除非明确停止否则没有“尽头”。处理结果立刻可用，并会随着新数据的抵达继续更新。
流处理系统可以处理几乎无限量的数据，但同一时间只能处理一条（真正的流处理）或很少量（微批处理，Micro-batch Processing）数据，不同记录间只维持最少量的状态。虽然大部分系统提供了用于维持某些状态的方法，但流处理主要针对副作用更少，更加功能性的处理（Functional processing）进行优化。
功能性操作主要侧重于状态或副作用有限的离散步骤。针对同一个数据执行同一个操作会或略其他因素产生相同的结果，此类处理非常适合流处理，因为不同项的状态通常是某些困难、限制，以及某些情况下不需要的结果的结合体。因此虽然某些类型的状态管理通常是可行的，但这些框架通常在不具备状态管理机制时更简单也更高效。
此类处理非常适合某些类型的工作负载。有近实时处理需求的任务很适合使用流处理模式。分析、服务器或应用程序错误日志，以及其他基于时间的衡量指标是最适合的类型，因为对这些领域的数据变化做出响应对于业务职能来说是极为关键的。流处理很适合用来处理必须对变动或峰值做出响应，并且关注一段时间内变化趋势的数据。
Apache Storm
Apache Storm是一种侧重于极低延迟的流处理框架，也许是要求近实时处理的工作负载的最佳选择。该技术可处理非常大量的数据，通过比其他解决方案更低的延迟提供结果。
流处理模式
Storm的流处理可对框架中名为Topology（拓扑）的DAG（Directed Acyclic Graph，有向无环图）进行编排。这些拓扑描述了当数据片段进入系统后，需要对每个传入的片段执行的不同转换或步骤。
拓扑包含：
· Stream：普通的数据流，这是一种会持续抵达系统的无边界数据。
· Spout：位于拓扑边缘的数据流来源，例如可以是API或查询等，从这里可以产生待处理的数据。
· Bolt：Bolt代表需要消耗流数据，对其应用操作，并将结果以流的形式进行输出的处理步骤。Bolt需要与每个Spout建立连接，随后相互连接以组成所有必要的处理。在拓扑的尾部，可以使用最终的Bolt输出作为相互连接的其他系统的输入。
Storm背后的想法是使用上述组件定义大量小型的离散操作，随后将多个组件组成所需拓扑。默认情况下Storm提供了“至少一次”的处理保证，这意味着可以确保每条消息至少可以被处理一次，但某些情况下如果遇到失败可能会处理多次。Storm无法确保可以按照特定顺序处理消息。
为了实现严格的一次处理，即有状态处理，可以使用一种名为Trident的抽象。严格来说不使用Trident的Storm通常可称之为Core Storm。Trident会对Storm的处理能力产生极大影响，会增加延迟，为处理提供状态，使用微批模式代替逐项处理的纯粹流处理模式。
为避免这些问题，通常建议Storm用户尽可能使用Core Storm。然而也要注意，Trident对内容严格的一次处理保证在某些情况下也比较有用，例如系统无法智能地处理重复消息时。如果需要在项之间维持状态，例如想要计算一个小时内有多少用户点击了某个链接，此时Trident将是你唯一的选择。尽管不能充分发挥框架与生俱来的优势，但Trident提高了Storm的灵活性。
Trident拓扑包含：
· 流批（Stream batch）：这是指流数据的微批，可通过分块提供批处理语义。
· 操作（Operation）：是指可以对数据执行的批处理过程。
优势和局限
目前来说Storm可能是近实时处理领域的最佳解决方案。该技术可以用极低延迟处理数据，可用于希望获得最低延迟的工作负载。如果处理速度直接影响用户体验，例如需要将处理结果直接提供给访客打开的网站页面，此时Storm将会是一个很好的选择。
Storm与Trident配合使得用户可以用微批代替纯粹的流处理。虽然借此用户可以获得更大灵活性打造更符合要求的工具，但同时这种做法会削弱该技术相比其他解决方案最大的优势。话虽如此，但多一种流处理方式总是好的。
Core Storm无法保证消息的处理顺序。Core Storm为消息提供了“至少一次”的处理保证，这意味着可以保证每条消息都能被处理，但也可能发生重复。Trident提供了严格的一次处理保证，可以在不同批之间提供顺序处理，但无法在一个批内部实现顺序处理。
在互操作性方面，Storm可与Hadoop的YARN资源管理器进行集成，因此可以很方便地融入现有Hadoop部署。除了支持大部分处理框架，Storm还可支持多种语言，为用户的拓扑定义提供了更多选择。
总结
对于延迟需求很高的纯粹的流处理工作负载，Storm可能是最适合的技术。该技术可以保证每条消息都被处理，可配合多种编程语言使用。由于Storm无法进行批处理，如果需要这些能力可能还需要使用其他软件。如果对严格的一次处理保证有比较高的要求，此时可考虑使用Trident。不过这种情况下其他流处理框架也许更适合。
Apache Samza
Apache Samza是一种与Apache Kafka消息系统紧密绑定的流处理框架。虽然Kafka可用于很多流处理系统，但按照设计，Samza可以更好地发挥Kafka独特的架构优势和保障。该技术可通过Kafka提供容错、缓冲，以及状态存储。
Samza可使用YARN作为资源管理器。这意味着默认情况下需要具备Hadoop集群（至少具备HDFS和YARN），但同时也意味着Samza可以直接使用YARN丰富的内建功能。
流处理模式
Samza依赖Kafka的语义定义流的处理方式。Kafka在处理数据时涉及下列概念：
· Topic（话题）：进入Kafka系统的每个数据流可称之为一个话题。话题基本上是一种可供消耗方订阅的，由相关信息组成的数据流。
· Partition（分区）：为了将一个话题分散至多个节点，Kafka会将传入的消息划分为多个分区。分区的划分将基于键（Key）进行，这样可以保证包含同一个键的每条消息可以划分至同一个分区。分区的顺序可获得保证。
· Broker（代理）：组成Kafka集群的每个节点也叫做代理。
· Procer（生成方）：任何向Kafka话题写入数据的组件可以叫做生成方。生成方可提供将话题划分为分区所需的键。
· Consumer（消耗方）：任何从Kafka读取话题的组件可叫做消耗方。消耗方需要负责维持有关自己分支的信息，这样即可在失败后知道哪些记录已经被处理过了。
由于Kafka相当于永恒不变的日志，Samza也需要处理永恒不变的数据流。这意味着任何转换创建的新数据流都可被其他组件所使用，而不会对最初的数据流产生影响。
优势和局限
乍看之下，Samza对Kafka类查询系统的依赖似乎是一种限制，然而这也可以为系统提供一些独特的保证和功能，这些内容也是其他流处理系统不具备的。
例如Kafka已经提供了可以通过低延迟方式访问的数据存储副本，此外还可以为每个数据分区提供非常易用且低成本的多订阅者模型。所有输出内容，包括中间态的结果都可写入到Kafka，并可被下游步骤独立使用。
这种对Kafka的紧密依赖在很多方面类似于MapRece引擎对HDFS的依赖。虽然在批处理的每个计算之间对HDFS的依赖导致了一些严重的性能问题，但也避免了流处理遇到的很多其他问题。
Samza与Kafka之间紧密的关系使得处理步骤本身可以非常松散地耦合在一起。无需事先协调，即可在输出的任何步骤中增加任意数量的订阅者，对于有多个团队需要访问类似数据的组织，这一特性非常有用。多个团队可以全部订阅进入系统的数据话题，或任意订阅其他团队对数据进行过某些处理后创建的话题。这一切并不会对数据库等负载密集型基础架构造成额外的压力。
直接写入Kafka还可避免回压（Backpressure）问题。回压是指当负载峰值导致数据流入速度超过组件实时处理能力的情况，这种情况可能导致处理工作停顿并可能丢失数据。按照设计，Kafka可以将数据保存很长时间，这意味着组件可以在方便的时候继续进行处理，并可直接重启动而无需担心造成任何后果。
Samza可以使用以本地键值存储方式实现的容错检查点系统存储数据。这样Samza即可获得“至少一次”的交付保障，但面对由于数据可能多次交付造成的失败，该技术无法对汇总后状态（例如计数）提供精确恢复。
Samza提供的高级抽象使其在很多方面比Storm等系统提供的基元（Primitive）更易于配合使用。目前Samza只支持JVM语言，这意味着它在语言支持方面不如Storm灵活。
总结
对于已经具备或易于实现Hadoop和Kafka的环境，Apache Samza是流处理工作负载一个很好的选择。Samza本身很适合有多个团队需要使用（但相互之间并不一定紧密协调）不同处理阶段的多个数据流的组织。Samza可大幅简化很多流处理工作，可实现低延迟的性能。如果部署需求与当前系统不兼容，也许并不适合使用，但如果需要极低延迟的处理，或对严格的一次处理语义有较高需求，此时依然适合考虑。
混合处理系统：批处理和流处理
一些处理框架可同时处理批处理和流处理工作负载。这些框架可以用相同或相关的组件和API处理两种类型的数据，借此让不同的处理需求得以简化。
如你所见，这一特性主要是由Spark和Flink实现的，下文将介绍这两种框架。实现这样的功能重点在于两种不同处理模式如何进行统一，以及要对固定和不固定数据集之间的关系进行何种假设。
虽然侧重于某一种处理类型的项目会更好地满足具体用例的要求，但混合框架意在提供一种数据处理的通用解决方案。这种框架不仅可以提供处理数据所需的方法，而且提供了自己的集成项、库、工具，可胜任图形分析、机器学习、交互式查询等多种任务。
Apache Spark
Apache Spark是一种包含流处理能力的下一代批处理框架。与Hadoop的MapRece引擎基于各种相同原则开发而来的Spark主要侧重于通过完善的内存计算和处理优化机制加快批处理工作负载的运行速度。
Spark可作为独立集群部署（需要相应存储层的配合），或可与Hadoop集成并取代MapRece引擎。
批处理模式
与MapRece不同，Spark的数据处理工作全部在内存中进行，只在一开始将数据读入内存，以及将最终结果持久存储时需要与存储层交互。所有中间态的处理结果均存储在内存中。
虽然内存中处理方式可大幅改善性能，Spark在处理与磁盘有关的任务时速度也有很大提升，因为通过提前对整个任务集进行分析可以实现更完善的整体式优化。为此Spark可创建代表所需执行的全部操作，需要操作的数据，以及操作和数据之间关系的Directed Acyclic Graph（有向无环图），即DAG，借此处理器可以对任务进行更智能的协调。
为了实现内存中批计算，Spark会使用一种名为Resilient Distributed Dataset（弹性分布式数据集），即RDD的模型来处理数据。这是一种代表数据集，只位于内存中，永恒不变的结构。针对RDD执行的操作可生成新的RDD。每个RDD可通过世系（Lineage）回溯至父级RDD，并最终回溯至磁盘上的数据。Spark可通过RDD在无需将每个操作的结果写回磁盘的前提下实现容错。
流处理模式
流处理能力是由Spark Streaming实现的。Spark本身在设计上主要面向批处理工作负载，为了弥补引擎设计和流处理工作负载特征方面的差异，Spark实现了一种叫做微批（Micro-batch）*的概念。在具体策略方面该技术可以将数据流视作一系列非常小的“批”，借此即可通过批处理引擎的原生语义进行处理。
Spark Streaming会以亚秒级增量对流进行缓冲，随后这些缓冲会作为小规模的固定数据集进行批处理。这种方式的实际效果非常好，但相比真正的流处理框架在性能方面依然存在不足。
优势和局限
使用Spark而非Hadoop MapRece的主要原因是速度。在内存计算策略和先进的DAG调度等机制的帮助下，Spark可以用更快速度处理相同的数据集。
Spark的另一个重要优势在于多样性。该产品可作为独立集群部署，或与现有Hadoop集群集成。该产品可运行批处理和流处理，运行一个集群即可处理不同类型的任务。
除了引擎自身的能力外，围绕Spark还建立了包含各种库的生态系统，可为机器学习、交互式查询等任务提供更好的支持。相比MapRece，Spark任务更是“众所周知”地易于编写，因此可大幅提高生产力。
为流处理系统采用批处理的方法，需要对进入系统的数据进行缓冲。缓冲机制使得该技术可以处理非常大量的传入数据，提高整体吞吐率，但等待缓冲区清空也会导致延迟增高。这意味着Spark Streaming可能不适合处理对延迟有较高要求的工作负载。
由于内存通常比磁盘空间更贵，因此相比基于磁盘的系统，Spark成本更高。然而处理速度的提升意味着可以更快速完成任务，在需要按照小时数为资源付费的环境中，这一特性通常可以抵消增加的成本。
Spark内存计算这一设计的另一个后果是，如果部署在共享的集群中可能会遇到资源不足的问题。相比HadoopMapRece，Spark的资源消耗更大，可能会对需要在同一时间使用集群的其他任务产生影响。从本质来看，Spark更不适合与Hadoop堆栈的其他组件共存一处。
总结
Spark是多样化工作负载处理任务的最佳选择。Spark批处理能力以更高内存占用为代价提供了无与伦比的速度优势。对于重视吞吐率而非延迟的工作负载，则比较适合使用Spark Streaming作为流处理解决方案。
Apache Flink
Apache Flink是一种可以处理批处理任务的流处理框架。该技术可将批处理数据视作具备有限边界的数据流，借此将批处理任务作为流处理的子集加以处理。为所有处理任务采取流处理为先的方法会产生一系列有趣的副作用。
这种流处理为先的方法也叫做Kappa架构，与之相对的是更加被广为人知的Lambda架构（该架构中使用批处理作为主要处理方法，使用流作为补充并提供早期未经提炼的结果）。Kappa架构中会对一切进行流处理，借此对模型进行简化，而这一切是在最近流处理引擎逐渐成熟后才可行的。
流处理模型
Flink的流处理模型在处理传入数据时会将每一项视作真正的数据流。Flink提供的DataStream API可用于处理无尽的数据流。Flink可配合使用的基本组件包括：
· Stream（流）是指在系统中流转的，永恒不变的无边界数据集
· Operator（操作方）是指针对数据流执行操作以产生其他数据流的功能
· Source（源）是指数据流进入系统的入口点
· Sink（槽）是指数据流离开Flink系统后进入到的位置，槽可以是数据库或到其他系统的连接器
为了在计算过程中遇到问题后能够恢复，流处理任务会在预定时间点创建快照。为了实现状态存储，Flink可配合多种状态后端系统使用，具体取决于所需实现的复杂度和持久性级别。
此外Flink的流处理能力还可以理解“事件时间”这一概念，这是指事件实际发生的时间，此外该功能还可以处理会话。这意味着可以通过某种有趣的方式确保执行顺序和分组。
批处理模型
Flink的批处理模型在很大程度上仅仅是对流处理模型的扩展。此时模型不再从持续流中读取数据，而是从持久存储中以流的形式读取有边界的数据集。Flink会对这些处理模型使用完全相同的运行时。
Flink可以对批处理工作负载实现一定的优化。例如由于批处理操作可通过持久存储加以支持，Flink可以不对批处理工作负载创建快照。数据依然可以恢复，但常规处理操作可以执行得更快。
另一个优化是对批处理任务进行分解，这样即可在需要的时候调用不同阶段和组件。借此Flink可以与集群的其他用户更好地共存。对任务提前进行分析使得Flink可以查看需要执行的所有操作、数据集的大小，以及下游需要执行的操作步骤，借此实现进一步的优化。
优势和局限
Flink目前是处理框架领域一个独特的技术。虽然Spark也可以执行批处理和流处理，但Spark的流处理采取的微批架构使其无法适用于很多用例。Flink流处理为先的方法可提供低延迟，高吞吐率，近乎逐项处理的能力。
Flink的很多组件是自行管理的。虽然这种做法较为罕见，但出于性能方面的原因，该技术可自行管理内存，无需依赖原生的Java垃圾回收机制。与Spark不同，待处理数据的特征发生变化后Flink无需手工优化和调整，并且该技术也可以自行处理数据分区和自动缓存等操作。
Flink会通过多种方式对工作进行分许进而优化任务。这种分析在部分程度上类似于SQL查询规划器对关系型数据库所做的优化，可针对特定任务确定最高效的实现方法。该技术还支持多阶段并行执行，同时可将受阻任务的数据集合在一起。对于迭代式任务，出于性能方面的考虑，Flink会尝试在存储数据的节点上执行相应的计算任务。此外还可进行“增量迭代”，或仅对数据中有改动的部分进行迭代。
在用户工具方面，Flink提供了基于Web的调度视图，借此可轻松管理任务并查看系统状态。用户也可以查看已提交任务的优化方案，借此了解任务最终是如何在集群中实现的。对于分析类任务，Flink提供了类似SQL的查询，图形化处理，以及机器学习库，此外还支持内存计算。
Flink能很好地与其他组件配合使用。如果配合Hadoop 堆栈使用，该技术可以很好地融入整个环境，在任何时候都只占用必要的资源。该技术可轻松地与YARN、HDFS和Kafka 集成。在兼容包的帮助下，Flink还可以运行为其他处理框架，例如Hadoop和Storm编写的任务。
目前Flink最大的局限之一在于这依然是一个非常“年幼”的项目。现实环境中该项目的大规模部署尚不如其他处理框架那么常见，对于Flink在缩放能力方面的局限目前也没有较为深入的研究。随着快速开发周期的推进和兼容包等功能的完善，当越来越多的组织开始尝试时，可能会出现越来越多的Flink部署
总结
Flink提供了低延迟流处理，同时可支持传统的批处理任务。Flink也许最适合有极高流处理需求，并有少量批处理任务的组织。该技术可兼容原生Storm和Hadoop程序，可在YARN管理的集群上运行，因此可以很方便地进行评估。快速进展的开发工作使其值得被大家关注。
结论
大数据系统可使用多种处理技术。
对于仅需要批处理的工作负载，如果对时间不敏感，比其他解决方案实现成本更低的Hadoop将会是一个好选择。
对于仅需要流处理的工作负载，Storm可支持更广泛的语言并实现极低延迟的处理，但默认配置可能产生重复结果并且无法保证顺序。Samza与YARN和Kafka紧密集成可提供更大灵活性，更易用的多团队使用，以及更简单的复制和状态管理。
对于混合型工作负载，Spark可提供高速批处理和微批处理模式的流处理。该技术的支持更完善，具备各种集成库和工具，可实现灵活的集成。Flink提供了真正的流处理并具备批处理能力，通过深度优化可运行针对其他平台编写的任务，提供低延迟的处理，但实际应用方面还为时过早。
最适合的解决方案主要取决于待处理数据的状态，对处理所需时间的需求，以及希望得到的结果。具体是使用全功能解决方案或主要侧重于某种项目的解决方案，这个问题需要慎重权衡。随着逐渐成熟并被广泛接受，在评估任何新出现的创新型解决方案时都需要考虑类似的问题。

『伍』 算力是什么意思

是比特币网络处理能力的度量单位，即计算机计算哈希函数输出的速度。

算力（也称哈希率）是比特币网络处理能力的度量单位。即为计算机（CPU）计算哈希函数输出的速度。比特币网络必须为了安全目的而进行密集的数学和加密相关操作。 例如，当网络达到10Th/s的哈希率时，意味着它可以每秒进行10万亿次计算。

在通过“挖矿”得到比特币的过程中，我们需要找到其相应的解m，而对于任何一个六十四位的哈希值，要找到其解m，都没有固定算法，只能靠计算机随机的hash碰撞，而一个挖矿机每秒钟能做多少次hash碰撞，就是其“算力”的代表，单位写成hash/s,这就是所谓工作量证明机制POW(Proof Of Work)。

基本概念

日前，比特币全网算力已经全面进入P算力时代（1P=1024T，1T=1024G，1G=1024M，1M=1024k），在不断飙升的算力环境中，P时代的到来意味着比特币进入了一个新的军备竞赛阶段。

算力是衡量在一定的网络消耗下生成新块的单位的总计算能力。每个硬币的单个区块链随生成新的交易块所需的时间而变化。

『陆』 萨摩耶云：模型数据升维，AI决策“破圈”

本刊讯 人类对人工智能的想象和 探索 ，从未止步。

随着数据、算法、算力能力提升，人工智能的应用场景深入到生活的方方面面。我们在搜索引擎上输入关键词后，网页会自动匹配相关搜索内容；短视频App能根据我们的浏览习惯，推送相似的博主和场景；对着智能手机等移动终端喊话，便能调用相关功能，实现人机交互。

以人工智能为代表的数字化产业快速向前推进，产业数字化转型也成为不可逆的趋势，各行各业都在寻求与自身商业模式相匹配的AI大脑。AI决策能力，正是AI大脑的内核，它决定了AI解决方案的效率和可执行性。

AI决策由模型性能决定，而模型性能的好坏，离不开人工智能三驾马车的拉动——数据、算法、算力。其中，数据在模型搭建过程中起基础性作用，一个模型的优劣，百分之八十取决于数据和样本的维度，正如巧妇难为无米之炊。

因此，数据提升对于模型优化有着基础性、全局性的作用，而数据与模型也是AI系统的重要组成部分。目前，AI模型开发及应用难点，主要在于数据应用和算法创新上，其中，后者更多体现的是建模方法的适当性。

数据应用维度不足。从AI决策的模型发展现状来看，当前很多模型仅仅是基于二维的数据组织形式来构建，没有考虑到数据在完整周期中的时间节点变化。最终容易导致模型的辨识度、准确度、稳定性失衡，AI决策效果大打折扣。

例如，在视频推荐和电商推荐场景中，如果模型仅是在用户账户、行为属性、社交记录、交易结果等标准数据集上构建和优化，没有纳入用户在决策过程中的重要时间节点下的行为表现，可能就会使模型效果过于拟合，不能够精准地预判用户喜好以及交易风险控制。

一般来讲，二维数据的维度主要表现为样本维度和特征维度。样本维度常常为用户ID信息或者是订单编号，特征维度则为用户人口属性、行为属性、外部资信等信息。二维数据模式下，用户在每个时间点只对应一条变量。

回到实际业务场景，用户在不同的时间节点会呈现不同的行为表现，尽管这些表现强度存在差异化，但最终会反馈到行为特征上。如果把不同时间节点的用户特征行为差异，尽可能纳入建模过程，那么原有的一对一二维数据就延展至一对多的时间序列形式，也就是说把数据应用升维到样本维度、时间维度、特征维度的三维数据组织形式。

三维数据不仅能降低数据集特征不足的影响，而且能最大程度挖掘数据价值，增加特征数量，提升模型准确性。尤其是在业务数据获取时，外部资信等数据往往会遇到接入不确定因素，而内部数据数量和类型有限，并且利用程度趋于饱和。

但对于模型开发而言，更高的精准度和辨识度，要求引入更多维度的数据，挖掘数据规律，生成更多衍生变量。一旦无法从数量维度获取更多变量，那么只能从质量角度下功夫，向深度挖掘变量内部信息，其中一对多的时间序列角度的升维就是深挖数据信息的方法之一。

其实，数据升维可用于AI模型优化的场景非常多，例如在股票、基金的智能投顾业务中，AI模型的数据应用加入时间维度，与样本维度和个股、个基一起构成三维样本，便能把节点变量考虑在内，更加精准预判未来走势。

要想通过高维时序数据实现模型优化，仅停留在数据层面远远不够，还需对算法提升。决定模型好坏的剩下20%，正是建模方法的选择，而与高维时序数据处理相匹配的算法通常为基于神经网络算法的深度学习。

以萨摩耶云为例，萨摩耶云基于深度学习框架， 探索 数据升维用于模型性能的提升，研发出适用于多行业和场景的AI解决方案，满足企业高效智能决策的需求。同时，这些端到端的云原生 科技 解决方案，以SaaS+aPaaS形式提供交付，通过双方系统对接实现信息实时交互，能为合作伙伴输出基于云的智能决策服务。

在萨摩耶云首席科学家王明明看来，更高维度的时序数据建模意味着对现有的业务数据的重新理解、更多的数据信息、更复杂的数据组织方式、更高的机器性能要求、存储要求以及模型上线要求。以高维时序数据为基础，施以神经网络来训练，加工多维变量特征，最终建立并优化模型的AI决策能力。

具体来看，作为机器学习的重要分支，神经网络是从数据中学习表示的一种新的方法，强调从连续地层中进行学习。在神经网络算法驱动下，模型可在同一时间共同学习所有表示层，可能包含数十个甚至上百个连续层，而其他机器学习方法往往仅仅学习一两层的数据表示。

神经网络在高维时序数据学习中，一方面通过渐进的、逐层式的方式形成越来越复杂的表示；另一方面，对渐进的表示共同进行学习，每一层的变化都需要同时考虑上下两层的需要。这意味着，循环神经网络引入状态变量时，能保存每个时刻的信息，并且与当前的输入共同决定此刻的输出。

从萨摩耶云的AI决策实践来看，萨摩耶云在模型搭建过程中，不仅考虑了以往的样本维度和特征维度，还把各时间节点的用户特征差异纳入考量，通过三维数据加工完善数据特征。在此基础上，萨摩耶云利用神经网络、深度学习，建立和训练模型，实现比常规模型更为高效的模型效果。

这对于提升模型的预判能力和精准度至关重要。就像阅读一段新闻，如果仅仅从每一个字、每一个词组来理解，很容易断章取义，无法真正明白新闻所指。但把新闻构成中的字词句连贯起来，并置于各个背景节点中，就可以理解新闻的准确意思。

当萨摩耶云把基于神经网络等技术的AI模型，应用于实际业务场景之中，能进一步放大数据价值，帮助企业增强预测分析能力，提升精准营销、销售管理、供应链协作、结果预测、风险控制的效率，进而实现从经验决策到智能决策，达到降本增效的效果。

实验数据也表明，用神经网络的时间序列来做变量衍生，可以产生较为显著的变量增益效果，衍生变量可以直接用于其他传统方式的建模环节，同时也可扩充内部的衍生变量空间。当原始特征的区分能力得到提升，模型的区分效果也得到增强，最终强化AI模型性能。

作为领先的独立云服务 科技 解决方案供应商，萨摩耶云立足场景需求，深耕AI决策智能赛道，不断升级大数据、算法、模型策略和产品设计，为数字经济和企业数字化转型提供技术支撑。在此过程中，萨摩耶云不仅强化了自身核心自主竞争力，而且着眼数字中国全景，源源不断释放 科技 赋能的价值。（山河）

『柒』 从计算机硬件设计的角度分析如何提供更为丰富的算力

自上世纪90年代互联网技术诞生以来，移动互联网、云计算、大数据、人工智能等新一代信息技术的不断发展和逐步成熟，并日益深入的渗透到经济社会的各个领域，2020年全球范围内爆发的新冠疫情又进一步加速了这一趋势，数字经济已经成为世界经济发展的新阶段，即世界经济发展已经进入数字经济时代。
党中央、国务院和各级政府高度重视数字经济的发展。从2015年《中国制造2025》、《促进大数据发展行动纲要》等政策出台以来，中央和各级地方陆续以推出系列数字经济发展的措施，并支持雄安新区、浙江、福建等六个地区建设国家数字经济创新发展试验区，支持北京、上海、深圳、西安等地建设国家新一代人工智能创新发展试验区。2020年国家进一步提出加强新型基础设施建设，并明确将数据作为一种新型生产要素写入政策文件，这些将为数字经济的发展奠定更加坚实的基础。
农业经济时代，土地、水源和工具是关键资源。工业经济时代，能源、原材料、机器设备和生产工艺等是关键资源。那数字经济时代的关键资源是什么呢？数字经济时代的关键资源是数据、算力和算法。数据是数字经济时代的原材料，各种经济活动中都在源源不断的产生的数据，越来越多的组织也将数据当作一种资产，在政策层面数据已经成为一种新型生产要素。算力相当于数字经济时代的机器设备和生产力，面向各种场景的数据产品或应用都离不开算力的加工和计算，而且对算力的需求和要求也越来越高。算法是数字经济时代的生产工艺，面向图像、语音、自然语言处理等不同的应用场景和领域的算法也层出不穷，算法的提升和改进可以提高算力的效率和更多的挖掘数据价值。
本文重点分析算力方面内容，介绍算力市场总体情况，当前算力发展的特点和趋势，以及重点算力供应方式等。
一、算力需求快速增长，算力投资具有多重经济价值
算力即计算能力，核心是CPU、GPU、NPU、MCU等各类芯片，具体由计算机、服务器、高性能计算集群和各类智能终端等承载。数字经济时代，数据的爆炸式增长，算法的复杂程度不断提高，对算力需求越来越高。算力是数字经济发展的基础设施和核心生产力，对经济发展具有重要作用，根据IDC与浪潮联合发布的《2020全球计算力指数评估报告》，计算力指数平均每提高1点，数字经济和GDP将分别增长3.3‰和1.8‰。
随着数字经济的不断发展，人工智能、物联网、区块链、AR/VR 等数字经济的关键领域对算力的需求也将呈爆炸式增长。根据华为发布的《泛在算力：智能社会的基石》报告，预计到2030年人工智能、物联网、区块链、AR/VR 等总共对算力的需求将达到3.39万EFLOPS，并且将共同对算力形成随时、随地、随需、随形 (Anytime、Anywhere、AnyCapacity、Any Object) 的能力要求，其中人工智能算力将超过1.6万EFLOPS，接近整体算力需求的一半。OpenAI开发的GPT-3模型涉及1750亿个参数，对算力的需求达到3640PFLOPS，目前国内也有研究团队在跟进中文GPT-3模型的研究。
算力投资具有多重经济价值，不仅直接带动服务器行业及上游芯片、电子等行业的发展，而且算力价值的发挥将带动各行业转型升级和效率提升等，带来更大的间接经济价值。根据《泛在算力：智能社会的基石》报告，每投入1美元算力即可以带动芯片、服务器、数据中心、智能终端、高速网络等领域约4.7美元的直接产业产值增长；在传统工厂改造为智能化工厂的场景下，每1美元的算力投入，可以带动10美元的相关产值提升。
二、算力发展的特点及趋势
随着数据规模的增加和算法复杂度的提升，以及应用多样性的不断丰富，对算力提出的要求也越来越高，当前算力发展呈现出三方面的特点，一是多种架构百花齐放的状态，二是中心化的算力与边缘终端算力快速发展，三是专用算力日渐成势。
近年来多种算力架构并存并快速发展。曾经x86架构的算力占绝对优势，英特尔和AMD基本垄断了X86算力架构市场，海光信息通过跟AMD合作获得x86架构的授权；如今基于ARM架构的算力份额不断扩大，特别是在移动端ARM架构算力成为主流，华为海思等主要产品是基于ARM架构，另外天津飞腾的产品也是基于ARM架构。随着人工智能等算力需求的不断增加，GPU算力的需求不断增加，英伟达在GPU算力市场占有绝对优势，AMD也分了一杯羹，叠加比特币挖矿算力需求，导致市场上GPU卡供不应求。近几年国内也出现几个GPU方面的创业团队，如寒武纪、登临科技、燧原科技等。此外，Risc-V、存算一体化架构、类脑架构等算力也不断涌现，不过这些算力刚刚起步，在应用生态等方面还需要一定较长的培育过程。
中心化算力和边缘终端算力快速发展。随着7nm制程日渐成熟，基于7nm制程的CPU、GPU等算力性能得到极大提升，目前7nm制程算力主要是中心化算力，移动端智能手机的处理器算力部分也已经采用7nm制程。台积电的7nm制程已经实现规模化，并开始攻关3nm工艺制程；中芯国际7nm工艺制程仍在技术攻关当中。随着5G及物联网应用的不断增加，边缘终端算力的需求日益增加，特别是自动驾驶、智慧安防、智慧城市等领域算力需求。地平线自动驾驶芯片已经量产，英伟达jetson产品在嵌入式终端产品应用广泛，其他针对特定领域专用边缘终端芯片创业公司层出不穷。
针对图像、语音等特定领域的专用算力日渐成势。一方面是芯片工艺制程越来越逼近摩尔定律的极限，另一方面是物联网智能终端对功耗的要求等，针对特定领域的专用芯片层出不穷，并且越来越多的巨头参与其中。谷歌的TPU专为机器学习定制的算力，阿里平头哥的含光NPU专为神经网络定制的算力，赛灵思的FPGA算力，网络研发针对语音领域的鸿鹄芯片以及云知声、思必驰、探境科技等也推出智能语音相关的芯片，北京君正、云天励飞、依图科技和芯原微电子等推出针对视觉和视频处理相关的专用芯片。
三、算力供应以公有云和自建算力为主，多种方式相补充
当前的算力供给主要包括公有云、超算中心、自建算力、地方算力中心等方式。其中，公有云和自建算力中心是算力的主要来源方式，超算中心及地方算力中心等多种方式相互补充。
规模化的算力供应通常通过数据中来承载，新建数据中心的不断增加，将带动未来算力资源的供应不断扩大。据中国电子信息产业发展研究院统计数据，2019年中国数据中心数量大约为7.4万个，大约能占全球数据中心总量的23%，其中大型数据中心占比12.7%；在用数据中心机架规模达到265.8万架，同比增长28.7%；在建数据中心机架规模约185万架，同比增加约43万架。2020年国家大力支持“新基建”建设以来，数据中心作为“新基建”的重要内容，京津冀、长三角和珠三角等算力需求地区，以及中西部能源资源集中的区域，如内蒙、山西等，均在推进新的大中型数据中心的建设。
公有云以其稳定和易用等特点，成为许多企业特别是中小企业的算力首选方式。据不完全统计，阿里云服务器总数接近200万台，腾讯云服务器总数超过110万台，华为云、网络云、京东云、AWS等云厂商服务器总数未找到确切数据，保守估计各类云厂商服务器总数之和也超过500万台。而且在国家宣布大力支持“新基建”建设之后，腾讯宣布未来五年将投资5000亿元用于云计算、数据中心等新基建项目的进一步布局，阿里云宣布未来三年阿里将投2000亿元用于面向未来的数据中心建设及重大核心技术研发攻坚，网络宣布预计到2030年网络智能云服务器台数将超过500万台。各大云厂商仍在继续加大算力投入，公有云算力供应将会更加充裕。
自建算力以其安全性和自主性等特点，成为政府、大企业及其他关注安全的组织的算力首选方式。政府、银行及高校和央企等，通常通过自建或租赁数据中心的方式自建算力，满足自身各项业务的算力需求。许多互联网公司在刚开始时选择使用公有云服务，但规模发展到一定程度时通常都会开始自建或租赁数据中心的方式自建算力。其他有部分各种类型的企业，出于安全、商业机密和隐私等方面的考虑，不意愿把数据和业务等放到阿里云等公有云上，往往选择托管服务器的方式自建算力，规模更小企业直接就在本地使用。2020年6月快手宣布投资100亿元自建数据中心，计划部署30万台服务器，字节跳动等大型互联网公司都在不断加大数据中心的建设。
超算中心和地方算力中心作为算力供应有效的补充方式，适合于大规模计算需求的应用领域。截至2020年，科技部批准建立的国家超级计算中心共有八所，分别是国家超级计算天津中心、广州中心、深圳中心、长沙中心、济南中心、无锡中心、郑州中心和昆山中心。超算中心主要的算力资源以CPU为主，新建的超算中心及更新升级过程中超算中心逐步增加了异构GPU算力资源。超算中心较好的满足和弥补了高校科研中算力资源的需求，特别是在工业仿真、生物信息、新材料、气象、海洋等科学计算领域。国内主要省市地区基本都投资建设了当地算力中心，重点服务本地科研和产业发展的需求，如太原、苏州、福建等地，目前通常地方算力中心的规模并不大，计算节点数在200-500之间居多，主要服务于当地气象、工业仿真和生物信息等领域计算需求。此外，2020年以来，武汉、南京、珠海、许昌等地区正在建设人工智能计算中心，将在一定程度上弥补当前规模化AI算力不足的情况。
结语
算力作为数字经济的基础设施，也是数字经济时代的生产力和引擎，越来越成为数字经济时代国家竞争力的体现。根据IDC与浪潮联合发布的《2020全球计算力指数评估报告》，中国和美国的算力建设在全球处于领先地位，美国的算力无论在规模、效率、应用水平等方面都领先于中国。此外，从算力芯片供应角度看，美国的英特尔、AMD、英伟达等企业几乎占了全球的绝大部分的市场份额。可见，中国在算力建设和发展仍然需要加大投入和加强研发等，发挥优势的同时弥补不足，从而为数字经济长期发展奠定更加坚实的基础。

『捌』 大数据建模过程中的数据处理

数据是建模的基础，也是研究事物发展规律的材料。数据本身的可信度和处理的方式将直接决定模型的天花板在何处。一个太过杂乱的数据，无论用多么精炼的模型都无法解决数据的本质问题，也就造成了模型的效果不理想的效果。这也是我们目前所要攻克的壁垒。但是，目前我们市场对的数据或者科研的数据并不是完全杂乱无章的，基本都是有规律可循的，因此，用模型算法去进行科学的分析，可以主观情绪对决策的影响。所以数据是非常重要的一部分。那么，接下来我们就详细说一下数据的处理与分析。

当看到数据的时候，首要做的并不是进行清洗或者特征工程，而是要观察数据所呈现的基本状态，以及进行数据与任务的匹配，这就需要我们之前所提到的业务常识与数据敏感度的能力了，只有通过完整的数据分析，才能够更为精准的做符合需求的特征工程工作。数据的基本特征分析主要从以下几个方面进行：

1. 确定类型 ：数据集的类型包括文本，音频，视频，图像，数值等多种形式交织而成，但是传入模型中的都是以数值形式呈现的，所以确定数据的类型，才可以确定用什么方法进行量化处理。

2. 验证可靠度 ：由于数据的收集的方式不尽相同，数据来源的途径多种多样。所以数据的可信度判断也显得尤为重要。而数据可靠性校验的方法非常多。例如：根据收集途径判断，如果调查问卷也可根据问卷设计的可靠度进行判断，当然转化为数值后也可辅助一些模型进行精细校验等。采用何种方式，取决于获取数据的方式，数据类型以及项目的需求。

3. 样本定义 ：需要确定样本对应的每一个特征属性的内容是什么。例如：样本的容量，样本的具体内容，样本所包含的基本信息等。

4. 任务匹配： 在任务分析中我们把项目拆分成了小的子问题，这些问题有分类，回归，关联关系等。也就是每个问题的所达成的目标是不一样的，那么我们要从数据集中筛选出符合子问题的数据，也就是选好解决问题的原料，很多情况下是靠你的数据敏感度和业务常识进行判断的。

5. 数据集的划分： 由于模型搭建完成之后有一个训练与验证评估的过程，而目前最为简单的一种验证手段就是就是交叉验证，因此我们需要将数据集拆分成训练集和测试集，这一步仅仅确定训练集和测试集的比例关系，例如：70%的数据用于训练，30%的数据用于测试。

数据的清洗是一件非常繁琐且耗费时间的事情，基本可以占到一个工程的30%到50%的时间。并且数据的清洗很难有规律可循，基本上依托于你对数据的基本分析与数据敏感度。当然，当你看的数据够多，数据的清洗的经验也就越多，会为你今后哦搭建模型提供很多遍历，我们这里提供一些常见的清洗的点。

清洗异常数据样本需要考虑到方方面面，通常情况下我们从以下方面：

1.处理格式或者内容错误：

首先，观察时间，日期，数值等是否出现格式不一致，进行修改整理；其次，注意开头，或者中间部分是否存在异常值；最后，看字段和内容是否一致。例如，姓名的内容是男，女。

2. 逻辑错误清洗：

去重：通常我们收集的数据集中有一些数据是重复的，重复的数据会直接影响我们模型的结果，因此需要进行去重操作；

去除或者替换不合理的值：例如年龄突然某一个值是-1，这就属于不合理值，可用正常值进行替换或者去除；

修改矛盾内容:例如身份证号是91年的，年龄35岁，显然不合理，进行修改或者删除。

3. 去除不要的数据： 根据业务需求和业务常识去掉不需要的字段

4. 关联性错误验证： 由于数据来源是多个途径，所以存在一个id，进行不同的数据收集，可通过，id或者姓名进行匹配合并。

该问题主要出现在分类模型中，由于正例与负例之间样本数量差别较大，造成分类结果样本量比较少的类别会大部分分错。因此需要进行数据不平衡处理。常用的处理方法有：向上采样、向下采样、数据权重复制、异常点检测等。

『玖』 智能数据算力真的会改变世界吗

可能会改变世界。

智能数据算力指的是在万物感知、万物互联、万物智联时代，有一种"新能源"如同水、电、燃气、汽油一样，“插上插头、打开开关"就能得到源源不断的供应。这种"新能源"，即算力(又称计算力)，它渗透到日常生活的方方面面。比如此刻，你通过手机或电脑阅读我的文字的时候，背后的算力也正在辛勤劳作。

以个人PC为例将带来更加直接的算力感受。高配置的PC算力更高，能够运行配置需求更高的游戏，更吃内存9的3D类软件;而低配置的PC面对大型游戏、影音类软件，经常出现卡顿、延迟和掉帧。这些背后都是因为不同设备对数据处理能力不同，也就是算力不同。专业领域里，在°摩尔定律+存算墙'的体系下，使用CPU+内存计算'相比较于传统的"CPU+硬盘计算的架构，服务器对大体量数据库的算力可提高数倍。
但是，柏睿数据提出了一个"专用芯片+内存计算+高性能软件优化"的架构，可以彻底突破"存算墙"掣肘，与传统架构服务器集群对比，新架构下的数据库算力得到百倍提升;甚至在某些极限情况下，可提升三到四个数量级。

『拾』 机器学习深度学习讲的都是一些算法吗

1、普通机器学习一般指的是像决策树、逻辑回归、支持向量机、xgboost等
2、深度学习主要特点是使用深度神经网络：深度卷积网络、深度循环网络、递归网络等
区别的话：
1、算法层面上没有任何相似的地方，硬要说相似可能就是大家的功能都是对高维函数的拟合吧。
2、普通机器学习比较擅长分析维度较低，可解释性很强的任务。比如数据挖掘、推荐算法。他们的特点是一般情况下采集的数据维度都不高，以广告推送任务为例，一般分析的数据维度只会包含性别、年龄、学历、职业等。可解释性很强，调参方向较为明确。
3、深度学习算法擅长分析高维度的数据。比如图像、语音等。以图片为例，一张图片像素可能几十上百万，相当于特征向量维度达到几十上百万，而且像素点与像素点之间的关系又不是特别明显。这种时候用卷积神经网络能很有效的处理这种问题，基本很精确的抓取出图片的特征。但是每个维度的权重可解释性极弱，调参方向很不明朗（神经元数量、隐含层层数等）
综上，其实两者差别很大的。深度学习是近几年才发展起来的。传统机器学习算法大都来源于概率论，信息学。对于程序编写的话，传统机器学习模型基本上都集成在sklearn这个包里面，深度学习可以用tensorflow作为框架
想详细了解的话，传统机器学习可以看李航老师的《统计学原理》或者周志华老师的《机器学习》（也叫西瓜书）。深度学习因为是这两年才发展起来的相关书籍很少，可以去查近两年的深度学习论文
当然两者都需要比较扎实的数学基础，主要是这三本：《线性代数》或《高等代数》、《高等数学》或《数学分析》、《概率论》或《随机过程》
谢谢