神经网络算力租用

1. 什么是算力

算力是衡量计算机系统或设备在单位时间内执行指令、运算或处理数据的能力的指标。它用于评估计算机硬件或系统的性能，尤其是在处理复杂任务、运行大规模程序或进行高性能计算时。算力受多个因素影响，包括处理器的架构、主频（时钟频率）、核心数量、内存带宽、缓存容量等。拥有较高算力的计算机能够更快地完成任务，处理更多的数据，或进行更复杂的计算。这在众多应用领域中都非常关键，例如科学研究、工程模拟、图像处理、人工智能和加密货币挖矿等。随着技术的不断进步，计算机的算力也在持续提升。这可以通过升级硬件组件、采用更先进的制程技术、优化算法和软件，以及利用并行计算等方式实现。例如，图形处理单元（GPU）在高性能计算和深度学习领域的应用，显著提升了系统的算力。提升计算机算力的意义包括：
1. 加速科学研究与发现：在科学研究中，许多问题需要大规模计算来模拟和分析，如天文学、气象学、材料科学等。提升算力能够加快数据处理和模拟的速度，帮助科学家更快地发现新知识和洞察。
2. 促进工程设计和模拟：工程领域需要进行复杂的模拟和计算，如飞机设计、建筑结构分析、汽车碰撞测试等。高算力可以加速这些过程，减少开发周期，提高产品质量。
3. 支持医学研究与医疗应用：医学图像处理、药物研发、基因组学分析等需要大量计算资源。算力的提升有助于更快地分析医学数据，加速药物筛选和疾病诊断。
4. 推动人工智能和机器学习：训练复杂的人工智能模型，如深度神经网络，需要大量计算资源。高算力有助于加速模型训练，提高模型性能和准确度。
5. 改善虚拟现实和增强现实体验：虚拟现实和增强现实应用需要实时图形渲染和物理模拟。提升算力可以提高渲染质量和交互性，使用户获得更逼真的体验。

2. 为什么要用GPU来训练神经网络而不是CPU

许多现代神经网络的实现基于GPU，GPU最初是为图形应用而开发的专用硬件组件。所以神经网络收益于游戏产业的发展。

中央处理器（central processing unit，简称CPU）作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元。CPU自产生以来，在逻辑结构、运行效率以及功能外延上取得了巨大发展。

CPU出现于大规模集成电路时代，处理器架构设计的迭代更新以及集成电路工艺的不断提升促使其不断发展完善。从最初专用于数学计算到广泛应用于通用计算。

从4位到8位、16位、32位处理器，最后到64位处理器，从各厂商互不兼容到不同指令集架构规范的出现，CPU 自诞生以来一直在飞速发展。

冯诺依曼体系结构是现代计算机的基础。在该体系结构下，程序和数据统一存储，指令和数据需要从同一存储空间存取，经由同一总线传输，无法重叠执行。根据冯诺依曼体系，CPU的工作分为以下 5 个阶段：取指令阶段、指令译码阶段、执行指令阶段、访存取数和结果写回。

3. 人工智能中的算力单位Petaflop/s-day

人工智能领域，深度学习技术的蓬勃发展带动了模型的快速增长。例如，BERT的参数量达到3亿，GPT-2更是升级到15亿，而nVidia推出的Megatron威震天模型参数量更突破到80亿。模型规模的扩大固然带来了出色的性能，然而，这也对计算资源提出了空前的挑战。

衡量计算能力的单位从传统的FLOPS提升到了更综合的“petaflops/s-day”，即每天每秒进行10的15次方次的神经网络运算，这使得算力的度量更为直观。例如，训练OpenAI Five模型所需算力达800 pfs-day。

简而言之，1 petaflops/s-day代表一天内进行大约10的20次方次的运算。OpenAI进一步解释指出，pfs-day这个单位旨在提供一个计算负载的概念，类似于kW-hr衡量能源。计算负载不基于硬件的峰值理论计算，而实际是预估真正执行的操作数量。不论数值精度如何，每次加法或乘法均被视作单一操作，从而FLOP这一术语的精确性略有偏离。

以800 pfs-day为例，需要256块P100 GPU以及12.8万个CPU核心的投入，总计耗时10个月。相当于在DOTA上的45000年游戏训练量，日均等同于人类连续游戏180年。在Rerun新版本中，尽管OpenAI进行了优化，但仍需大约150 pfs-day的算力。

以下是部分典型模型预计的算力消耗，如BERT-LARGE模型的预期最大消耗不足10个pfs-days。

近年来，AI训练对于算力的需求增长了30万倍，平均每隔100天翻一番，这一速度远超传统的摩尔定律。

4. 显卡1g能跑神经网络吗

能。根据神经网络信息得知，1G显存，默认情况下配置肯定跑不了程序，但是通过自定义参数能跑。在GPU算力高于5.0时，可以用来跑神经网络，算力越高，计算能力越强。显存越高，意味着性能越强悍。特别是对于CV领域。

5. Intel的NPU算力如何是干嘛用的

现在的Intel处理器加入了NPU技术。

NPU的全称是神经网络计算单元，主要负责图形类运算，有人质疑这个NPU其实是CPU核心经过改造而来，但我认为这种理解是合理的，因为NPU拥有独立的运算、寄存器、核心。

NPU与CPU共享内存资源。

类似地，我们可以认为核显是CPU经过改造而来的。

NPU内部包含2个神经计算引擎，类似核心，从架构图可以看出其结构。

每个神经计算引擎都配备了矩阵乘法和卷积单元，支持数据转换和激活函数等，能够支持生成式AI、计算机视觉、图像增强和协作AI等方面的应用。在引入NPU之后，之前需要CPU和GPU参与的大量运算任务可以转移至NPU上完成。

合理调用NPU，可以提高续航能力。

除了NPU，Intel的GPU部分也能执行AI加速，整体算力如何呢？

通过AI benchmark跑分，NPU的性能大约是核显GPU（128EU核心）的60%。

也就是说，我们可以将NPU看作Intel提供的大核显，整体性能与RTX3050相当。

唯一的担忧是生态问题。NPU的调用需要加入Intel的AI平台，目前该平台用户较少。

PS：2024年可能被视为AI元年，届时预计会有更多AI软件落地。

小新pro16是首发序列的AIPC，值得关注，其核心亮点在于核显和续航。

如果不使用NPU，也不需要核显进行视频剪辑等操作，我更推荐购买23款的Thinbook 14+，性价比更高！