池化算力

1. 浪潮服务器在深圳有经销点吗

目前在深圳有浪潮服务器的只有十次方平台，可以上他们网站看看了解下，如果你就在深圳，可以去车公庙泰然科技园213栋3楼3D07，这是他们的详细位置。

2. CNN可解释性从入门到放弃

Kuo 是机器学习的前辈，看不惯几年来的调参浪潮，因此自己开疆拓土提出了一套不用反向传播（用传统方法 PCA）的 CNN。虽然我不敢苟同，但是一代人有一代人熟悉的方法，这个世界需要弄潮儿，也需要摆渡人。

尽管 CNN 已经取得了 state-of-the-art 的地位，但是仍然存在一些问题：over-parameters：大量的参数进行反向传播，数学上难以解释；numerous tricks：复杂的网络结构、Dropout 等让网络变得难以理解；sensitivitity：受到攻击时鲁棒性差。

针对这些问题 Kuo 搞了一个新的 CNN 模型 FF CNN，模型有三个 优点 ：不需要反向传播，因此速度更快，资源占用少；每一个 layer 可解释，layer 也不多，没有深度学习的黑箱；是一个半监督（甚至可以是无监督）模型，不依赖于 label。

Kuo 正在改进的 缺点 有：准确率目前略低于带有 BP CNN，但是仍有提升空间；虽然没有明确说明，但是模型应该是 problem special 的，需要根据数据集特点手动调整。

此外，Kuo 设计了两个方面的实验对比 FF CNN 和 BP CNN：分类问题的准确率、受到攻击时的鲁棒性。

CNN 的含义

CNN 是一系列的特征映射。这些特征映射可以分为升维和降维两类。

大多数时候都是在降维，少数时候是在升维。其中，升维是在扫描整个图像，得到尽可能多的有效特征。降维则是从当前特征中选择最有效的特征。升维的方法有卷积。降维的方法有PCA、pooling。保持维度，增强特征的方法有激活函数、全连接（也可以用于降维）。

卷积的含义

对于卷积公式我们可以这样理解训练参数 [图片上传失败...(image-281cf0-1572431090839)]

：对于传统的 BP CNN，它是过滤器的权重（需要优化的参数），求过滤器的权重与输入数据的内积即为匹配过滤器的过程。我们还可以这样考虑，将它当作一组线性空间的基，求基与输入数据的积即为特征在低维空间的近似。

池化的含义

卷积帮助我们得到猫的模式，池化帮助我们选择猫的模式。池化会帮助我们选择众多模式中共有的部分。

比如，所有的 9 张猫都有相似的脸，池化就会抹掉其他信息，提取公共的猫脸。我们可以用统计分析模拟这个过程。

这里 Kuo 解释了为何 max pooling 比 average pooling 更有效。这是因为 max pooling 能够提取窗格内较远的信息，从而更好的表征位置不同而形状相同的信息。比如，图中的猫脸位置稍有不同，但是在 pooling 的作用下都回到了画面中心。

多层感知器的含义

多层感知器在 CNN 中充当的是分类器的角色，每一个隐藏层都是一次映射，将输入降维。我们可以这样理解，每一次映射是从 intra-class 到 class 的过程，多次映射后获得所需维度的 class。

比如，第一次映射区分了蟒蛇、眼镜蛇、加菲猫、波斯猫，第二次映射区分了蛇和猫。多次映射后得到了在我们所需维度上的分类。

我们可以使用 K-Means 模拟这一过程，对于一个 40 -> 20 -> 10 的多层感知器，我们可以使用 K-Means 聚 40 类、20 类、10 类，模拟每一个隐藏层的输入和输出。

有了每一层的输入和输出，我们可以使用最小平方回归（如上图），求解 intra-class 到 class 的映射过程。从而，将反向传递计算 [图片上传失败...(image-401532-1572431249509)]

变成了解方程计算 [图片上传失败...(image-f088c1-1572431249509)]

。

集成与叠加

我们都知道，多层的 PCA 效果较差，因此 FF CNN 无法像 BP CNN 一样通过叠加 layer 提高对特征的表征能力。但是 Kuo 认为，可以通过集成（ensemble）多种 FF CNN 来提高 FF CNN 的性能。FF CNN 就像一个简单的小机器人，BP CNN 则是一个复杂的大机器人。FF CNN 通过量取胜，BP CNN 通过复杂性取胜。

在上图中，Kuo 构建了 3 种 FF CNN，在受到攻击时，可以采用多数投票制进行集成。一个小机器人被打倒，其他的机器人仍能存活下来。此外，Kuo 还列举了根据 RGB 设计 FF CNN 集成的方法。

虽然 Kuo 没有阐述 FF CNN 在并行等领域的应用，这个模型效率高、能耗低，比 BP CNN 具有更大的并行可能，未来或许会在嵌入式等领域大放光彩。

FF CNN 与 BP CNN 的应用场景抽象

Kuo 最后的总结很正经，前辈客观地阐述了 FF 和 BP 的应用场景，批评了一些人（也就是我们这届差生 233）不分 data collection 青红皂白就上 BP 的做法。他说：

FF 是一种 data-independent 模型，因此它高效，适合解简单问题。BP 是一种 data-driven 模型，因此它耗时，适合解复杂问题。

我们拿到一个 dataset 的时候，没有人会跟你说这个 dataset 是简单还是复杂的，你的 dataset 可能不是 pure 的。

如果你用 data-driven 模型，复杂的 data 可能会覆盖简单的 data 造成过拟合。如果你用 data-independent 模型，可能会因为无法表征复杂的 data 而效果较差。

一切设计都要因 dataset 制宜。

Kuo 发表了一篇论文“ Interpretable Convolutional Neural Networks via Feedforward Design ”，表述严谨清晰，感兴趣可以了解一下。

我很佩服这位前辈，手动把消耗大量算力的训练参数自己 “解” 了出来。现在，我们不止能对结果求交叉熵，对比预测结果和实际 label 的差异，还能在每一步计算 FF CNN 求得的参数和 BP CNN 训练的参数的差异。

从上图我们可以看出，这个解和BP求得的解仍有一定距离。

https://zhuanlan.hu.com/p/51673309

3. GPU为什么要做池化

用于提升GPU利用率。

当时在软斗码件定义CPU的赛道上，已经出现了如VMware的巨头公司，但同为算力来源的GPU方面，却并未出现足够优秀的虚禅销者拟化解决方案。截止2021年12月29日贺薯收盘，VMware的市值为493.02亿美元，2021财年总收入为117.67亿美元。另一方面，随着AI、区块链等技术的发展与应用，GPU的应用场景正在加速扩展，对于虚拟化解决方案的需求也愈发强烈。

4. WEB服务器/应用服务/数据服务器，分别有配置要求

虚拟化，如exsi6.7---vSphere针对机器学习和AI工作负载优化（简单理解，传统服务器，无论

CPU与GPU,都有限的，最高配置，也有速度限的，，而虚拟化，就是将N台机的资源整合，所有机器都可调配，优化所有性能，将N台机合一使用。。。。）

我们在解藕了计算资源,存储资源,网络资源后,新的应用场景,例如大数据,AI,ML需要新的算力技术,比如GPU。在vSphere7之前或者说在目前市场上的AI/ML算力解决方案中都是将GPU的算力和CPU.

基于vSphere针对机器学习和AI工作负载优化

像ML和AI这样的现代应用程序需要计算加速来处理大型和复杂的计算。vSphere利用功能强大的加速器来处理VM或容器中的工作负载。基础结构也可以用于某些HPC工作负载。

整合和共享硬件加速器

轻松确定未充分利用的孤立且昂贵的资源。不论位置如何，都可以远程（全部或部分）共享硬件加速器。GPU资源的切分也变得灵活

现在和将来扩展

在整个基础架构中利用GPU，并使用同一基础架构集成不断发展的技术，例如FPGA和定制ASIC。

5. ai算力云谁最便宜

ai算力云趋动云最便宜。根据查询相关信息显示，趋动云便宜好用的AI算力池化云IDC数据显示，以GPU为代表的加速卡拥有更多计算单元，更适合AI计算。