神經網路算力租用

1. 什麼是算力

算力是衡量計算機系統或設備在單位時間內執行指令、運算或處理數據的能力的指標。它用於評估計算機硬體或系統的性能，尤其是在處理復雜任務、運行大規模程序或進行高性能計算時。算力受多個因素影響，包括處理器的架構、主頻（時鍾頻率）、核心數量、內存帶寬、緩存容量等。擁有較高算力的計算機能夠更快地完成任務，處理更多的數據，或進行更復雜的計算。這在眾多應用領域中都非常關鍵，例如科學研究、工程模擬、圖像處理、人工智慧和加密貨幣挖礦等。隨著技術的不斷進步，計算機的算力也在持續提升。這可以通過升級硬體組件、採用更先進的製程技術、優化演算法和軟體，以及利用並行計算等方式實現。例如，圖形處理單元（GPU）在高性能計算和深度學習領域的應用，顯著提升了系統的算力。提升計算機算力的意義包括：
1. 加速科學研究與發現：在科學研究中，許多問題需要大規模計算來模擬和分析，如天文學、氣象學、材料科學等。提升算力能夠加快數據處理和模擬的速度，幫助科學家更快地發現新知識和洞察。
2. 促進工程設計和模擬：工程領域需要進行復雜的模擬和計算，如飛機設計、建築結構分析、汽車碰撞測試等。高算力可以加速這些過程，減少開發周期，提高產品質量。
3. 支持醫學研究與醫療應用：醫學圖像處理、葯物研發、基因組學分析等需要大量計算資源。算力的提升有助於更快地分析醫學數據，加速葯物篩選和疾病診斷。
4. 推動人工智慧和機器學習：訓練復雜的人工智慧模型，如深度神經網路，需要大量計算資源。高算力有助於加速模型訓練，提高模型性能和准確度。
5. 改善虛擬現實和增強現實體驗：虛擬現實和增強現實應用需要實時圖形渲染和物理模擬。提升算力可以提高渲染質量和交互性，使用戶獲得更逼真的體驗。

2. 為什麼要用GPU來訓練神經網路而不是CPU

許多現代神經網路的實現基於GPU，GPU最初是為圖形應用而開發的專用硬體組件。所以神經網路收益於游戲產業的發展。

中央處理器（central processing unit，簡稱CPU）作為計算機系統的運算和控制核心，是信息處理、程序運行的最終執行單元。CPU自產生以來，在邏輯結構、運行效率以及功能外延上取得了巨大發展。

CPU出現於大規模集成電路時代，處理器架構設計的迭代更新以及集成電路工藝的不斷提升促使其不斷發展完善。從最初專用於數學計算到廣泛應用於通用計算。

從4位到8位、16位、32位處理器，最後到64位處理器，從各廠商互不兼容到不同指令集架構規范的出現，CPU 自誕生以來一直在飛速發展。

馮諾依曼體系結構是現代計算機的基礎。在該體系結構下，程序和數據統一存儲，指令和數據需要從同一存儲空間存取，經由同一匯流排傳輸，無法重疊執行。根據馮諾依曼體系，CPU的工作分為以下 5 個階段：取指令階段、指令解碼階段、執行指令階段、訪存取數和結果寫回。

3. 人工智慧中的算力單位Petaflop/s-day

人工智慧領域，深度學習技術的蓬勃發展帶動了模型的快速增長。例如，BERT的參數量達到3億，GPT-2更是升級到15億，而nVidia推出的Megatron威震天模型參數量更突破到80億。模型規模的擴大固然帶來了出色的性能，然而，這也對計算資源提出了空前的挑戰。

衡量計算能力的單位從傳統的FLOPS提升到了更綜合的「petaflops/s-day」，即每天每秒進行10的15次方次的神經網路運算，這使得算力的度量更為直觀。例如，訓練OpenAI Five模型所需算力達800 pfs-day。

簡而言之，1 petaflops/s-day代表一天內進行大約10的20次方次的運算。OpenAI進一步解釋指出，pfs-day這個單位旨在提供一個計算負載的概念，類似於kW-hr衡量能源。計算負載不基於硬體的峰值理論計算，而實際是預估真正執行的操作數量。不論數值精度如何，每次加法或乘法均被視作單一操作，從而FLOP這一術語的精確性略有偏離。

以800 pfs-day為例，需要256塊P100 GPU以及12.8萬個CPU核心的投入，總計耗時10個月。相當於在DOTA上的45000年游戲訓練量，日均等同於人類連續游戲180年。在Rerun新版本中，盡管OpenAI進行了優化，但仍需大約150 pfs-day的算力。

以下是部分典型模型預計的算力消耗，如BERT-LARGE模型的預期最大消耗不足10個pfs-days。

近年來，AI訓練對於算力的需求增長了30萬倍，平均每隔100天翻一番，這一速度遠超傳統的摩爾定律。

4. 顯卡1g能跑神經網路嗎

能。根據神經網路信息得知，1G顯存，默認情況下配置肯定跑不了程序，但是通過自定義參數能跑。在GPU算力高於5.0時，可以用來跑神經網路，算力越高，計算能力越強。顯存越高，意味著性能越強悍。特別是對於CV領域。

5. Intel的NPU算力如何是幹嘛用的

現在的Intel處理器加入了NPU技術。

NPU的全稱是神經網路計算單元，主要負責圖形類運算，有人質疑這個NPU其實是CPU核心經過改造而來，但我認為這種理解是合理的，因為NPU擁有獨立的運算、寄存器、核心。

NPU與CPU共享內存資源。

類似地，我們可以認為核顯是CPU經過改造而來的。

NPU內部包含2個神經計算引擎，類似核心，從架構圖可以看出其結構。

每個神經計算引擎都配備了矩陣乘法和卷積單元，支持數據轉換和激活函數等，能夠支持生成式AI、計算機視覺、圖像增強和協作AI等方面的應用。在引入NPU之後，之前需要CPU和GPU參與的大量運算任務可以轉移至NPU上完成。

合理調用NPU，可以提高續航能力。

除了NPU，Intel的GPU部分也能執行AI加速，整體算力如何呢？

通過AI benchmark跑分，NPU的性能大約是核顯GPU（128EU核心）的60%。

也就是說，我們可以將NPU看作Intel提供的大核顯，整體性能與RTX3050相當。

唯一的擔憂是生態問題。NPU的調用需要加入Intel的AI平台，目前該平台用戶較少。

PS：2024年可能被視為AI元年，屆時預計會有更多AI軟體落地。

小新pro16是首發序列的AIPC，值得關注，其核心亮點在於核顯和續航。

如果不使用NPU，也不需要核顯進行視頻剪輯等操作，我更推薦購買23款的Thinbook 14+，性價比更高！