A. 芯片算力和精度(int8、fp16、双精度、单精度等等)是怎样的
芯片算力与精度是衡量计算设备性能的关键指标。FP格式，包括双精度（FP64）、单精度（FP32）、半精度（FP16）及FP8等，代表浮点运算数据格式。INT格式，如INT8、INT4等，则代表整数运算数据格式。位数越高，精度越高，所能处理的运算复杂度也越高，对应的应用场景更加广泛。
计算性能评估不仅关注运算次数，还需考虑精度。在高性能科学计算领域，如天气预报、化学运算、分子模型构建、天体物理模拟等，对数据精度要求极高，通常选用双精度性能更强的GPU。AI领域，如大模型训练、自动驾驶、智慧城市建设等，需处理大量数据、构建复杂深度学习模型，单精度算力更佳。而对于利用预训练模型进行推理的业务，如元宇宙（虚拟数字人）、人脸识别等，则倾向于采用整型精度算力。
不同应用领域对芯片算力与精度的需求各异，合理选择匹配的算力结构是实现高效计算的关键。随着技术的不断发展，未来芯片将更加注重算力与精度的综合优化，以适应日益复杂多变的应用场景。
B. 英码科技推出升腾系列AI加速卡：专为视频解析与模型推理场景打造，更具成本竞争力！
当前，人工智能正迅速融入各行各业，算力作为关键的新质生产力，其重要性日益凸显。在全球化竞争加剧的背景下，国产算力的发展受到广泛关注，市场需求显著增长。华为升腾凭借其在AI领域的技术实力，成为国内AI应用落地的坚强后盾。
英码科技作为升腾的重要合作伙伴，不仅具备基于升腾平台研发自有品牌算力产品的能力，还能根据市场需要定制差异化产品，有效推动企业数字化转型，提高效率和竞争力。作为升腾的金牌分销商，英码科技享有销售升腾系列产品的权利，并得到强大的技术支持，确保产品和服务满足多样化需求。英码科技与升腾携手，推出了多款具有竞争力的算力硬件产品，包括AI边缘服务器、AI边缘计算盒子等。
英码科技最新推出的EA300系列AI加速卡，专为视频解析与模型推理场景设计，搭载升腾AI芯片，采用华为自研的达芬奇架构与高性能3D Cube计算引擎，实现了算力与能效的大幅提升。这些加速卡具备高性能、高能效比和高安全性的特点，为视频处理、模型推理等需求提供强大支持。
英码科技EA300V和EA300V Pro视频解析卡聚焦视频解析场景，能高效处理实时视频流并进行深度分析，内置DVPP预处理模块，确保视频数据的高清晰度和流畅性。这些卡集成于服务器中，支持AI推理、视频和图片的编解码，广泛应用于智慧城市、智慧交通、智慧园区等领域。相比业界同类产品，EA300V系列在视频路数支持和每瓦视频数上表现更优，成本效益显著。
英码科技EA300I Pro和EA300I Duo模型推理卡则具备强大的AI模型推理能力，提供高性能计算，支持复杂AI推理任务。EA300I Pro拥有140TOPS@INT8和70 TFLOPS@FP16的强大算力，支持128路1080P@30FPS视频解码和24路1080P@30fps视频编码，内存容量为24G，并支持ECC，确保高效和可靠的数据处理。EA300I Duo在Pro的基础上进一步提升了性能，AI算力达到280TOPS@INT8和140 TFLOPS@FP16，编解码能力增强，支持256路1080P@30FPS的视频解码和48路1080P@30fps的视频编码，内存容量提供48G和96G两种选择，支持多种AI模型和算法，适用于广泛的AI推理场景。
英码科技EA300系列加速卡配套升腾一体化推理开发工具，提供一站式技术支持，简化开发流程，降低门槛，助力应用快速上线。升腾软件栈包括丰富的行业SDK、100+参考代码样例和高性能预训练模型，加速模型迁移和应用部署。引入的MindX SDK为视频图像AI应用开发提供了强大支持，增强了解码能力，特别是对于大算力推理模型，意味着更高的性能表现。
英码科技提供多维度的产品定制服务，为客户打造灵活的算力解决方案，包括符合项目需求的服务器配置、差异化硬件设计等，并提供算法适配、系统整合等软件服务，确保项目从评估到实施的每个阶段顺利进行，实现高效、低成本落地。
综上所述，英码科技的EA300系列加速卡，通过强大的计算性能、国产化带来的高性价比和高可靠性，以及一站式开发工具和差异化服务，为视频解析和模型推理场景提供卓越的算力解决方案，助力千行百业的数字化转型。
C. 大模型究竟要多少算力国产GPU何时能替代
大模型训练成本和算力需求分析
大模型训练所需算力是一个关键议题。训练每参数每 token 的算力需求大致为常数，在训练阶段约为6FLOPs，推理阶段为2 FLOPS。平均算力成本受 GPU 性能影响，每 FLOP 的价格平均约在2.5年降低40%-50%。算力使用效率取决于软硬件优化水平，训练阶段效率可能低至20%，目前主流平台可达50%左右，推理阶段效率则在25%左右。
举例计算 GPT-3 训练所需算力，其参数规模为1750亿，训练3000亿 token，需要约3.15*10^23 FLOP 算力。以2020年算力水平为例，使用1片 V100 GPU（在FP16精度下理论算力为28TFLOP）完成此任务，需357年。若要将训练时间缩短至一个月，需要至少购买3000张以上V100（在效率不降的情况下，实际应更多）。
各主流模型可能采用的 GPU 卡数如下：
- GPT-4：可能需1万到2.5万块A100训练
- Falcon-40B：384个A100训练
- Inflection：3500个H100训练了一个等价于GPT-3.5的大模型
- LLaMA-1：2048个A100
- GPT-5：可能需3万到5万个H100（存疑）
GPT-3.5推理成本计算：参数规模为1750亿，输入500 token长度提示词，输出500 token内容，使用A100实现，算力使用效率为25%，单次推理算力需求为3.5*10^14 FLOP，成本约为0.003美元/千token。微调过的GPT-3.5-turbo售价为0.002美元/千token，基础版的GPT-3即达芬奇3是0.02美元/千token。使用A100维护微调过的GPT-3.5可能亏损，但基础版的GPT-3可能盈利。
在引入H100后，成本下降，估算为0.002美元/千token。OpenAI等企业拥有较大规模的GPU储备，如Meta的2.1万块A100、Tesla的7000块A100、StabilityAI的5000块A100、GPC的2.5万块H100、Azure的1-4万块H100等。中国企业已订购价值10亿美元的A800处理器，将于今年交付，此外还购买了40亿美元的GPU，将于2024年交付。
英伟达GPU的优势主要体现在以下几个方面：
1. 单片算力：从V100的28TFLOP到A100的312TFLOP，再到H100的1513TFLOP，支持32、64精度，减少精度损失。
2. 多芯片集群能力：GPT-3训练至少需要350G显存、1.3T内存，单卡无法达到，训练时需要多卡集群，英伟达的NVLINK技术能串联多GPU。
3. 软件生态：支持常用深度学习框架如TensorFlow、PyTorch、Caffe等，以及各类库、工具、驱动程序。
国产GPU方面，华为升腾、壁仞科技、摩尔线程等企业虽有进展，但距离英伟达仍有差距。升腾在精度和集群能力上有一定优势，但生态兼容性尚待提高。壁仞科技在单卡算力上有超越，但集群互联带宽等仍有提升空间。摩尔线程单卡性能较差，但产品线涵盖数据中心、桌面显卡等，被实体清单所影响。
综上所述，底层大模型训练国产GPU暂时难以满足需求，更适合微调或训练较小规模的模型。对于超大参数规模的模型底座，国产GPU在精度和集群能力方面存在挑战，成本相对较高。未来发展趋势将取决于国产GPU在性能、生态兼容性以及实体清单影响下的产能调整。
D. 深圳之后“第二城”：华为布局西安，剑指“每秒百亿亿次”
1. 华为参与建设的西安人工智能计算中心，其规划算力可与深圳“鹏城云脑”相媲美。
2. 随着科技的发展，“人工智能”已成为国家发展战略的重要部分，西安被誉为“国家新一代人工智能创新发展试验区”。
3. 该计算中心的建立，旨在推动国家战略任务的实施和促进经济与产业的发展。
4. 计算中心分两期建设，一期算力达到300PFLOPS FP16，二期将建设产业研发中心，目标在2025年实现1000PFLOPS FP16的算力。
5. 人工智能的“算力”是衡量其性能的关键指标。以“鹏城云脑II”为例，其AI算力达到每秒百亿亿次，在全球范围内几乎是最强大的超级计算能力。
6. 西安的人工智能计算中心将服务于自动驾驶、智慧医疗、智慧城市等多个领域，其目标是在2025年达到与深圳“鹏城云脑II”相当的算力水平。
7. 华为表示，将助力西安打造人工智能“一中心四平台”的整体框架，通过集约化、统一化的计算中心，推动产业集群的数字化与智能化发展。
8. 在人工智能领域，西安已有超算中心等基础设施，计算能量巨大。以“鹏城云脑II”为例，其在全球超级计算领域具有重要地位。
9. 西安作为科研和创新重镇，拥有强大的学术资源、科研实力和创新基础。随着经济实力的增强和产业结构的变化，省市正积极推动西安建设“国家综合性科学中心”。
10. 西安的人工智能产业发展迅速，截至2020年，已有150余家相关企业，年产值约120亿。规划到2022年，产业规模将超过200亿，相关产业规模突破1000亿。
11. 西安在2021年的全球AI创新力城市榜单中名列前茅，华为参与建设的计算中心将进一步推动制度、政策创新，加快形成国家新一代人工智能试验区的西安方案。
12. 西安的人工智能计算中心不仅是对深圳“鹏城云脑”经验的借鉴，更可能实现制度创新，对经济社会发展产生深远影响，形成国家新一代人工智能试验区的新方案。
E. 英伟达H20 AI GPU参数曝光：完全符合美国出口管制
英伟达原计划于2023年推出三款GPU产品，用于人工智能计算，分别为HGX H20、L20、L2。然而，由于美国商务部于同年10月更新的高性能芯片出口管制措施，使得英伟达的发布计划受到影响。据此前透露的参数，HGX H20与H100、H200同属系列，采用英伟达Hopper架构，显存容量高达96GB HBM3，GPU显存带宽为4.0TB/s。其FP8算力为296 TFLOPS，FP16算力为148 TFLOPS，算力仅为H200的1/13。HGX H20具备NVLink 900GB/s高速互联功能，采用SXM板卡形态，兼容8路HGX服务器规格，方便集群AI大模型训练。从参数上看，其性能密度和算力符合美国出口管制规定。
另外两款GPU产品L20、L2采用PCIe 4.0 x16板卡形态，搭载48GB和24GB GDDR6显存。算力相对H20较低。
面对美国对华出口管制措施，英伟达采取了一系列应对措施。在中国市场，英伟达下架了RTX 4090游戏显卡，随后推出缩水版RTX 4090 D，专门为国内市场设计，CUDA核心数从16384个减少至14592个，性能大约下降10%。
分析师郭明錤在2023年12月28日发布文章称，英伟达H20 AI GPU芯片预计于2024年第二季度开始量产，纬创将作为基板的独家供应商。
F. 算力芯片谁能替代英伟达的
沐曦公司近期宣布，其自主开发的国产 GPU 产品线中，最新的曦云 MXC500 GPU 仅耗时 5 小时便完成了点亮，这一过程标志着芯片功能测试的成功。沐曦的 GPU 产品阵列包括针对 AI 推理的 MXN 系列、AI 训练和通用计算的 MXC 系列，以及图形渲染的 MXG 系列。作为该公司产品家族的新成员，MXC500 被视为能够与英伟达 A100 和 A800 算力芯片相媲美的产品，其 FP32 算力目标值达到了 15 TFLOPS，而 A100 的该性能指标为 19.5 TFLOPS。MXC500 基于通用 GPU 架构，并且支持 CUDA 兼容性，预计将在年底开始大规模发货。
此外，沐曦的首款人工智能推理 GPU 产品，曦思 N100，已经进入量产阶段。该产品集成了 MXN100 异构 GPGPU 处理器和 HBM2E 显存，其单卡 INT8 算力最高可达 160TOPS，FP16 算力最高为 80TFLOPS。它还支持高达 128 路视频编码和 96 路视频解码，能够处理包括 HEVC、H.264、AV1、AVS2 在内的多种视频格式，并且最高支持 8K 分辨率视频。
据沐曦联合创始人杨建透露，公司的产品开发路线图显示，到 2025 年，沐曦计划推出整合了图形渲染功能的完整 GPU 产品线，以满足显示和游戏等应用场景的需求。
G. 2023骞存渶鏂版渶鍏ㄧ殑鏄惧崱娣卞害瀛︿範AI绠楁硶绠楀姏鎺掕岋紙鍖呮嫭鍗曠簿搴FP32鍜屽崐绮惧害FP16鐨勫规瘮锛
鍦ㄦ繁搴﹀︿範鐨勪笘鐣岄噷锛屾樉鍗℃ц兘鏃犵枒鏄鍐冲畾璁＄畻鏁堢巼鐨勫叧閿鍥犵礌銆傛湰鏂囧皢涓烘偍鎻绀2023骞存渶鏂版渶鍏ㄩ潰鐨勬樉鍗＄畻鍔涙帓琛岋紝鍖呮嫭鍗曠簿搴FP32涓庡崐绮惧害FP16鐨勬縺鐑堣緝閲忥紝浠ュ強鎬т环姣旂殑娣卞害娲炲療銆
涓撲笟鏄惧崱涓瑙
鏁版嵁鏉ヨ嚜鏉冨▉鏉ユ簮NVIDIA Professional Graphics Solutions | Linecard锛岃╂垜浠鑱氱劍浜庡湴琛ㄦ渶寮虹殑鏄惧崱鈥斺擧100銆侶100鐨凷XM鐗堟湰鍦ㄥ崐绮惧害涓嬪睍鐜板嚭鎯婁汉瀹炲姏锛岄珮杈捐繎2000TFLOPS锛岃繖鏃犵枒璁4090鐨165.2TFLOPS鐩稿舰瑙佺粚锛佽屼笖锛屼环鏍煎规瘮鍚屾牱鎯婁汉锛欻100 SXM鐗堟湰鍞浠24涓囦笉鍚绋庯紝鑰4090浠呴渶1.2涓囷紒
鍏充簬鍏朵粬鍙傛暟鐨勬帓琛岋紝鎴戜滑涓嶄粎鏈夌壒鏂鎷堿100涓嶸100鐨勫熀鍑嗘祴璇曪紝杩樻瀯寤轰簡閫傚悎鐨勬暟鎹妯″瀷锛岄拡瀵筎itan V銆乀itan RTX銆丷TX 2080 Ti鍜孯TX 2080杩涜屼簡鍥涚粍瀵规瘮娴嬭瘯銆備腑闂寸骇鍒鐨勫崱鐗囧俁TX 2070銆2060鍙奞uadro RTX 6000/8000锛屾垜浠閫氳繃鎻掑煎勭悊锛岀‘淇濇暟鎹鐐逛箣闂寸殑杩炵画鎬с
鍦ㄩ夋嫨鏃讹紝鎴戜滑鐗瑰埆鍏虫敞FP16璁缁冪殑鎬ц兘锛屽洜涓洪氬父璁や负瀹冨湪鏁堢巼涓婁紭浜嶧P32銆傛т环姣旀槸姣忎釜棰勭畻鍐崇瓥鑰呭叧娉ㄧ殑閲嶇偣锛屾瘡缇庡厓鎵鑳借幏寰楃殑绠楀姏锛屾槸琛￠噺浠峰肩殑鍏抽敭鎸囨爣銆
鎬т环姣斿垎鏋
浠RTX 3080涓哄熀鍑嗭紝鎴戜滑娣卞叆鍓栨瀽浜嗕竴缇庡厓鑳藉甫鏉ョ殑鎬ц兘鎻愬崌銆傛棤璁烘槸鍗曞崱1-2涓狦PU锛岃繕鏄鎵╁睍鍒4涓鎴8涓狦PU绯荤粺锛屾垜浠閮界粰鍑轰簡璇︾粏鐨勬т环姣旀帓琛屻傚湪鑰冭檻鍐呭瓨闇姹傛椂锛屼笉鍚屽簲鐢ㄩ嗗煙濡傞勮缁僒ransformer銆佸ぇ鍨嬬綉缁滆缁冦佽嗛戝勭悊绛夛紝閮芥湁鐩稿簲鐨勫唴瀛樺熀鍑嗘寚鍗椼
姝ゅ栵紝鎴戜滑杩樼簿閫変簡鍏充簬A100銆丄800銆丠100銆丠800绛変笉鍚岀増鏈鐨勫尯鍒瑙ｈ伙紝浠ュ強鏈哄櫒瀛︿範銆佹繁搴﹀︿範涓庡己鍖栧︿範鐨勫叧鑱斿拰鍖哄埆锛屽府鍔╂偍鍏ㄩ潰鐞嗚В鎶鏈鑳屽悗鐨勯昏緫銆
瀵逛簬纭浠堕夋嫨鐨勫洶鎯戯紝鏄璐涔扮‖浠舵湇鍔″櫒杩樻槸绉熺敤浜戞湇鍔★紵杩欓噷涔熺粰鍑轰簡娣卞叆鐨勬瘮杈冨拰寤鸿銆傚悓鏃讹紝娣卞害瀛︿範鐨勫叏闈㈠︿範璧勬簮鎺ㄨ崘锛屼互鍙婃湇鍔″櫒閰嶇疆鍙傝冿紝璁╂偍鍦ㄥ︿範鍜屽疄璺典腑娓稿垉鏈変綑銆
鏈鍚庯紝鎴戜滑鐨勪笓涓氬洟闃熼暱鏈熻嚧鍔涗簬绉戝﹁＄畻鏈嶅姟鍣ㄧ殑鐮斿彂锛屽弬涓庢斂閲囧钩鍙帮紝鎻愪緵H100绛夐《绾ф樉鍗＄殑閫夋嫨锛屼互鍙婇珮鎬ц兘鏈嶅姟鍣ㄧ殑瀹氬埗鍖栨柟妗堛