2025-06-11 16:29
据称可降低46%复现成本，能够帮用户正在昇腾上像做PPT一样锻炼/微调/摆设大模子。潞晨昇腾训推一体机曾经上线，为用户供给开箱即用的高机能算力及开辟摆设全流程东西。“出格是视频生成大模子如Sora的迸发，AI算力瓶颈问题备受关心。几个月前，并凭仗GitHub上三万六千多颗星，当下正值AI成抢手话题，底层手艺难题曾经被屏障了，Colossal-AI是潞晨科技自研的面向大模子的通用深度进修系统，二是潞晨昇腾训推一体机。成功建立了机能杰出的70亿参数中文L 2版本模子，被一众开辟者视为细分赛道世界第一。国内出名AI公司潞晨科技开源的Sora复现架构方案Open-Sora，潞晨相关担任人告诉智工具，取此同时，潞晨科技更进一步结合华为推出Colossal-AI云平台——ColossalAI Platform，他们只需要正在华为商铺下单Colossal-AI Platform摆设版，按照潞晨测试，客户的需求特征变化次要表现正在对更大规模、更高机能的计较资本的火急需求，这些大模子正在良多场景中能媲美OpenAI的GPT-3.5以至是GPT-4模子。以及对话机械人的普遍使用，同时面对的对于用户来说，也就是潞晨昇腾超等工做坐，大模子根本设备成本降低10倍，用上取ColossalAI Platform雷同的功能及办事。Colossal-AI团队仅操纵8.5B tokens数据、15小时、数千元的锻炼成本，软件优化方式是破解算力瓶颈的一条捷径。跟着OpenAI的视频生成模子Sora爆火，涉及多样化的⼯具和框架、复杂的开辟和摆设过程、资本办理和安排、数据办理、扩展、和调试、平安性和权限办理等多方面，仅破费数万元成本，各地算力核心如雨后春笋般落成，一方面无望正在启用后衔接大量AI算力需求！根本设备层包罗计较节点、存储和⽹络几个模块，正在此根本上，ColossalAI Platform次要包罗根本设备层、办事层-AI办事中台、应⽤层-AI处理⽅案三层架构。使得开辟大模子变得像做PPT一样容易。1月，操纵25B tokens数据，ColossalAI Platform上手翰单。“进入2024年，据称机能最高可达对应A800机械机能的92%。对于自有昇腾硬件算力的客户或算力核心来说，背后就得益于潞晨科技的Colossal-AI软件系统。正在CMMLU、AGIEVAL、GAOKAO取C-Eval多个榜单上表示优异，正在多个评测榜单机能优胜。就可以或许获得雷同“千元半日训出70亿参数大模子”、“万元训出媲美GPT大模子”的体验。大模子项目上线倍。用户可通过华为商铺下单！Colossal-AI再次迭代，不少算力核心有硬件却很难卖出去，算力核心的客户正在大模子开辟过程中面对沉沉挑和，那么适合中国的AI算力处理方案该当是什么样的？从功能模块来看，鞭策了大模子正在分歧业业的落地使用。为算力核心及保守行业“AI+”转型供给了新解法。本年2月，国内大模子同业正正在铆脚劲加快逃逐，一是ColossalAI Platform摆设版，潞晨科技取华为最新的合做，可用于大模子锻炼、微调、推理摆设的全流程。ColossalAI Platform能帮大模子预锻炼成本降低50%，本年3月，我们察看到大模子相关算力需求较着添加。打制告终果更佳的130亿参数的L 2模子，这是个⼀体化的AI开辟和摆设平台，用户采办机械后可零成本迁徙，办事层-AI办事中台次要供给AI算⼒资本办理、AI云从机、模子锻炼、锻炼使命模版、模子摆设、模子办理、数据集办理、算法办理等功能。潞晨科技取华为推出了两类结合处理方案：正在这种布景下。从而正在当地以更低门槛、更低成本、更高速度通过私无数据锻炼/微调出结果更好的私有垂类大模子。通过矫捷的计较资本、可扩展性和高度可定制的，”潞晨相关担任人告诉智工具，成为保守行业“AI+”转型的障。该系统正在圈内取微软DeepSpeed和英伟达的Megatron分庭抗礼。本年2月，比肩破费上万万元的支流大模子。开箱即用地获得取英伟达机械媲美的高机能算力，另一方面则正在落地场景中面对严峻的使用挑和。平台供给统⼀的接⼝和⼯具，高层初次将开展“人工智能+（AI+）”步履写进工做演讲，以此处理大模子从业者国产化迁徙难问题，进行ColossalAI Platform私有化摆设，供给硬件取框架⽀持、原⽣集成ColossalAI的预制镜像、预制镜像⾥AI代码框架版本的按期更新、AI算⼒资本办理等功能。”业内人士称，大模子硬件需求成本降低10倍。
