讯飞智水大模型

技术简介

该技术产品由训练、推理、开发和应用四大平台组成。训练平台提供预训练、精调、微调的能力，推理平台实现文本生成、知识问答、逻辑推理、语言理解等能力，开发平台可实现多种任务的编排、大模型能力的提供及应用助手的开发，应用平台为大模型具体的业务应用，比如预案的结构化与信息抽取。 该技术产品是利用大量数据预训练而具备大量参数的语言模型，实现对已知信息预测下一个token（词或句子）。技术特性：1.全栈全流程国产化，从训练到推理全栈国产化，且与华为等厂商深度合作，打造昇腾生态，构建软硬一体化方案，实现性能和效率的提升，快速部署交付、即插即用。与华为硬件深度优化，性能更优，同级别配置更高；2.开箱即用的通用插件和场景模板，高效满足行业需求；高效处理第三方对接，面向特定场景优化大模型的输出效果；可快速根据业务场景进行自定义编排；3.提供完善的运营支撑体系，多种场景服务包组合，根据需要进行场景服务落地；提供深度定制服务，覆盖数据，算力，效果全方面运营，支持驻场调优，算力运营等。

主要性能指标

1.满足5路并发，QPS(token/秒)≥200情况下，平均首次响应时间≤0.1秒，平均响应时间≤5秒； 2.单卡训练时，平均能够达到1246.85tokens/秒。

推广情况

该技术产品已在安徽省凤凰河试点应用，辅助完成山洪灾害调查评价、指挥调度决策、山洪灾害风险形势分析、应急处置方案和总结报告生成等工作，对防汛工作人员实现科技赋能，具备应对突发强降雨、水污染和山洪灾害等事件的应急处置能力，协助人员科学高效做出决策。

持有单位：讯飞智元信息科技有限公司

通讯地址：安徽省合肥市高新区望江西路666号

联系人：王丹丹

联系电话：18555018688