在当今数字经济蓬勃发展的时代，数据已然跃升为基础性资源、关键生产要素，更成为推动生产力进步的核心力量。近年来，大模型技术领域取得了令人瞩目的突破，而大规模高质量训练数据的投入无疑是这场技术飞跃的关键引擎，促使 “以数据为中心的人工智能” 迈入全新发展阶段。以近期发布的DeepSeek系列模型为例，其在训练过程中大量运用高质量推理数据集，有力地彰显了高质量数据对于大模型与垂直领域深度融合的重要意义。

一、高质量数据集建设的进展与挑战

（一）需求认知模糊不清

政府与业界对于行业高质量发展所急需的数据缺乏清晰认知。行业大模型的数据需求呈现出多样性与复杂性的特征。不同行业部门对于模型场景数据的需求大相径庭，涉及分析、决策、生成等不同任务类型，这就要求对业务场景有深刻透彻的理解。与此同时，大模型训练涵盖预训练、微调、反馈强化学习等多个阶段，需要融合对齐多个数据源、多种数据类型，极大地增加了数据处理与管理的难度。

（二）构建能力亟待提升

行业企业在高质量数据集构建方法与经验方面存在明显不足。构建大模型数据集涉及数据采集、清洗、标注、质量评估等核心环节，需要依据数据集规模庞大、多样性丰富、行业垂直属性强等特点，开展针对性的技术研发与适配。但传统的数据处理工具与技术难以满足大模型的严苛需求，急需引入先进技术与工具，以提升数据处理的效率与准确性。

（三）质量评价标准缺失

目前，业界对于行业数据集质量的评价缺乏统一且明确的标准。不同行业、不同数据源的数据在完整性与准确性方面参差不齐，严重影响大模型的训练效果与预测准确性，造成大量训练资源的浪费。此外，数据获取过程包含收集、清洗、标注等多个环节，耗费大量时间与经济成本，而现有的数据构建与采买缺乏统一衡量标准，导致难以高效获取高质量数据集资源。

二、推进高质量数据集建设

（一）通识类高质量数据集

通识类数据集主要由政府机构、科研机构、开源社区或大型互联网企业等公开数据构建而成，具有广泛的通用性，覆盖自然语言处理、计算机视觉、语音识别等多个领域。

（二）行业通用类高质量数据集

行业通用类数据集聚焦某一特定行业或领域的知识，具有高度专业性与针对性。其中包含特定行业的知识、术语、场景以及业务流程等信息。

（三）行业专用类高质量数据集

行业专用数据集依据企业自身业务场景与需求进行收集，包含企业内部业务流程、用户行为、产品信息等关键信息，具有鲜明的定制化特点。

三、全面提升高质量数据集构建水平

（一）完善数据集管理体系

智政拥有跨学科、跨专业的数据工程团队，可编制行业数据资源目录，对数据集进行细致分类与分级，清晰界定结构化、半结构化及非结构化数据类型，依据数据清洗处理程度实施资源管理。构建高效协同的组织架构，确保实现从数据采集到模型应用的全流程无缝管理。

（二）提升数据集开发维护能力

智政自研的“数智平台”，对数据具有全流程管理、处理能力。在数据采集环节，具备高效抓取、清洗与整合数据的能力，确保数据的全面性与多样性；数据预处理涵盖清洗、去噪、归一化等技术手段，旨在提升数据质量。

（三）增强数据集质量控制

从流程管理、质量评估和组织规范三个维度，对数据集从生产到管理的各个环节进行能力规范与等级评定，从源头上确保高质量数据集的生产与管理。在质量评估方面，需针对行业大模型对数据质量的多维度要求，设计具体的规则与方法。采用自动化标注和人工抽样相结合的方式，对数据集自身质量进行前置检测；通过模型验证和消融实验，对数据集在大模型中的应用效果进行后置检测，并依据模型效果反馈持续优化数据集质量。

（四）数据质量报告

智政通过制定、实施数据质量检核，暴露各系统数据质量问题。持续监控各系统数据质量波动情况及数据质量规则占比分析，定期生成各系统关键数据质量报告，掌握系统数据质量状况。