数据质量检查
完整性检查：数据缺失检测与质量评估指南
完整性检查是数据质量评估的基础环节，用于检测数据集中缺失字段与记录，定位关键数据缺口。本文档帮助数据管理负责人理解完整性检查的适用场景、判断标准、执行流程以及后续动作，确保在数据迁移、系统对接或报表梳理前完成质量摸底。欧维优提供专业的数据质量检查服务，从需求沟通到报告交付全程留痕，支持按字段重要性分级并输出缺失率报告。
资料表
主题边界与适用条件
| 主题对象 | 适用情况 | 不适用情况 | 需要确认 |
|---|---|---|---|
| 客户主数据完整性检查 | ERP升级、数据迁移前评估 | 已通过前端校验的数据集 | 必填字段清单与分级标准 |
| 产品数据完整性检查 | 多系统产品数据合并前 | 非结构化产品描述文本 | 产品编码规则与唯一性 |
| 财务数据完整性检查 | 财务系统对接前质量摸底 | 实时交易高峰期 | 检查窗口与业务影响评估 |
| 库存记录完整性检查 | 库存盘点前数据准备 | 临时分析用数据集 | 库存字段定义与计量单位 |
资料表
主题资料与下一步动作
| 资料项 | 判断用途 | 缺失风险 | 下一页入口 |
|---|---|---|---|
| 数据集表结构与字段定义 | 确定检查范围和字段分级 | 无法准确分级，影响报告准确性 | 数据清洗服务 |
| 字段重要性分级要求 | 区分必填、建议、可选字段 | 所有字段同等处理，增加不必要工作 | 准确性检查服务 |
| 期望输出格式（Excel/PDF/入库） | 匹配客户后续使用方式 | 报告无法直接用于数据补全或系统对接 | 数据补全服务 |
| 检查窗口与数据量预估 | 安排执行时间和资源 | 检查时间冲突或资源不足导致延迟 | 主数据管理服务 |
主题对象
完整性检查面向企业数据管理负责人、数据质量检查使用人以及主数据管理管理员，适用于数据迁移、系统对接、报表口径梳理前的数据质量评估场景。检查对象包括客户数据、产品数据、财务数据、库存记录等核心业务数据集，重点关注字段是否为空、记录是否完整、关键标识是否缺失。
欧维优的完整性检查服务按字段重要性分级处理：必填字段缺失直接标记为严重问题，建议字段缺失给出警告，可选字段缺失仅作记录。检查结果以缺失率报告形式呈现，按表、按字段、按记录三个维度统计，帮助客户快速定位数据补全的优先级。
完整性检查通常作为数据治理项目的起点，后续可衔接准确性检查、一致性检查或数据清洗服务。欧维优在服务过程中会与客户确认检查范围、字段分级标准和报告格式，确保输出结果可直接用于后续决策。
适用边界
完整性检查并非适用于所有数据场景。当数据集规模较小（如千条以内）或数据已通过前端校验确保必填字段无缺失时，可直接进行准确性检查而跳过完整性检查。对于实时交易系统，完整性检查建议在非高峰期执行，避免影响业务运行。
欧维优在项目启动阶段会与客户明确检查边界：哪些表需要检查、哪些字段纳入分级、缺失率阈值如何设定。例如，客户主数据中的联系电话字段，若业务上允许为空，则标记为建议字段，缺失时不触发严重告警。
不适用情况包括：非结构化数据（如文本、图片）、已通过ETL过程清洗过的数据仓库、以及数据质量要求极低的临时分析数据集。欧维优会在需求沟通中帮助客户判断完整性检查的必要性，避免不必要的投入。
关键判断项
完整性检查的核心判断维度包括字段缺失率、记录完整度、关键字段覆盖率和缺失模式分析。字段缺失率统计每个字段的空值比例；记录完整度计算每条记录中非空字段占比；关键字段覆盖率针对必填字段单独统计；缺失模式分析则识别缺失是否集中在特定时间段、部门或数据源。
欧维优使用自动化脚本对数据集进行扫描，支持多种数据库和文件格式（CSV、Excel、SQL Server、MySQL等）。检查过程中会记录缺失位置、缺失类型（空值、空字符串、相关符如'N/A'），并生成可追溯的缺失清单，方便客户直接用于数据补全。
输出报告包含三个层级：概览层显示整体缺失率与风险等级；表级层列出各表的缺失率排名；字段级层提供每个字段的缺失明细。客户可根据报告决定是否需要进一步的数据清洗或补全服务。
资料与下一步
执行完整性检查前，客户需准备数据集说明（表结构、字段定义、数据量）、字段分级要求（哪些字段为必填）以及期望的输出格式（Excel报告、PDF或直接入库）。欧维优提供检查清单模板，帮助客户梳理准备工作。
检查完成后，客户将获得缺失率报告和缺失清单。根据报告结果，欧维优可进一步提供数据清洗、数据补全或准确性检查服务。对于缺失率超过阈值的场景，建议先进行数据补全，再进入后续质量检查环节。
欧维优支持按需调整检查频率，例如每月一次定期检查，或在每次数据迁移前执行专项检查。客户可通过联系方式咨询具体排期和报价，欧维优通常在2个工作日内响应并安排检查窗口。
主题问题
完整性检查需要多长时间？
检查时间取决于数据量和表结构复杂度。百万级数据表通常在1-2小时内完成扫描并生成报告。欧维优会在需求沟通时根据客户数据量给出预估时间，并安排在非业务高峰期执行。
检查结果如何交付？
欧维优提供Excel和PDF两种格式的缺失率报告，包含概览、表级和字段级三个维度的统计。同时提供缺失清单CSV文件，方便客户直接用于数据补全。如需入库，也可按客户数据库结构直接写入。
完整性检查可以远程进行吗？
可以。欧维优支持远程连接客户数据库或通过加密文件传输方式获取数据样本，检查过程中不修改源数据，仅读取元数据和空值统计。所有数据传输采用加密通道，检查完成后可删除临时数据。
如果检查发现大量缺失，后续怎么办？
欧维优提供数据补全和清洗服务，可根据缺失清单制定补全方案，包括从历史数据中恢复、从其他系统同步、或人工补录。同时可衔接准确性检查和一致性检查，确保数据整体质量达标。