单系统数据处理
在数字化转型浪潮中,数据规范是系统设计的基石。本文深入剖析数据标准的三大决定因素,揭示常见的数据规范陷阱,并提供从原始数据到标准数据的完整处理路径。实战案例解析订单系统的改造过程,教你如何通过枚举值映射、时间戳转换等技术手段,将混沌数据转化为标准化资产。

了解数据规范与标准
1. 什么是系统数据标准?
确立允许在系统内出现、产生、与业务发生关系的数据的准则。当数据产生或流入系统时,必须遵守此系统的数据规则。
2. 哪些可以决定系统数据标准?
- 国际标准、国家标准。
- 行业标准。
- 业务要求。
3. 常见数据规范问题有哪些?
(1)数据数值本身的统一规范
例如:数据表存储时间可能为“20260120191233034”
系统界面,年月日统一显示“2026/01/20”;年月日时分秒统一显示“2026/01/20 19:12:33”…
(2)字段数据字典
例如:中国地区数据,国家标准的行政区划地址,省市区。在用户选择时,用系统内置的字典数据,以规范用户输入数据。
(3)字段类型规定
例如:
- 商品金额和商品数量,均用double;
- 商品金额为精确到小数点后两位的正数;
- 商品数量为正整数。
4. 数据处理思路
原始数据层(Raw Layer) → 保持原始数据不变
↓
转换映射层(Mapping Layer)→ 存储转换规则和映射关系
↓
标准数据层(Standard Layer)→ 存储按新标准处理后的数据
数据处理思考(假设性思考)
1. 确定业务目标
现将系统内前期产生的不规范数据,进行标准化处理(更新/规范数据)。
2. 系统数据现状及问题预测
(1)梳理老数据和新数据,明确数据的映射关系和转换规则。
(2)老数据:过渡期不会使用的数据,过渡其会使用的数据。
- 假设逐步转换数据,在此期间,可能老数据会被系统使用,但老数据还未做映射处理。
- 考虑数据处理优先级调整。当老数据被需要时,系统映射处理机制,将其优先级提高。需要明确提高优先级的触发机制,即触发条件和触发范围等。
- 考虑用户按新数据标准更新信息。例如,利用强制弹窗确认信息或填入规范化信息。可考虑确认/更改信息后,系统将用户相关数据提高优先级进行映射处理。
3. 数据产生问题
明确数据生成方式,将源头更改为按最新数据标准,规范数据的产生方式。常为“系统表单、外部对接、系统流程进程”。
- 过渡期,系统数据还在持续产生数据,将产生源头标准化,数据存入新数据存储地址。
- 系统表单,规范表单字段和填报方式,如下拉引用数据字典。
- 外部对接,更新对接数据的映射算法。
业务与数据
大多数时候业务逻辑不够清晰,造成数据不符合业务要求,但数据本身是无问题的。
从根源上,需要确定业务方式。如,怎么确定系统产生的数据为一个现实事情?多个用户可以对同事件进行创建,怎么避免重复创建现实中的同一件事情?怎么规范名称(对应实际名称)?
简单示例说明
原订单管理列表,如下图:
下单日期,显示形式“年-月-日”。
实付金额,显示形式“XX”,单位“元”。
订单备注,能够传达意思,但表述并不统一。

假设:
下单日期,业务要求下单日期需要精确到时分秒。
实付金额,在现实情况中可以到“分”,系统需要支持金额精确到小数点后两位。
订单备注,可以将其理解为送货方式,系统使用枚举值,下单时选择规范数据。而实际的订单备注理解为附加内容,需要用户自主填写,数据值为自填纯文本。
下单日期
系统数据值:确定系统存储时间的数据值。
数据处理:数据库本来就存储了时分秒,仅系统界面为显示出来,如直接存储时间戳“20260224191233034”,代码将其处理成“年-月-日 时:分:秒”显示;如存储时丢弃了时分秒,那么需要与业务确定如何填补确实的时分秒数据,“默认处理为08:00:00”等等,通常情况下时分秒数据不会丢弃。
实付金额
系统数据值:确定系统存储实付金额的数据值。
数据处理:如最初商城中的商品没有“角”“分”,数据只需要填补“.00”;如系统前期漏洞丢弃了“角”“分”,一种还原方式通过查询订单中商品价格、订单使用优惠进行金额还原,这种方式比较麻烦,但涉及钱款慎重处理是非常有必要的。简单来说,商品原价(商品原价未更改过,如降价处理)-优惠价(系统记录了单个订单总优惠金额)=实付金额。
订单备注
字段规范:系统存储数据“送到家中”“上午直接送到家”等等,类似信息表达了一个共同意思“送货上门”,同理“放到楼下驿站”->“驿站自取”,“提前打电话”->“提前电话联系”,再归纳字段文案含义,实际是“送货方式”。商城提供送货方式有“送货上门,驿站自取,提前电话联系”,若有新的送货方式,再新增枚举值。
数据处理:将现有订单备注数据值,有“家”“家中”“到家”等等关键字的归类为“送货上门”,代码脚本强制映射转换。
另:“上午直接送到家”,写了“上午…”可拆解为送货时间点,即系统可以另外新增字段;如字段“订单备注”坚持表示“送货方式”,订单备注可以用字段“备注”,即用户自填纯文本表述字段。(用业务能理解的方式表述,开发人员能够理解它实际表示什么即可。)
数据处理后的订单管理列表,可以如下图:

本文由 @产品-子鱼 原创发布于人人都是产品经理。未经作者许可,禁止转载
题图来自Unsplash,基于CC0协议
- 目前还没评论,等你发挥!

起点课堂会员权益




