MDN介绍String.normalize所支持的Unicode规范化形式。本文将这一背景用于资料匹配设计,不建议对全部业务字段盲目采用同一转换。
原文与匹配用文本分别保存
模拟供应商名称整理,可以保留原始名称,再生成用于比较的辅助字段。转换后匹配相同只说明需要进一步检查,不应立刻覆盖客户提供的正式名称。
不同字段需要不同规则
产品代码、账号和自然语言标题的意义不同,大小写、全半角或符号可能承载区分作用。规则应由业务方确认,并记录转换前后差异,避免为了提高去重率而丢失信息。
合并之前建立候选清单
让人工核对名称、来源与其他可靠标识,确认后再处理关联记录。测试要覆盖相似但不同的对象,而不是只验证重复项能被找出。本文提供清洗方法,不承诺仅凭文本即可完成准确身份识别。
延伸阅读:AI创业。