WeTextProcessing完全指南从入门到精通的文本规范化工具【免费下载链接】WeTextProcessingText Normalization Inverse Text Normalization项目地址: https://gitcode.com/gh_mirrors/we/WeTextProcessingWeTextProcessing是一款功能强大的文本规范化与逆文本规范化工具专为自然语言处理任务设计。它能够将非标准文本转换为标准形式文本规范化TN或将标准文本转换回口语化表达逆文本规范化ITN广泛应用于语音识别、语音合成等领域。一、什么是文本规范化与逆文本规范化1.1 文本规范化Text Normalization文本规范化是将非标准文本转换为标准形式的过程。例如将2.5平方电线转换为二点五平方电线或处理特殊符号、日期、时间等格式。1.2 逆文本规范化Inverse Text Normalization逆文本规范化则是将标准文本转换回口语化表达的过程。例如将二点五平方电线转换为2.5平方电线或把书面数字转换为阿拉伯数字。二、WeTextProcessing核心功能与优势2.1 多语言支持WeTextProcessing支持多种语言包括中文、英文和日文。每种语言都有专门的规则和数据文件确保处理效果的准确性。中文文本规范化tn/chinese/normalizer.py中文逆文本规范化itn/chinese/inverse_normalizer.py英文文本规范化tn/english/normalizer.py英文逆文本规范化itn/english/inverse_normalizer.py日文文本规范化tn/japanese/normalizer.py日文逆文本规范化itn/japanese/inverse_normalizer.py2.2 丰富的规则系统WeTextProcessing拥有完善的规则系统能够处理各种文本类型如数字、日期、时间、货币、度量单位等。规则定义在以下目录中中文规则tn/chinese/rules/、itn/chinese/rules/英文规则tn/english/rules/、itn/english/rules/日文规则tn/japanese/rules/、itn/japanese/rules/2.3 高效的缓存机制WeTextProcessing采用内容寻址的缓存机制能够自动记录构建参数及规则数据指纹。当配置或规则变化时会自动重新构图提高处理效率。三、快速开始安装与基本使用3.1 安装WeTextProcessing通过pip命令可以快速安装WeTextProcessingpip install WeTextProcessing3.2 命令行使用安装完成后可以直接使用命令行工具进行文本规范化和逆文本规范化# 中文文本规范化 wetn --text 2.5平方电线 # 中文逆文本规范化 weitn --text 二点五平方电线3.3 Python API使用WeTextProcessing提供了简洁易用的Python API方便集成到各种应用中from itn.chinese.inverse_normalizer import InverseNormalizer from itn.english.inverse_normalizer import InverseNormalizer as EnInverseNormalizer from tn.chinese.normalizer import Normalizer as ZhNormalizer from tn.english.normalizer import Normalizer as EnNormalizer # 中文文本规范化示例 zh_tn_text 你好 WeTextProcessing 1.0船新版本儿船新体验儿简直6669和10 zh_tn_model ZhNormalizer(remove_erhuaTrue) print(中文 TN (去除儿化音):\n\t{} {}.format(zh_tn_text, zh_tn_model.normalize(zh_tn_text))) # 中文逆文本规范化示例 zh_itn_text 你好 WeTextProcessing 一点零船新版本儿船新体验儿简直六六六九和六 zh_itn_model InverseNormalizer(enable_0_to_9False) print(中文ITN (小于10的单独数字不转换):\n\t{} {}.format(zh_itn_text, zh_itn_model.normalize(zh_itn_text)))四、高级用法自定义规则与部署4.1 自定义规则如果需要修改或添加规则来解决特定问题可以按照以下步骤进行克隆仓库git clone https://gitcode.com/gh_mirrors/we/WeTextProcessing cd WeTextProcessing安装依赖pip install -r requirements.txt pre-commit install修改规则文件例如修改中文文本规范化规则tn/chinese/rules/重新构建并测试python -m tn --text 2.5平方电线 --overwrite_cache python -m itn --text 二点五平方电线 --overwrite_cache4.2 C运行时部署WeTextProcessing提供了C运行时支持可以用于高性能部署。相关代码位于runtime/processor/目录。五、规则架构与贡献指南WeTextProcessing的Python规则遵循特定的架构设计确保规范化过程的可解释性和输入输出的精确映射。规则架构的详细说明可以参考Python rule architecture and contribution guide。主要设计原则包括流水线分为标记器tagger和表述器verbalizer两个语义阶段标记器负责分类输入并序列化原始字段值表述器负责将这些原始字段转换为规范化形式使用tag_field()和verbalize_field()构建字段确保正确处理引号和反斜杠六、总结WeTextProcessing是一款功能强大、易于使用的文本规范化与逆文本规范化工具支持多语言、丰富的规则系统和高效的缓存机制。无论是快速集成到现有项目还是进行深度的规则定制WeTextProcessing都能满足您的需求。通过本文的介绍您已经了解了WeTextProcessing的基本概念、安装方法、使用技巧和高级定制方式。现在您可以开始使用这个强大的工具来处理各种文本规范化任务了七、获取帮助与参与讨论如果您在使用过程中遇到问题或者有任何建议可以通过以下方式获取帮助查看项目文档tn/README.md、itn/README.md在项目的GitHub Issues上提问【免费下载链接】WeTextProcessingText Normalization Inverse Text Normalization项目地址: https://gitcode.com/gh_mirrors/we/WeTextProcessing创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考