使用正则统计字数和标点的思路

马黑黑 · 发表于 2023-1-23 09:19

请马上登录，朋友们都在花潮里等着你哦：）

您需要登录才可以下载或查看，没有账号？立即注册

x

一、英文单词

（一）单词个数

单词的构成略微复杂，这个帖子大致探讨了几种结构，也基本实现了统计单词个数的需求：

JS：用正则表达式统计英文单词和GBK汉字个数 - 马黑黑教程专版 - 花潮论坛 - Powered by Discuz! (huachaowang.com)

（二）小角标点

我们可以一次性取出全部的英文字符，含字母和非字母字符（小角），式子很简单，/[ -~]/g ，然后这些字符减去 /\w/g 匹配到的英文和数字，大约就可得到标点符号了，比较精准的话还要减去参与单词构成的符号个数。

当然也可以使用罗列方式匹配标点，式子会比较长，也容易有遗漏。

二、汉字

上面提到的帖子里，对中文字数的统计也做了探讨，统计20902 个GBK汉字是非常精准的。用匹配GBK汉字的方式统计汉字字数，对于绝大多数中文写作的文本而言是适用的。

中文标点符号的统计麻烦，在Unicode编码表里它们没有连续存放。若统计常见的，也许用罗列法比较牢靠。以下这些应该包含常用中文标点符号了吧：

！？｡＂＃＄％＆＇()＊＋，－／：；＜＝＞＠［＼］＾＿｀｛｜｝～｟｠｢｣､、〃》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰?〿–—‘'‛“”„‟…‧﹏.

但肯定没有囊括全部。

另一个蹩脚的处理思路：

我们可以用 /[^ -~]/ 或 [^\x00-\xff] 匹配出所有的双字节字符，再减去 /[一-龥]/ 匹配到的总数，得到的就是标点符号了。说这个主意蹩脚，是因为双字节取出GBK汉字之后并不是都是双字节标点符号，可能会有很多的非GBK汉字的文字字符。不过，对于普通中文环境的文本，统计结果倒是八九不离十了。

单纯使用正则统计字数，代码开销小，运行消耗低，但要到面面俱到，正则有些犯愁。