日常工作中，我们经常会遇到一些查找、存储文件的问题，比如文件合并、文件分解等，这些问题涉及到对文件进行操作处理。对此，Python的OS库提供了很多功能模块供使用，本文整理了其中6个使用频率很高的常用代码，基本能满足大部分需求。另外，通过对一个excel文件合并案例代码进行解析，进一步加深印象，建议收藏。

查找处理文件要调用os库，和openpyxl一样，先用import 导入。

也可从分离文件名后的列表中提取：os.path.split(带路径文件名)[0]

运行结果为：删除最小值.xlsx

也可从分离文件名后的列表中提取：os.path.split(带路径文件名)[1]

3、判断文件路径是否存在：os.path.exists(带路径文件名)

若给定的路径文件不存在，则返回false

运行结果：8.py 为'e:\python'文件夹下第2个文件(或文件夹)名。

运行结果：.py，若最后一句改为print(pdn[0])，则得到文件名。

二、文件合并案例代码解析：

在下面的文件夹“e:\python\汇总”里，有2个xlsx文件和一个txt文件，要求先判断当前文件夹内是否存在“汇总.xlsx”文件，若不存在则新建一个，若存在则直接打开使用，要求将其他.xlsx文件的第1个表单数据，汇总至“汇总.xlsx”文件。

1、导入os库和openpyxl库，给定当前路径为模块参数

2、在tj模块内写代码，先判断是否存在汇总.excle文件，若无则创建

3、遍历指定文件夹，将目标.xlsx文件放入列表k备用

5、逐个打开目标文件，将第一个表单内的数据复制粘贴在汇总表内汇总表单内

ws1 = wb1._sheets[0]# 选第一个表单，默认数据在第一个表单，也可根据表单名进行选取。

6、运行代码完成，此时汇总文件内已经合并了其他两个文件的数据。

程序运行后新建了汇总.xlsx

汇总文件内已完成数据汇总

1、tj(r'e:\python\汇总')：给定参数时，路径前面有个字母“r”，为消除转义字符功能用。

2、os.path.join(f1, w)：路径和文件名组合，也可用f1+'\\'+w的方法，但只能限定于在打开文件的代码里用，单独使用会出现双“\”符号，导致地址无法使用。

3、ws1.max_row：得到表单的最大行数，当末行没有数据，只是设置过单元格格式，也被视为表单的最大行，这点不如VBA的end(3).row，需注意。

1.str对象的设计意图

str对象是定义在Index或Series上的属性，专门用于处理每个元素的文本内容，其内部定义了大量方法，因此对一个序列进行文本处理，首先需要获取其str对象。在Python标准库中也有str模块，为了使用上的便利，有许多函数的用法pandas照搬了它的设计，例如字母转为大写的操作。

对于str对象而言，可理解为其对字符串进行了序列化的操作，例如在一般的字符串中，通过[]可以取出某个位置的元素。

通过对str对象使用[]索引器，可以完成完全一致的功能，并且如果超出范围则返回缺失值。

在上一关提到，从pandas的1.0.0版本开始，引入了string类型，其引入的动机在于：原来所有的字符串类型都会以object类型的Series进行存储，但object类型只应当存储混合类型，例如同时存储浮点、字符串、字典、列表、自定义类型等，因此字符串有必要同数值型或category一样，具有自己的数据存储类型，从而引入了string类型。

总体上说，绝大多数对于object和string类型的序列使用str对象方法产生的结果是一致，但是在下面提到的两点上有较大差异：

首先，应当尽量保证每一个序列中的值都是字符串的情况下才使用str属性，但这并不是必须的，其必要条件是序列中至少有一个可迭代（Iterable）对象，包括但不限于字符串、字典、列表。对于一个可迭代对象，string类型的str对象和object类型的str对象返回结果可能是不同的。

除了最后一个字符串元素，前三个元素返回的值都不同，其原因在于当序列类型为object时，是对于每一个元素进行[]索引，因此对于字典而言，返回temp_1字符串，对于列表则返回第二个值，而第三个为不可迭代对象，返回缺失值，第四个是对字符串进行[]索引。而string类型的str对象先把整个元素转为字面意义的字符串，例如对于列表而言，第一个元素即 "{"，而对于最后一个字符串元素而言，恰好转化前后的表示方法一致，因此结果和object类型一致。

除了对于某些对象的str序列化方法不同之外，两者另外的一个差别在于，string类型是Nullable类型，但object不是。这意味着string类型的序列，如果调用的str方法返回值为整数Series和布尔Series时，其分别对应的dtype是Int和boolean的Nullable类型，而object类型则会分别返回int/float和bool/object，取决于缺失值的存在与否。同时，字符串的比较操作，也具有相似的特性，string返回Nullable类型，但object不会。

需要注意的是，对于全体元素为数值类型的序列，即使其类型为object或者category也不允许直接使用str属性。如果需要把数字当成string类型处理，可以使用astype强制转换为string类型的Series。

正则表达式是一种按照某种正则模式，从左到右匹配字符串中内容的一种工具。对于一般的字符而言，它可以找到其所在的位置，这里为了演示便利，使用了python中re模块的findall函数来匹配所有出现过但不重叠的模式，第一个参数是正则表达式，第二个参数是待匹配的字符串。例如，在下面的字符串中找出apple。

. 匹配除换行符以外的任意字符

[ ] 字符类，匹配方括号中包含的任意字符

[^ ] 否定字符类，匹配方括号中不包含的任意字符

* 匹配前面的子表达式零次或多次

+ 匹配前面的子表达式一次或多次

? 匹配前面的子表达式零次或一次

{n,m} 花括号，匹配前面字符至少 n 次，但是不超过 m 次

(xyz) 字符组，按照确切的顺序匹配字符xyz

| 分支结构，匹配符号之前的字符或后面的字符

\ 转义符，它可以还原元字符原来的含义

正则表达式中还有一类简写字符集，其等价于一组字符的集合。

\W 匹配非字母和数字的字符: [^\w]

\B 匹配一组非空字符开头或结尾的位置，不代表具体字符

三、文本处理的五类操作

str.split能够把字符串的列进行拆分，其中第一个参数为正则表达式，可选参数包括从左到右的最大拆分次数n，是否展开为多个列expand。

0 上海 黄浦 方浜中路249号 1 上海 宝山 密山路5号

关于合并一共有两个函数，分别是str.join和str.cat。str.join表示用某个连接符把Series中的字符串列表连接起来，如果列表中出现了非字符串元素则返回缺失值。

str.cat用于合并两个序列，主要参数为连接符sep、连接形式join以及缺失值替代符号na_rep，其中连接形式默认为以索引为键的左连接。

str.contains返回了每个字符串是否包含正则模式的布尔序列

str.startswith和str.endswith返回了每个字符串以给定模式为开始和结束的布尔序列，它们都不支持正则表达式。

如果需要用正则表达式来检测开始或结束字符串的模式，可以使用str.match，其返回了每个字符串起始处是否符合给定正则模式的布尔序列。

除了上述返回值为布尔的匹配之外，还有一种返回索引的匹配函数，即str.find与str.rfind，其分别返回从左到右和从右到左第一次匹配的位置的索引，未找到则返回-1。需要注意的是这两个函数不支持正则匹配，只能用于字符子串的匹配。

str.replace和replace并不是一个函数，在使用字符串替换时应当使用前者。

当需要对不同部分进行有差别的替换时，可以利用子组的方法，并且此时可以通过传入自定义的替换函数来分别进行处理，注意group(k)代表匹配到的第k个子组（圆括号之间的内容）。

'上海市宝山区密山路5号', '北京市昌平区北农路2号'])

这里的数字标识并不直观，可以使用命名子组更加清晰地写出子组代表的含义。

提取既可以认为是一种返回具体元素（而不是布尔值或元素对应的索引位置）的匹配操作，也可以认为是一种特殊的拆分操作。前面提到的str.split例子中会把分隔符去除，这并不是用户想要的效果，这时候就可以用str.extract进行提取。

0 上海市 黄浦区 方浜中路 249号 1 上海市 宝山区 密山路 5号 2 北京市 昌平区 北农路 2号 市名 区名 路名 编号 0 上海市 黄浦区 方浜中路 249号 1 上海市 宝山区 密山路 5号 2 北京市 昌平区 北农路 2号

str.extractall不同于str.extract只匹配一次，它会把所有符合条件的模式全部匹配出来，如果存在多个结果，则以多级索引的方式存储。

str.findall的功能类似于str.extractall，区别在于前者把结果存入列表中，而后者处理为多级索引，每个行只对应一组匹配，而不是把所有匹配组合构成列表。

除了上述介绍的五类字符串操作有关的函数之外，str对象上还定义了一些实用的其他方法，下面一一介绍。

这里着重介绍的是pd.to_numeric方法，它虽然不是str对象上的方法，但是能够对字符格式的数值进行快速转换和筛选。其主要参数包括errors和downcast分别代表了非数值的处理模式和转换类型。其中，对于不能转换为数值的有三种errors选项，raise, coerce, ignore分别表示直接报错、设为缺失以及保持原来的字符串。

# 在数据清洗时，可以利用coerce的设定，快速查看非数值型的行

count和len的作用分别是返回出现正则模式的次数和字符串的长度

格式型函数主要分为两类，第一种是除空型，第二种是填充型。其中，第一类函数一共有三种，它们分别是strip, rstrip, lstrip，分别代表去除两侧空格、右侧空格和左侧空格。这些函数在数据清洗时是有用的，特别是列名含有非法空格的时候。

对于填充型函数而言，pad是最灵活的，它可以选定字符串长度、填充的方向和填充内容。

上述的三种情况可以分别用rjust, ljust, center来等效完成，需要注意ljust是指右侧填充而不是左侧填充。

在读取excel文件时，经常会出现数字前补0的需求，例如证券代码读入的时候会把"000007"作为数值7来处理，pandas中除了可以使用上面的左侧填充函数进行操作之外，还可用zfill来实现。

str 对象是定义在 Index 或 Series 上的属性，专门用于逐元素处理文本内容，其内部定义了大量方法，因此对一个序列进行文本处理，首先需要获取其 str 对象。在Python标准库中也有 str 模块，为了使用上的便利，有许多函数的用法 pandas 照搬了它的设计，例如字母转为大写的操作：

根据文档 API 材料，在 pandas 的50个 str 对象方法中，有31个是和标准库中的 str 模块方法同名且功能一致，这为批量处理序列提供了有力的工具。

对于 str 对象而言，可理解为其对字符串进行了序列化的操作，例如在一般的字符串中，通过 [] 可以取出某个位置的元素：

同时也能通过切片得到子串：

通过对 str 对象使用 [] 索引器，可以完成完全一致的功能，并且如果超出范围则返回缺失值：

从 pandas 的 1.0.0 版本开始，引入了 string 类型，其引入的动机在于：原来所有的字符串类型都会以 object 类型的 Series 进行存储，但 object 类型只应当存储混合类型，例如同时存储浮点、字符串、字典、列表、自定义类型等，因此字符串有必要同数值型或 category 一样，具有自己的数据存放类型，从而引入了 string 类型。

总体上说，绝大多数对于 object 和 string 类型的序列使用 str 对象方法产生的结果是一致，但是在下面提到的两点上有较大差异：

• 首先，应当尽量保证每一个序列中的值都是字符串的情况下才使用 str 属性，但这并不是必须的，其必要条件是序列中至少有一个可迭代（Iterable）对象，包括但不限于字符串、字典、列表。对于一个可迭代对象， string 类型的 str 对象和 object 类型的 str 对象返回结果可能是不同的。

除了最后一个字符串元素，前三个元素返回的值都不同，其原因在于当序列类型为 object 时，是对于每一个元素进行 [] 索引，因此对于字典而言，返回temp_1字符串，对于列表则返回第二个值，而第三个为不可迭代对象，返回缺失值，第四个是对字符串进行 [] 索引。而 string 类型的 str 对象先把整个元素转为字面意义的字符串，例如对于列表而言，第一个元素即 “{“，而对于最后一个字符串元素而言，恰好转化前后的表示方法一致，因此结果和 object 类型一致。

最后需要注意的是，对于全体元素为数值类型的序列，即使其类型为 object 或者 category 也不允许直接使用 str 属性。如果需要把数字当成 string 类型处理，可以使用 astype 强制转换为 string 类型的 Series ：

这一节的两个表格来自于 learn-regex-zh 这个关于正则表达式项目，其使用 MIT 开源许可协议。这里只是介绍正则表达式的基本用法，需要系统学习的读者可参考《正则表达式必知必会》一书。

2.1 一般字符的匹配

正则表达式是一种按照某种正则模式，从左到右匹配字符串中内容的一种工具。对于一般的字符而言，它可以找到其所在的位置，这里为了演示便利，使用了 python 中 re 模块的 findall 函数来匹配所有出现过但不重叠的模式，第一个参数是正则表达式，第二个参数是待匹配的字符串。例如，在下面的字符串中找出 apple ：

匹配除换行符以外的任意字符
字符类，匹配方括号中包含的任意字符
否定字符类，匹配方括号中不包含的任意字符
匹配前面的子表达式零次或多次
匹配前面的子表达式一次或多次
匹配前面的子表达式零次或一次
花括号，匹配前面字符至少 n 次，但是不超过 m 次
字符组，按照确切的顺序匹配字符xyz。
分支结构，匹配符号之前的字符或后面的字符
转义符，它可以还原元字符原来的含义

此外，正则表达式中还有一类简写字符集，其等价于一组字符的集合：

匹配非字母和数字的字符: [^\w]
匹配一组非空字符开头或结尾的位置，不代表具体字符

str.split 能够把字符串的列进行拆分，其中第一个参数为正则表达式，可选参数包括从左到右的最大拆分次数 n ，是否展开为多个列 expand 。

0 上海市黄浦区方浜中路249号
1 上海市宝山区密山路5号

0
0

与其类似的函数是 str.rsplit，其区别在于使用 n 参数的时候是从右到左限制最大拆分次数。但是当前版本下 rsplit 因为 bug 而无法使用正则表达式进行分割：

0
0	上海市黄浦区方浜中路249号
上海市宝山区密山路5号

str.join 表示用某个连接符把 Series 中的字符串列表连接起来，如果列表中出现了非字符串元素则返回缺失值：

str.cat 用于合并两个序列，主要参数为

• 连接形式 join，默认为以索引为键的左连接

str.contains 返回了每个字符串是否包含正则模式的布尔序列：

str.startswith 和 str.endswith 返回了每个字符串以给定模式为开始和结束的布尔序列，它们都不支持正则表达式：

如果需要用正则表达式来检测开始或结束字符串的模式，可以使用 str.match，其返回了每个字符串起始处是否符合给定正则模式的布尔序列：

当然，这些也能通过在 str.contains 的正则中使用 ^ 和 $ 来实现：

除了上述返回值为布尔的匹配之外，还有一种返回索引的匹配函数，即 str.find 与 str.rfind，其分别返回从左到右和从右到左第一次匹配的位置的索引，未找到则返回-1。需要注意的是这两个函数不支持正则匹配，只能用于字符子串的匹配：

str.replace 和 replace 并不是同一个函数，在使用字符串替换时应当使用前者。

当需要对不同部分进行有差别的替换时，可以利用子组的方法，并且此时可以通过传入自定义的替换函数来分别进行处理，注意 group(k) 代表匹配到的第 k 个子组（圆括号之间的内容）：

s = pd.Series(['上海市黄浦区方浜中路249号','上海市宝山区密山路5号','北京市昌平区北农路2号'])

0 上海市黄浦区方浜中路249号
1 上海市宝山区密山路5号
2 北京市昌平区北农路2号

这里的数字标识并不直观，可以使用命名子组更加清晰地写出子组代表的含义：

这里虽然看起来有些繁杂，但是实际数据处理中对应的替换，一般都会通过代码来获取数据从而构造字典映射，在具体写法上会简洁的多。

提取既可以认为是一种返回具体元素（而不是布尔值或元素对应的索引位置）的匹配操作，也可以认为是一种特殊的拆分操作。前面提到的 str.split 例子中会把分隔符去除，这并不是用户想要的效果，这时候就可以用 str.extract 进行提取：

0
0

通过子组的命名，可以直接对新生成 DataFrame 的列命名：

0

---

str.extractall 不同于 str.extract 只匹配一次，它会把所有符合条件的模式全部匹配出来，如果存在多个结果，则以多级索引的方式存储：

0
0
0

0
0

---

str.findall 的功能类似于 str.extractall ，区别在于前者把结果存入列表中，而后者处理为多级索引，每个行只对应一组匹配，而不是把所有匹配组合构成列表。

除了上述介绍的五类字符串操作有关的函数之外， str 对象上还定义了一些实用的其他方法，在此进行介绍：

这里着重需要介绍的是 pd.to_numeric 方法，它虽然不是 str 对象上的方法，但是能够对字符格式的数值进行快速转换和筛选。其主要参数包括 errors 和 downcast 分别代表了非数值的处理模式和转换类型。其中，对于不能转换为数值的有三种 errors 选项， raise, coerce, ignore 分别表示直接报错、设为缺失以及保持原来的字符串。

在数据清洗时，可以利用 coerce 的设定，快速查看非数值型的行：

count 和 len 的作用分别是返回出现正则模式的次数和字符串的长度：

格式型函数主要分为两类，第一种是除空型，第二种时填充型。其中，第一类函数一共有三种，它们分别是 strip, rstrip, lstrip，分别代表去除两侧空格、右侧空格和左侧空格。这些函数在数据清洗时是有用的，特别是列名含有非法空格的时候。

---

对于填充型函数而言，pad 是最灵活的，它可以选定字符串长度、填充的方向和填充内容：

上述的三种情况可以分别用 rjust, ljust, center 来等效完成，需要注意 ljust 是指右侧填充而不是左侧填充：

---

在读取 excel 文件时，经常会出现数字前补0的需求，例如证券代码读入的时候会把”000007”作为数值7来处理， pandas 中除了可以使用上面的左侧填充函数进行操作之外，还可用 zfill 来实现。

Ex1：房屋信息数据集

现有一份房屋信息数据集如下：

0

1. 将 year 列改为整数年份存储。

2. 将 floor 列替换为 Level, Highest 两列，其中的元素分别为 string 类型的层类别（高层、中层、低层）与整数类型的最高层数。

3. 计算房屋每平米的均价 avg_price ，以 ***元/平米 的格式存储到表中，其中 *** 为整数。

4. 将 year 列改为整数年份存储

0

0

1. 将 floor 列替换为 Level, Highest 两列，其中的元素分别为 string 类型的层类别（高层、中层、低层）与整数类型的最高层数

0

1. 计算房屋每平米的均价 avg_price ，以 ***元/平米 的格式存储到表中，其中 *** 为整数

0

0

Ex2：《权力的游戏》剧本数据集

现有一份权力的游戏剧本数据集如下：

0

1. 计算每一个 Episode 的台词条数。

2. 以空格为单词的分割符号，请求出单句台词平均单词量最多的前五个人。

3. 若某人的台词中含有问号，那么下一个说台词的人即为回答者。若上一人台词中含有 n 个问号，则认为回答者回答了 n 个问题，请求出回答最多问题的前五个人。

计算每一个 Episode 的台词条数

以空格为单词的分割符号，请求出单句台词平均单词量最多的前五个人

0

请求出回答最多问题的前五个人

0
0
0
0

0
0
0
0