python如何拆分 python怎么拆分csv文件

本教程将指导您如何使用Python从一个CSV文件中的每一行数据生成独立的CSV文件。我们将探讨如何正确使用csv.writer如何处理字段分隔，并进一步介绍利用contextlib.ExitStack和字典来管理多个输出文件，有效避免因文件名重复而导致的数据覆盖问题，确保数据的完整性和处理效率。 任务概述与常见挑战

在数据处理场景中，我们经常需要将一个大型csv文件拆分为多个小型、格式化的csv文件。例如，给定一个包含“订单号”、“日期”和“文件名”的csv文件，目标包含是根据“文件名”字段为每行数据创建一个独立的csv文件，并且每个新文件只“订单”

初学者在尝试实现此功能时，常遇到一个挑战是，直接使用文件对象的write()方法来写入字段时，如果没有一个字段进行明确的分隔，会导致所有字段连接成一个字符串，而不是标准的CSV格式（即分隔值）。例如，将row['Order Number']和row['Date']直接读取文件，结果会是123452023-01-01，而不是12345，2023-01-01。2. 基本解决方案：使用csv.writer正确生成独立CSV文件

Python的csv模块提供了处理CSV数据的强大功能。正确要写入字段写入CSV文件并用逗号分隔，应使用csv.writer对象及其writerow()方法。

以下是实现这一基本功能的代码示例：import csv# 假设输入CSV文件为TestExport.csv，包含'订单号'，'日期'，'文件名' 三列input_csv_path = quot；//server2/shared/Data/TestExport.csvquot；try： with open(input_csv_path， 'r'，encoding='utf-8') as in_f： reader = csv.DictReader(in_f) for row in reader： # 根据 'File Name' 字段构造输出文件名 file_name = '{0}.csv'.format(row['FileName']) # 使用 'w' 模式打开文件，并指定 newline=''，这是 csv.writer 的必要条件 # 默认使用分隔符作为分隔符 with open(file_name， 'w'， newline=''，encoding='utf-8') as out_f： writer = csv.writer(out_f， delimiter='，') # 写入 '订单号' 和 '日期' 字段，writerow 会自动处理分隔符和换行 writer.writerow([row['Order] Number']， row['Date']]) print(quot；基本文件分割完成。

quot；) except FileNotFoundError： print(fquot；错误：输入文件 '{input_csv_path}' 未找到。请检查文件路径。quot；) except Exception as e： print(fquot；处理过程中发生错误： {e}quot；)登录后复制

代码解析：

立即学习“Python免费笔记学习（深入）”；导入csv：导入Python内置的csv模块。csv.DictReader(in_f)：一个字典读取器。将创建一个字典读取器。将创建CSV文件的每一行读取为字典，其中键为标题列（即表头）。file_name = '{0}.csv'.format(row['FileName'])：从当前行的'FileName'字段获取值，并格式化为新的CSV文件名。open(file_name， 'w'， newline=''， encoding='utf-8')：'w'模式表示写入（如果文件则覆盖）。newline=''对于csv.writer至关重要，它防止在Windows系统上写入额外的空行，并保证跨平台的正确性。encoding='utf-8'是处理多种字符集的好习惯，暗示明确指定。csv.writer(out_f， delimiter='，')：创建一个CSV写入器对象。delimiter='，'指定了字段之间的分隔符为逗号。writer.writerow([row['Order Number']，row['Date']])：这是核心操作。writerow()方法接收一个列表作为参数，列表中的每个元素将作为一个字段写入CSV行，并由指定的分隔符分隔，最后自动添加换行符。3. 高级场景：处理重复文件名和优化文件管理

上述基本解决方案在处理源CSV文件中存在多个行对应相同“文件名”的情况时，会遇到一个问题：每次遇到相同的file_name，open(file_name， 'w'，...)都会重新创建并覆盖现有文件，导致只有最后一行数据被保留。

为了这个问题，我们需要： Vozo

Vozo 是一款强大的 AI 视频编辑工具，帮助用户轻松重写、配音和编辑视频。 110 个查看详情维护一个已打开文件（或其对应的 csv.writer）的映射，便于在遇到相同文件名时重用。确保所有打开的文件在程序结束时被正确关闭，即使存在多个文件句柄。

contextlib.ExitStack是一个非常有用的上下文管理器，它允许我们在一个with语句块中管理多个上下文，并在该块结束时统一清理（如关闭所有文件）。

以下是处理重复文件名并优化文件管理的解决方案：import csvimport contextlibinput_csv_path = quot；//server2/shared/Data/TestExport.csvquot；try： with open(input_csv_path， 'r'，encoding='utf-8') as in_f： # writers 字典用于存储已创建的 csv.writer 对象，键为文件名 writers = {} # type： dict[str， csv.writer] # 使用 ExitStack 来管理多个文件句柄，确保它们在块结束时被关闭 with contextlib.ExitStack() as stack： reader = csv.DictReader(in_f) for row in reader： file_name = '{0}.csv'.format(row['FileName']) # 作家的尝试 字典获取当前文件名的 writer writer = writers.get(file_name) # 如果还没有为该文件名创建 writer if writer is None： # 使用 stack.enter_context 打开新文件 # 将这个粘贴文件句柄添加到 ExitStack 的管理列表中，确保其在退出时关闭 out_f = stack.enter_context(open(file_name， 'w'， newline=''，encoding='utf-8')) # 新的 csv.writer并存储到字典中 writer = csv.writer(out_f， delimiter='，') writers[file_name] = writer # 首次写入时，可以选择性地添加表头 # writer.writerow(['OrderNumber'， 'Date']) # 根据需求决定是否需要表头 # 写入数据行 writer.writerow([row['Order Number']， row['Date']]) print(quot；高级文件分割完成，已处理重复文件名。

quot；) except FileNotFoundError： print(fquot；错误：输入文件 '{input_csv_path}' 未找到。请检查文件路径。quot；) except Exception as e： print(fquot；处理过程中发生错误： {e}quot；)登录后复制

代码解析：

学习“Python学习（深入）”；import contextlib：contextlib模块。writers = {}：创建一个空字典writers。它的键将是输出文件名，值为对应的csv.writer对象。with contextlib.ExitStack() as stack：：这是一个关键部分。ExitStack允许我们动态地进入（enter_context）并退出多个上下文管理器。当with stack：块结束时，ExitStack会自动调用所有已进入上下文管理器的__exit__方法，从而关闭所有文件。writer = writers.get(file_name)：尝试从writers字典中获取与当前file_name关联的writer。如果不存在，writer则为None。如果writer为None：： 如果是第一次遇到这个file_name，则：out_f = stack.enter_context(open(file_name， 'w'， newline=''，encoding='utf-8'))：打开新的输出文件。stack.enter_context()的作用只是open()返回的文件句柄到ExitStack的管理中。writer = csv.writer(out_f)：创建新的csv.writer。writers[file_name] = writer：将新创建的writer存储到writers字典中，以便后续重用。writer.writerow(['OrderNumber', 'Date'])：这是一个可选步骤。如果需要为每个独立文件添加表头，在文件第一次创建时写入可以。writer.writerow([row['Order Number'], row['Date']])：无论是新创建的还是重用的writer，都用于读取当前行的数据。4. 注意事项与最佳实践文件路径：确保输入文件路径正确无误。输出文件默认会创建在脚本运行的当前目录下，或者您可以指定一个完整的输出路径。编码：在打开文件时始终明确指定编码，推荐使用'utf-8'，组成字符编码问题。错误处理：使用try- except块来捕获FileNotFoundError或其他潜在的IO错误，增强程序的健壮性。内存使用：对于非常大的输入CSV文件，如果输出文件数量也非常庞大，可能会同时打开大量文件。虽然ExitStack能够读取管理关闭，但操作系统对同时打开的文件句柄数量有限制。对于极端情况，可能需要考虑更复杂的策略，例如批量处理或分批写入。表头处理：根据您的需求，决定是否在每个分割输出的CSV文件中包含表头。如果需要，请在第一次写入文件时添加。5. 总结

本教程详细介绍了如何使用Python的csv模块将一个CSV文件的行分割为多个独立的CSV文件。

我们首先学习了使用csv.writer和writerow()方法来正确处理字段分隔，避免了直接f.write()导致的格式问题。其次，我们通过引入contextlib.ExitStack和writersdictionary，解决了在处理重复文件名当数据被覆盖的问题，实现了更健壮和高效的文件管理。掌握这些技术将帮助您更灵活地处理和转换 CSV 数据。

以上就是 Python 教程：高效处理 CSV 行分割为独立文件并处理重复命名的详细内容，更多请关注乐哥常识网其他相关文章！相关标签： python windows 操作系统 高效编码 csv win windows系统 csv文件 red Python if date format try 字符串 number 对象 windows 大家都在看： Python怎么处理API返回的JSON_json数据模块解析API响应数据 Python怎么使用正则表达式匹配_Python正则表达式使用教程 高效排队Python中Parquet文件分区的方法 Python 中Parquet文件分区的方法 使用 Python 通过 WhatsApp API 自动发送消息