Python修改文件编码(python 修改文件)
怎么在Python里使用UTF-8编码
概述
在python代码即.py文件的头部声明即可
解析
py文件中的编码
Python 默认脚本文件都是 ANSCII 编码的，当文件 中有非 ANSCII 编码范围内的字符的时候就要使用"编码指示"来修正一个 module 的定义中，如果.py文件中包含中文字符（严格的说是含有非anscii字符），则需要在第一行或第二行指定编码声明：
# -*- coding=utf-8 -*-
#coding=utf-8
# 以上两种选其一即可
其他的编码如：gbk、gb2312也可以；否则会出现:
SyntaxError: Non-ASCII character '\xe4' in file test.py on line 3, but no encoding declared; see for details
python中的编码与解码
先说一下python中的字符串类型，在python中有两种字符串类型，分别是 str 和 unicode，他们都是basestring的派生类；
str类型是一个包含Characters represent (at least) 8-bit bytes的序列；
unicode 的每个 unit 是一个 unicode obj;
在str的文档中有这样的一句话：
The string data type is also used to represent arrays of bytes, e.g., to hold data read from a file.
也就是说在读取一个文件的内容，或者从网络上读取到内容时，保持的对象为str类型；如果想把一个str转换成特定编码类型，需要把str转为Unicode,然后从unicode转为特定的编码类型如：utf-8、gb2312等。
拓展内容
utf-8编码
UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，也是一种前缀码。它可以用来表示Unicode标准中的任何字符，且其编码中的第一个字节仍与ASCII兼容，这使得原来处理ASCII字符的软件无须或只须做少部分修改，即可继续使用。因此，它逐渐成为电子邮件、网页及其他存储或发送文字的应用中，优先采用的编码。
UTF-8使用一至六个字节为每个字符编码（尽管如此，2003年11月UTF-8被RFC 3629重新规范，只能使用原来Unicode定义的区域，U+0000到U+10FFFF，也就是说最多四个字节）：
1、128个US-ASCII字符只需一个字节编码（Unicode范围由U+0000至U+007F）。
2、带有附加符号的拉丁文、希腊文、西里尔字母、亚美尼亚语、希伯来文、阿拉伯文、叙利亚文及它拿字母则需要两个字节编码（Unicode范围由U+0080至U+07FF）。
3、其他基本多文种平面（BMP）中的字符（这包含了大部分常用字，如大部分的汉字）使用三个字节编码（Unicode范围由U+0800至U+FFFF）。
4、其他极少使用的Unicode?辅助平面的字符使用四至六字节编码（Unicode范围由U+10000至U+1FFFFF使用四字节，Unicode范围由U+200000至U+3FFFFFF使用五字节，Unicode范围由U+4000000至U+7FFFFFFF使用六字节）。
对上述提及的第四种字符而言，UTF-8使用四至六个字节来编码似乎太耗费资源了。但UTF-8对所有常用的字符都可以用三个字节表示，而且它的另一种选择，UTF-16编码，对前述的第四种字符同样需要四个字节来编码，所以要决定UTF-8或UTF-16哪种编码比较有效率，还要视所使用的字符的分布范围而定。不过，如果使用一些传统的压缩系统，比如DEFLATE，则这些不同编码系统间的的差异就变得微不足道了。若顾及传统压缩算法在压缩较短文字上的效果不大，可以考虑使用Unicode标准压缩格式（SCSU）。
互联网工程工作小组（IETF）要求所有互联网协议都必须支持UTF-8编码。互联网邮件联盟（IMC）建议所有电子邮件软件都支持UTF-8编码。
怎么通过Python将一个目录下的所有txt文件全部从ASCII编码转换为UTF-8(或Unicode)编码
记事本的另存就有这功能吧？
编码方式缺省的是ANSI，可以选择Unicode/Unicode big endian/UTF-8
如何设置python的编码格式为utf-8
python的编码格式？
#coding=utf-8
这是文档编码
import sys
sys.setdefaultencoding("utf-8")
这是设置默认编码方式为utf-8
xx.encode("utf-8")
这是字符串编码操作
import codecs
codecs.open(xx,'r','utf-8")，这是文件编码读取方式
怎样将xlsx文件用Python脚本转成csv文件编码为UTF-8
策划的配置表为 xlsx 表格，可以有注释，公式。
服务器和客户端使用的配置文件需要转成 csv 文件。
使用 WPS 另存无法批量转换，并且结果不是utf8编码的，还需要用Notepad++转编码。
除了 xlsx 转为 csv, 其他格式文件保持原样，如 *.ini, *.xml, *.lua.
server/ 子目录特殊处理，不能复制到客户端。
用python脚本实现，依赖 openpyxl 库。
#!/usr/bin/env python
# coding: utf-8
# datatab.py
# 从策划配置表目录 game\Design\配置表\”
# 生成服务器的 game\Program\server\six\datatab\” 目录，
# 和客户端的 game\Program\client\Assets\Config\” 目录。
# 所有xlsx文件生成csv文件，其他文件原样复制。
# 其中 server\ 目录特殊处理，仅对服务器有效，客户端跳过。
#
# 依赖openpyxl库：
# 参考代码
# 测试环境：Python3.4
# Usage: datatab.py game dir
# Example: datatab.py "d:\game"
# game dir 是根目录，包含Design/, Program/ 目录。
from openpyxl import Workbook
from openpyxl.compat import range
from openpyxl.cell import get_column_letter
from openpyxl import load_workbook
import csv
import os
import sys
import shutil
def xlsx2csv(filename):
# try:
xlsx_file_reader = load_workbook(filename = filename, data_only = True)
for sheet in xlsx_file_reader.get_sheet_names():
# 仅第1个sheet输出到一个csv文件中，文件名后缀替换为.csv
csv_filename = os.path.splitext(filename)[0] + '.csv'
csv_file = open(csv_filename, 'w', encoding='utf8', newline='')
csv_file_writer = csv.writer(csv_file)
sheet_ranges = xlsx_file_reader[sheet]
for row in sheet_ranges.rows:
row_container = []
for cell in row:
row_container.append(cell.value)
csv_file_writer.writerow(row_container)
# End of for row.
csv_file.close()
break # 仅输出第1个sheet
# End of for sheet.
# End of try.
# except Exception as e:
# print(e)
# End of xlsx2csv().
def datatab_convert(game_dir):
'''从 game\Design\配置表\ 输出到
game\Program\server\six\datatab\
game\Program\client\Assets\Config\
'''
design_dir = os.path.join(game_dir, 'Design/配置表/')
server_dir = os.path.join(game_dir, 'Program/server/six/datatab/')
client_dir = os.path.join(game_dir, 'Program/client/Assets/Config/')
# 删除旧文件。
print("Delete " + server_dir)
try:
shutil.rmtree(server_dir)
except:
pass
print("Delete " + client_dir)
try:
shutil.rmtree(client_dir)
except:
pass
# 生成server文件
print("Creating " + server_dir)
shutil.copytree(design_dir, server_dir)
files = get_files(server_dir)
convert_files(files)
# 复制client文件
print("Copy " + client_dir)
shutil.copytree(server_dir, client_dir)
shutil.rmtree(os.path.join(client_dir, 'server/'))
print("Done. Total files: %d" % len(files))
# End of datatab_convert().
def get_files(dir):
'''Get a list of files under input dir.'''
result = []
for root,dirs,files in os.walk(dir):
for f in files:
result.append(os.path.join(root, f))
return result
# End of get_files().
def convert_files(files):
'''转换一批文件.
files 是列表，元素为完整路径名。
'''
for f in files:
ext = os.path.splitext(f)[1].lower()
if '.xlsx' != ext:
print(f + " - keep")
continue
print(f + " - csv")
xlsx2csv(f)
os.remove(f)
# End of convert_files().
if __name__ == '__main__':
if len(sys.argv) != 2:
print('usage: datatab game dir')
else:
datatab_convert(sys.argv[1])
sys.exit(0)
# Usage: datatab.py game dir
# Example: datatab.py "d:\game"
# game dir 是SVN根目录，包含Design/, Program/ 目录。
为方便使用，将datatab.py 打包成 exe, 这样不能安装Python就能运行。
下载并安装Python3, 安装openpyxl包，保证本地可以运行 datatab.py.
下载并安装PyInstaller：
pip install pyinstaller
运行
pyinstaller --onefile datatab.py
ImportError: No module named 'jdcal'
可能openpyxl安装时自带的jdcal无法找到，删除
C:\Python34\Lib\site-packages\jdcal-1.0-py3.4.egg
重新安装：pip install jdcal
python解决csv文件用excel打开乱码问题
【问题】
python输出的csv文件用excel打开，里面的中文会变成乱码，但用window下的记事本或mac下的numbers打开就正常显示。
原因是python输出的文件是utf-8编码写入的，excel默认以gbk方式读取，导致乱码发生。
【解决方法1】文件产出时encoding设置为utf-8-sig????
用excel打开csv时，excel会先检查文件的第一个字符，来了解这个文件是什么编码方式，如果这个字符是BOM，excel就知道用utf-8的方式打开这个文件。python自带了处理BOM的编码方式uft-8-sig，因此只需要在文件产出时将encoding设置为utf-8-sig。
如果文件不是由python产出的，只需要以utf-8方式读入再以utf-8-sig方式存储即可
【解决方法2】懒人法，适用只含简体中文的文件
用记事本打开，点击另存为，右下角编码方式选择“ANSI”，这个过程是把这个文件改成gbk编码格式，excel就是默认用gbk方式打开的。
参考： Python写的csv文件，如何让 Excel 双击打开不乱码？ - 云+社区 - 腾讯云
对编码格式一窍不通的可以阅读以下网页
python笔记——二进制和文件编码_砍柴姑娘Jourosy的博客-CSDN博客
编码方式之ASCII、ANSI、Unicode概述 - 蓝海人 - 博客园
【简单总结】：
1. 首先需要了解 字符集 和 字符编码 两个概念，字符集定义了字符和二进制的一一对应关系，字符编码规定了如何将字符的编号存储到计算机中。
2. Unicode是字符集，包含了全球文字的唯一编码，utf-8是编码方式，将unicode以某种方式存储到计算机中。
3. 有些字符集和编码是结合在一起的，称作字符集还是编码都无所谓，比如ASCII，GBK
4. ANSI是各个国家地区不同扩展编码方式的总称，互不兼容（可以看出来通用性没有utf好）
5. 不同编码方式在转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。
python输出到文件乱码如何解决
python代码文件的编码
py文件默认是ASCII编码，中文在显示时会做一个ASCII到系统默认编码的转换，这时就会出错：SyntaxError: Non-ASCII character。需要在代码文件的第一行或第二行添加编码指示：
1 # coding=utf-8 ##以utf-8编码储存中文字符
2 print '中文'
像上面那样直接输入的字符串是按照代码文件的编码来处理的，如果用unicode编码，有以下三种方式：
1 s1 = u'中文' #u表示用unicode编码方式储存信息
2 s2 = unicode('中文','gbk')
unicode是一个内置函数，第二个参数指示源字符串的编码格式。
decode是任何字符串具有的方法，将字符串转换成unicode格式，参数指示源字符串的编码格式。
encode也是任何字符串具有的方法，将字符串转换成参数指定的格式。
（2）、字符串的编码
用 u'汉字' 构造出来的是unicode类型，不用的话构造出来是str类型
str的编码是与系统环境相关的，一般就是sys.getfilesystemencoding()得到的值
所以从unicode转str，要用encode方法
从str转unicode，所以要用decode
例如：
# coding=utf-8 #默认编码格式为utf-8
s = u'中文' #unicode编码的文字
print s.encode('utf-8') #转换成utf-8格式输出
但当python中间处理非ASCII编码时，经常会出现如下错误：
UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)
0x??是超出128的数字，python在默认的情况下认为语言的编码是ascii编码，所以无法处理其他编码，需要设置python的默认编码为所需要的编码。
一个解决的方案是在代码中添加：
import sys
reload(sys)
sys.setdefaultencoding('utf-8') （其中utf-8为你想输出的字符编码）
解释：
sys.setdefaultencoding方法在python导入site.py后就删除了(具体代码查看site.py就可以看到)因此如果想用的话可以再重新load进入
总结：
u=u'unicode编码文字'
g=u.encode('gbk') #转换为gbk格式
print g #此时为乱码，因为当前环境为utf-8,gbk编码文字为乱码
str=g.decode('gbk').encode('utf-8') #以gbk编码格式读取g（因为他就是gbk编码的,需要事先知道它是GBK编码）并转换为utf-8格式输出
print str #正常显示中文（同文件输出）
安全的方法：
s.decode('gbk','ignore').encode('utf-8′) #以gbk编码读取（当然是读取gbk编码格式的文字了）并忽略错误的编码，转换成utf-8编码输出。
推荐学习《Python教程》！