超全!Python中常見的配置文件寫法
來源丨網(wǎng)絡(luò)
為什么要寫配置文件
.py?文件,例如?settings.py?或?config.py,這樣的好處就是能夠在同一工程下直接通過?import?來導(dǎo)入當(dāng)中的部分;但如果我們需要在其他非 Python 的平臺(tái)進(jìn)行配置文件共享時(shí),寫成單個(gè)?.py?就不是一個(gè)很好的選擇。這時(shí)我們就應(yīng)該選擇通用的配置文件類型來作為存儲(chǔ)這些固定的部分。目前常用且流行的配置文件格式類型主要有?ini、json、toml、yaml、xml?等,這些類型的配置文件我們都可以通過標(biāo)準(zhǔn)庫(kù)或第三方庫(kù)來進(jìn)行解析。ini
ini?即 Initialize 初始化之意,早期是在 Windows 上配置文件的存儲(chǔ)格式。ini?文件的寫法通俗易懂,往往比較簡(jiǎn)單,通常由節(jié)(Section)、鍵(key)和值(value)組成,就像以下形式:[localdb]
host = 127.0.0.1
user = root
password = 123456
port = 3306
database = mysql
configparser?標(biāo)準(zhǔn)庫(kù),我們直接就可以用來對(duì)?ini?文件進(jìn)行解析。如我們將上述內(nèi)容保存在一個(gè)名為?db.ini?的文件中,然后使用?read()?方法來進(jìn)行解析和讀取,最后通過?items()?方法來獲取指定節(jié)點(diǎn)下的所有鍵值對(duì)。>>>?from?configparser?import?ConfigParser
>>>?cfg?=?ConfigParser()
>>>?cfg.read("/Users/Bobot/db.ini")
['/Users/Bobot/db.ini']
>>>?cfg.items("localdb")
[('host',?'127.0.0.1'),?('user',?'root'),?('password',?'123456'),?('port',?'3306'),?('database',?'mysql')]
configparser?默認(rèn)將值以字符串的形式呈現(xiàn),所以這也就是為什么我們?cè)?db.ini?文件中沒有加引號(hào)而是直接將字面量寫在上面的原因。#!pip?install?pymysql
import?pymysql
from?configparser?import?ConfigParser
cfg?=?ConfigParser()
cfg.read("/Users/Bobot/db.ini")
db_cfg?=?dict(cfg.items("localdb"))
con?=?pymysql.connect(**db_cfg)
json
json?格式可以說是我們常見的一種文件形式了,也是目前在互聯(lián)網(wǎng)較為流行的一種數(shù)據(jù)交換格式。除此之外,json?有時(shí)也是配置文件的一種。npm(JavaScript 包管理工具類似 Python 的?pip)、以及微軟出品的目前被廣泛使用的 VSCode 編輯器,都使用?json?編寫配置參數(shù)。configparser?一樣,Python 也內(nèi)置了?json?標(biāo)準(zhǔn)庫(kù),可以通過?load()?和?loads()?方法來導(dǎo)入文件式和字符串的?json?內(nèi)容。{
????"localdb":{
????????"host":?"127.0.0.1",
????????"user":?"root",
????????"password":?"123456",
????????"port":?3306,
????????"database":?"mysql"
????}
}
db.json?后進(jìn)行讀取和解析,json?庫(kù)讀取 json 文件相對(duì)簡(jiǎn)單容易,而且很容易解析成 Python 的字典對(duì)象。>>>?import?json
>>>?from?pprint?import?pprint
>>>?
>>>?with?open('/Users/Bobot/db.json')?as?j:
...?????cfg?=?json.load(j)['localdb']
...?
>>>?pprint(cfg)
{'database':?'mysql',
?'host':?'127.0.0.1',
?'password':?'123456',
?'port':?3306,
?'user':?'root'}
json?文件配置的缺點(diǎn)就是語(yǔ)法標(biāo)準(zhǔn)嚴(yán)格限制,為人所詬病之一的就是無法在當(dāng)中寫注釋,除非采取?json?類型的其他超集作為替代方案(VSCode 中能寫注釋的?json?參數(shù)配置文件便是代替方案的一種);同時(shí)存在嵌套過深的問題,容易導(dǎo)致出錯(cuò),不宜用來寫過長(zhǎng)或復(fù)雜的參數(shù)配置信息。toml
toml?格式(或?tml?格式)是 Github 聯(lián)合創(chuàng)始人 Tom Preston-Werner 所提出的一種配置文件格式。根據(jù)維基百科的資料,toml?最開始提出時(shí)是在 2013年7月份,距今已有七年時(shí)間;它在某些方面也與后面要談到的?yaml?文件有些類似,但如果當(dāng)你知道 yaml 的規(guī)范有幾十頁(yè)(沒有錯(cuò),真的就是幾十頁(yè)……)的時(shí)候,可能你真的就不太愿意去寫那么復(fù)雜的配置文件,toml?格式則倒是個(gè)不錯(cuò)的選擇。toml?格式大致如下:
toml?有點(diǎn)類似于前面所講的?ini?文件。但是它比?ini?擴(kuò)展了更多的內(nèi)容。toml?格式的一些規(guī)范說明,有人已經(jīng)對(duì)官方的規(guī)范文檔進(jìn)行了翻譯,有興趣的朋友可以直接查閱。uiri/toml?的版本,不過該版本僅通過了 v0.5 版本?toml?規(guī)范,但在使用上還是蠻簡(jiǎn)潔的,我們可以通過?pip?命令進(jìn)行安裝pip?install?toml
json?庫(kù)的解析用法,即通過load()?或?loads()?來進(jìn)行解析;同理轉(zhuǎn)換并導(dǎo)出也是同樣類似的用法。config.toml?中:[mysql]
host = "127.0.0.1"
user = "root"
port = 3306
database = "test"
[mysql.parameters]
pool_size = 5
charset = "utf8"
[mysql.fields]
pandas_cols = [ "id", "name", "age", "date"]
緊接著我們就可以通過?toml?庫(kù)中的?load()?方法來進(jìn)行讀取:
>>>?import?toml
>>>?import?os
>>>?from?pprint?import?pprint
>>>?cfg?=?toml.load(os.path.expanduser("~/Desktop/config.toml"))
>>>?pprint(cfg)
{'mysql':?{'database':?'test',
???????????'fields':?{'pandas_cols':?['id',?'name',?'age',?'date']},
???????????'host':?'127.0.0.1',
???????????'parameters':?{'charset':?'utf8',?'pool_size':?5},
???????????'port':?3306,
???????????'user':?'root'}}
可以看到?toml?文件被間接地轉(zhuǎn)化成了字典類型,當(dāng)然這也就是?json?版的寫法(將單引號(hào)替換成雙引號(hào)即可),方便我們后續(xù)調(diào)用或者傳參。
yaml
yaml?格式(或?yml?格式)是目前較為流行的一種配置文件,它早在 2001 由一個(gè)名為 Clark Evans 的人提出;同時(shí)它也是目前被廣泛使用的配置文件類型,典型的就是 Docker 容器里的?docker-compose.yml?配置文件,如果經(jīng)常使用 Docker 進(jìn)行部署的人對(duì)此不會(huì)陌生。yaml?文件的設(shè)計(jì)從 Python、XML 等地方獲取靈感,所以在使用時(shí)能很清楚地看到這些部分的影子。toml?內(nèi)容里我曾提到,yaml?的規(guī)范內(nèi)容可以說是冗長(zhǎng)和復(fù)雜,足足有80頁(yè)之多(斗尊強(qiáng)者,恐怖如斯……)。
PyYAML;當(dāng)然也同樣需要我們事先進(jìn)行安裝:pip?install?pyyaml
同?json?庫(kù)和?toml?庫(kù)一樣,通過?load()?方法來進(jìn)行加載。
需要注意的是,使用?load()?方法會(huì)存在一定的安全隱患,從思科 Talos 的這份報(bào)告中我們可以看到,如果加載了未知或不信任的?yaml?文件,那么有可能會(huì)存在被攻擊的風(fēng)險(xiǎn)和網(wǎng)絡(luò)安全隱患,因?yàn)樗軌蛑苯诱{(diào)用相應(yīng)的 Python 函數(shù)來執(zhí)行為攻擊者所需要的命令,比如說在?yaml?文件中寫入這么一段:
#?使用Linux和macOS的朋友不要輕易嘗試
!!python/object/apply:os.system?["rm?-rf?/"]
因此最好是使用?safe_load()?來代替?load()?方法。
這和 Python 內(nèi)置的?string?標(biāo)準(zhǔn)庫(kù)中?Template?類的?substitute()?模板方法一樣存在著同樣的安全隱患,所以使用?safe_substitute()?來替代是一樣的道理。
如我們現(xiàn)在將之前的一些配置信息寫入?config.yaml?文件中:
mysql:
??host:?"127.0.0.1"
??port:?3306
??user:?"root"
??password:?"123456"
??database:?"test"
??parameter:
????pool_size:?5
????charset:?"utf8"
??fields:
????pandas_cols:?
??????-?id
??????-?name
??????-?age
??????-?date
然后我們通過?safe_load()?方法進(jìn)行解析:
>>>?import?os
>>>?from?pprint?import?pprint
>>>?
>>>?with?open(os.path.expanduser("~/config.yaml"),?"r")?as?config:
...?????cfg?=?yaml.safe_load(config)
...?
>>>?pprint(cfg)
{'mysql':?{'database':?'test',
???????????'fields':?{'pandas_cols':?['id',?'name',?'age',?'date']},
???????????'host':?'127.0.0.1',
???????????'parameter':?{'charset':?'utf8',?'pool_size':?5},
???????????'password':?'123456',
???????????'port':?3306,
???????????'user':?'root'}}
可以看到最后結(jié)果和前面的?toml?庫(kù)的解析結(jié)果基本一致。
結(jié)尾
xml?格式類型的內(nèi)容。對(duì)于?xml?配置文件可能與 Java 系語(yǔ)言打交道的朋友遇見得會(huì)多一些,但?xml?文件的可讀性實(shí)在是讓人望而生畏;對(duì)?xml?文件不了解的朋友可以使用 Chrome 瀏覽器隨便進(jìn)入一個(gè)網(wǎng)站然后按下 F12 進(jìn)入開發(fā)者后查看那密密麻麻的 html 元素便是?.xml?的縮影。.cfg、.properties?等都可以作為配置文件,甚至和開頭提到的那樣,你單獨(dú)用一個(gè)?.py?文件來書寫各類配置信息作為配置文件進(jìn)行導(dǎo)入都是沒問題,只是在跨語(yǔ)言共享時(shí)可能會(huì)有些障礙。因此本文就不過多介紹,感興趣的朋友可以進(jìn)一步自行了解。ini < json ≈ toml < yaml,它們之間各有優(yōu)劣,可以根據(jù)自己實(shí)際的需求和團(tuán)隊(duì)協(xié)作要求來具體選擇。評(píng)論
圖片
表情
