為什么要寫配置文件

在開發(fā)過程中，我們常常會用到一些固定參數(shù)或者是常量。對于這些較為固定且常用到的部分，往往會將其寫到一個固定文件中，避免在不同的模塊代碼中重復(fù)出現(xiàn)從而保持核心代碼整潔。

這個固定文件我們可以直接寫成一個?.py?文件，例如?settings.py?或?config.py，這樣的好處就是能夠在同一工程下直接通過?import?來導(dǎo)入當(dāng)中的部分；但如果我們需要在其他非 Python 的平臺進行配置文件共享時，寫成單個?.py?就不是一個很好的選擇。這時我們就應(yīng)該選擇通用的配置文件類型來作為存儲這些固定的部分。目前常用且流行的配置文件格式類型主要有?ini、json、toml、yaml、xml?等，這些類型的配置文件我們都可以通過標(biāo)準庫或第三方庫來進行解析。

ini

ini?即 Initialize 初始化之意，早期是在 Windows 上配置文件的存儲格式。ini?文件的寫法通俗易懂，往往比較簡單，通常由節(jié)（Section）、鍵（key）和值（value）組成，就像以下形式：

[localdb]
host     = 127.0.0.1
user     = root
password = 123456
port     = 3306
database = mysql

Python 本身內(nèi)置的?configparser?標(biāo)準庫，我們直接就可以用來對?ini?文件進行解析。如我們將上述內(nèi)容保存在一個名為?db.ini?的文件中，然后使用?read()?方法來進行解析和讀取，最后通過?items()?方法來獲取指定節(jié)點下的所有鍵值對。

>>>?from?configparser?import?ConfigParser
>>>?cfg?=?ConfigParser()
>>>?cfg.read("/Users/Bobot/db.ini")
['/Users/Bobot/db.ini']
>>>?cfg.items("localdb")
[('host',?'127.0.0.1'),?('user',?'root'),?('password',?'123456'),?('port',?'3306'),?('database',?'mysql')]

需要注意的是，configparser?默認將值以字符串的形式呈現(xiàn)，所以這也就是為什么我們在?db.ini?文件中沒有加引號而是直接將字面量寫在上面的原因。

獲取到鍵值對后，我其實直接就將其轉(zhuǎn)換成字典，然后通過解包的方式進行穿參，保持代碼簡潔：

#!pip?install?pymysql
import?pymysql
from?configparser?import?ConfigParser

cfg?=?ConfigParser()
cfg.read("/Users/Bobot/db.ini")
db_cfg?=?dict(cfg.items("localdb"))

con?=?pymysql.connect(**db_cfg)

json

json?格式可以說是我們常見的一種文件形式了，也是目前在互聯(lián)網(wǎng)較為流行的一種數(shù)據(jù)交換格式。除此之外，json?有時也是配置文件的一種。

比如?npm（JavaScript 包管理工具類似 Python 的?pip）、以及微軟出品的目前被廣泛使用的 VSCode 編輯器，都使用?json?編寫配置參數(shù)。

和?configparser?一樣，Python 也內(nèi)置了?json?標(biāo)準庫，可以通過?load()?和?loads()?方法來導(dǎo)入文件式和字符串的?json?內(nèi)容。

{
????"localdb":{
????????"host":?"127.0.0.1",
????????"user":?"root",
????????"password":?"123456",
????????"port":?3306,
????????"database":?"mysql"
????}
}

我們將上述內(nèi)容保存為?db.json?后進行讀取和解析，json?庫讀取 json 文件相對簡單容易，而且很容易解析成 Python 的字典對象。

>>>?import?json
>>>?from?pprint?import?pprint
>>>?
>>>?with?open('/Users/Bobot/db.json')?as?j:
...?????cfg?=?json.load(j)['localdb']
...?
>>>?pprint(cfg)
{'database':?'mysql',
?'host':?'127.0.0.1',
?'password':?'123456',
?'port':?3306,
?'user':?'root'}

使用?json?文件配置的缺點就是語法標(biāo)準嚴格限制，為人所詬病之一的就是無法在當(dāng)中寫注釋，除非采取?json?類型的其他超集作為替代方案（VSCode 中能寫注釋的?json?參數(shù)配置文件便是代替方案的一種）；同時存在嵌套過深的問題，容易導(dǎo)致出錯，不宜用來寫過長或復(fù)雜的參數(shù)配置信息。

toml

toml?格式（或?tml?格式）是 Github 聯(lián)合創(chuàng)始人 Tom Preston-Werner 所提出的一種配置文件格式。根據(jù)維基百科的資料，toml?最開始提出時是在 2013年7月份，距今已有七年時間；它在某些方面也與后面要談到的?yaml?文件有些類似，但如果當(dāng)你知道 yaml 的規(guī)范有幾十頁（沒有錯，真的就是幾十頁……）的時候，可能你真的就不太愿意去寫那么復(fù)雜的配置文件，toml?格式則倒是個不錯的選擇。

toml?格式大致如下：

從這里可以看出?toml?有點類似于前面所講的?ini?文件。但是它比?ini?擴展了更多的內(nèi)容。

在樣例圖片中我們可以看到，除了基本的字符串以外，例如時間戳、布爾值、數(shù)組等都進一步支持，而且樣式和 Python 的原生寫法十分類似。

當(dāng)然這里不會過多介紹?toml?格式的一些規(guī)范說明，有人已經(jīng)對官方的規(guī)范文檔進行了翻譯，有興趣的朋友可以直接查閱。

這么契合 Python 方式的配置文件類型已經(jīng)有開發(fā)者造出了相應(yīng)的「輪子」，目前在 Github 上 Stars 數(shù)最多的是則是?uiri/toml?的版本，不過該版本僅通過了 v0.5 版本?toml?規(guī)范，但在使用上還是蠻簡潔的，我們可以通過?pip?命令進行安裝

pip?install?toml

該庫的解析方式很簡單，也有點類似于?json?庫的解析用法，即通過load()?或?loads()?來進行解析；同理轉(zhuǎn)換并導(dǎo)出也是同樣類似的用法。

比如我們現(xiàn)在將以下內(nèi)容寫入到?config.toml?中：

[mysql]
host     = "127.0.0.1"
user     = "root"
port     = 3306
database = "test"

  [mysql.parameters]
  pool_size = 5
  charset   = "utf8"

  [mysql.fields]
  pandas_cols = [ "id", "name", "age", "date"]

緊接著我們就可以通過?toml?庫中的?load()?方法來進行讀?。?/span>

>>>?import?toml
>>>?import?os
>>>?from?pprint?import?pprint
>>>?cfg?=?toml.load(os.path.expanduser("~/Desktop/config.toml"))
>>>?pprint(cfg)
{'mysql':?{'database':?'test',
???????????'fields':?{'pandas_cols':?['id',?'name',?'age',?'date']},
???????????'host':?'127.0.0.1',
???????????'parameters':?{'charset':?'utf8',?'pool_size':?5},
???????????'port':?3306,
???????????'user':?'root'}}

可以看到?toml?文件被間接地轉(zhuǎn)化成了字典類型，當(dāng)然這也就是?json?版的寫法（將單引號替換成雙引號即可），方便我們后續(xù)調(diào)用或者傳參。

yaml

yaml?格式（或?yml?格式）是目前較為流行的一種配置文件，它早在 2001 由一個名為 Clark Evans 的人提出；同時它也是目前被廣泛使用的配置文件類型，典型的就是 Docker 容器里的?docker-compose.yml?配置文件，如果經(jīng)常使用 Docker 進行部署的人對此不會陌生。

yaml?文件的設(shè)計從 Python、XML 等地方獲取靈感，所以在使用時能很清楚地看到這些部分的影子。

在上一節(jié)?toml?內(nèi)容里我曾提到，yaml?的規(guī)范內(nèi)容可以說是冗長和復(fù)雜，足足有80頁之多（斗尊強者，恐怖如斯……）。

02-yaml規(guī)范頁數(shù)

所以感興趣的朋友可以再自行了解相關(guān)用法。

YAML 官方早已經(jīng)提供了相應(yīng)的 Python 庫進行支持，即?PyYAML；當(dāng)然也同樣需要我們事先進行安裝：

pip?install?pyyaml

同?json?庫和?toml?庫一樣，通過?load()?方法來進行加載。

需要注意的是，使用?load()?方法會存在一定的安全隱患，從思科 Talos 的這份報告中我們可以看到，如果加載了未知或不信任的?yaml?文件，那么有可能會存在被攻擊的風(fēng)險和網(wǎng)絡(luò)安全隱患，因為它能夠直接調(diào)用相應(yīng)的 Python 函數(shù)來執(zhí)行為攻擊者所需要的命令，比如說在?yaml?文件中寫入這么一段：

#?使用Linux和macOS的朋友不要輕易嘗試
!!python/object/apply:os.system?["rm?-rf?/"]

因此最好是使用?safe_load()?來代替?load()?方法。

這和 Python 內(nèi)置的?string?標(biāo)準庫中?Template?類的?substitute()?模板方法一樣存在著同樣的安全隱患，所以使用?safe_substitute()?來替代是一樣的道理。

如我們現(xiàn)在將之前的一些配置信息寫入?config.yaml?文件中：

mysql:
??host:?"127.0.0.1"
??port:?3306
??user:?"root"
??password:?"123456"
??database:?"test"

??parameter:
????pool_size:?5
????charset:?"utf8"

??fields:
????pandas_cols:?
??????-?id
??????-?name
??????-?age
??????-?date

然后我們通過?safe_load()?方法進行解析：

>>>?import?os
>>>?from?pprint?import?pprint
>>>?
>>>?with?open(os.path.expanduser("~/config.yaml"),?"r")?as?config:
...?????cfg?=?yaml.safe_load(config)
...?
>>>?pprint(cfg)
{'mysql':?{'database':?'test',
???????????'fields':?{'pandas_cols':?['id',?'name',?'age',?'date']},
???????????'host':?'127.0.0.1',
???????????'parameter':?{'charset':?'utf8',?'pool_size':?5},
???????????'password':?'123456',
???????????'port':?3306,
???????????'user':?'root'}}

可以看到最后結(jié)果和前面的?toml?庫的解析結(jié)果基本一致。

結(jié)尾

本文列舉了一些主流且常見的配置文件類型及其 Python 的讀取方法，可能有的讀者會發(fā)現(xiàn)當(dāng)中沒有?xml?格式類型的內(nèi)容。對于?xml?配置文件可能與 Java 系語言打交道的朋友遇見得會多一些，但?xml?文件的可讀性實在是讓人望而生畏；對?xml?文件不了解的朋友可以使用 Chrome 瀏覽器隨便進入一個網(wǎng)站然后按下 F12 進入開發(fā)者后查看那密密麻麻的 html 元素便是?.xml?的縮影。

除了這些主流的配置文件類型之外，像一些?.cfg、.properties?等都可以作為配置文件，甚至和開頭提到的那樣，你單獨用一個?.py?文件來書寫各類配置信息作為配置文件進行導(dǎo)入都是沒問題，只是在跨語言共享時可能會有些障礙。因此本文就不過多介紹，感興趣的朋友可以進一步自行了解。

在本文里列舉的配置文件類型其復(fù)雜性由上到下依次增加：ini < json ≈ toml < yaml，它們之間各有優(yōu)劣，可以根據(jù)自己實際的需求和團隊協(xié)作要求來具體選擇。

文章轉(zhuǎn)載：Python編程學(xué)習(xí)圈
（版權(quán)歸原作者所有，侵刪）

點擊下方“閱讀原文”查看更多