為什么要寫配置文件

在開發(fā)過程中，我們常常會(huì)用到一些固定參數(shù)或者是常量。對(duì)于這些較為固定且常用到的部分，往往會(huì)將其寫到一個(gè)固定文件中，避免在不同的模塊代碼中重復(fù)出現(xiàn)從而保持核心代碼整潔。

這個(gè)固定文件我們可以直接寫成一個(gè) .py 文件，例如 settings.py 或 config.py，這樣的好處就是能夠在同一工程下直接通過 import 來導(dǎo)入當(dāng)中的部分；但如果我們需要在其他非 Python 的平臺(tái)進(jìn)行配置文件共享時(shí)，寫成單個(gè) .py 就不是一個(gè)很好的選擇。這時(shí)我們就應(yīng)該選擇通用的配置文件類型來作為存儲(chǔ)這些固定的部分。目前常用且流行的配置文件格式類型主要有 ini、json、toml、yaml、xml 等，這些類型的配置文件我們都可以通過標(biāo)準(zhǔn)庫或第三方庫來進(jìn)行解析。

ini

ini 即 Initialize 初始化之意，早期是在 Windows 上配置文件的存儲(chǔ)格式。ini 文件的寫法通俗易懂，往往比較簡單，通常由節(jié)（Section）、鍵（key）和值（value）組成，就像以下形式：

[localdb]
host     = 127.0.0.1
user     = root
password = 123456
port     = 3306
database = mysql

Python 本身內(nèi)置的 configparser 標(biāo)準(zhǔn)庫，我們直接就可以用來對(duì) ini 文件進(jìn)行解析。如我們將上述內(nèi)容保存在一個(gè)名為 db.ini 的文件中，然后使用 read() 方法來進(jìn)行解析和讀取，最后通過 items() 方法來獲取指定節(jié)點(diǎn)下的所有鍵值對(duì)。

>>> from configparser import ConfigParser
>>> cfg = ConfigParser()
>>> cfg.read("/Users/Bobot/db.ini")
['/Users/Bobot/db.ini']
>>> cfg.items("localdb")
[('host', '127.0.0.1'), ('user', 'root'), ('password', '123456'), ('port', '3306'), ('database', 'mysql')]

需要注意的是，configparser 默認(rèn)將值以字符串的形式呈現(xiàn)，所以這也就是為什么我們?cè)?db.ini 文件中沒有加引號(hào)而是直接將字面量寫在上面的原因。

獲取到鍵值對(duì)后，我其實(shí)直接就將其轉(zhuǎn)換成字典，然后通過解包的方式進(jìn)行穿參，保持代碼簡潔：

#!pip install pymysql
import pymysql
from configparser import ConfigParser

cfg = ConfigParser()
cfg.read("/Users/Bobot/db.ini")
db_cfg = dict(cfg.items("localdb"))

con = pymysql.connect(**db_cfg)

json

json 格式可以說是我們常見的一種文件形式了，也是目前在互聯(lián)網(wǎng)較為流行的一種數(shù)據(jù)交換格式。除此之外，json 有時(shí)也是配置文件的一種。

比如 npm（JavaScript 包管理工具類似 Python 的 pip）、以及微軟出品的目前被廣泛使用的 VSCode 編輯器，都使用 json 編寫配置參數(shù)。

和 configparser 一樣，Python 也內(nèi)置了 json 標(biāo)準(zhǔn)庫，可以通過 load() 和 loads() 方法來導(dǎo)入文件式和字符串的 json 內(nèi)容。

{
    "localdb":{
        "host": "127.0.0.1",
        "user": "root",
        "password": "123456",
        "port": 3306,
        "database": "mysql"
    }
}

我們將上述內(nèi)容保存為 db.json 后進(jìn)行讀取和解析，json 庫讀取 json 文件相對(duì)簡單容易，而且很容易解析成 Python 的字典對(duì)象。

>>> import json
>>> from pprint import pprint
>>> 
>>> with open('/Users/Bobot/db.json') as j:
...     cfg = json.load(j)['localdb']
... 
>>> pprint(cfg)
{'database': 'mysql',
 'host': '127.0.0.1',
 'password': '123456',
 'port': 3306,
 'user': 'root'}

使用 json 文件配置的缺點(diǎn)就是語法標(biāo)準(zhǔn)嚴(yán)格限制，為人所詬病之一的就是無法在當(dāng)中寫注釋，除非采取 json 類型的其他超集作為替代方案（VSCode 中能寫注釋的 json 參數(shù)配置文件便是代替方案的一種）；同時(shí)存在嵌套過深的問題，容易導(dǎo)致出錯(cuò)，不宜用來寫過長或復(fù)雜的參數(shù)配置信息。

toml

toml 格式（或 tml 格式）是 Github 聯(lián)合創(chuàng)始人 Tom Preston-Werner 所提出的一種配置文件格式。根據(jù)維基百科的資料，toml 最開始提出時(shí)是在 2013年7月份，距今已有七年時(shí)間；它在某些方面也與后面要談到的 yaml 文件有些類似，但如果當(dāng)你知道 yaml 的規(guī)范有幾十頁（沒有錯(cuò)，真的就是幾十頁……）的時(shí)候，可能你真的就不太愿意去寫那么復(fù)雜的配置文件，toml 格式則倒是個(gè)不錯(cuò)的選擇。

toml 格式大致如下：

從這里可以看出 toml 有點(diǎn)類似于前面所講的 ini 文件。但是它比 ini 擴(kuò)展了更多的內(nèi)容。

在樣例圖片中我們可以看到，除了基本的字符串以外，例如時(shí)間戳、布爾值、數(shù)組等都進(jìn)一步支持，而且樣式和 Python 的原生寫法十分類似。

當(dāng)然這里不會(huì)過多介紹 toml 格式的一些規(guī)范說明，有人已經(jīng)對(duì)官方的規(guī)范文檔進(jìn)行了翻譯，有興趣的朋友可以直接查閱。

這么契合 Python 方式的配置文件類型已經(jīng)有開發(fā)者造出了相應(yīng)的「輪子」，目前在 Github 上 Stars 數(shù)最多的是則 uiri/toml 的版本，不過該版本僅通過了 v0.5 版本 toml 規(guī)范，但在使用上還是蠻簡潔的，我們可以通過 pip 命令進(jìn)行安裝

pip install toml

該庫的解析方式很簡單，也有點(diǎn)類似于 json 庫的解析用法，即通過load() 或 loads() 來進(jìn)行解析；同理轉(zhuǎn)換并導(dǎo)出也是同樣類似的用法。

比如我們現(xiàn)在將以下內(nèi)容寫入到 config.toml 中：

[mysql]
host     = "127.0.0.1"
user     = "root"
port     = 3306
database = "test"

  [mysql.parameters]
  pool_size = 5
  charset   = "utf8"

  [mysql.fields]
  pandas_cols = [ "id", "name", "age", "date"]

緊接著我們就可以通過 toml 庫中的 load() 方法來進(jìn)行讀取：

>>> import toml
>>> import os
>>> from pprint import pprint
>>> cfg = toml.load(os.path.expanduser("~/Desktop/config.toml"))
>>> pprint(cfg)
{'mysql': {'database': 'test',
           'fields': {'pandas_cols': ['id', 'name', 'age', 'date']},
           'host': '127.0.0.1',
           'parameters': {'charset': 'utf8', 'pool_size': 5},
           'port': 3306,
           'user': 'root'}}

可以看到 toml 文件被間接地轉(zhuǎn)化成了字典類型，當(dāng)然這也就是 json 版的寫法（將單引號(hào)替換成雙引號(hào)即可），方便我們后續(xù)調(diào)用或者傳參。

yaml

yaml 格式（或 yml 格式）是目前較為流行的一種配置文件，它早在 2001 由一個(gè)名為 Clark Evans 的人提出；同時(shí)它也是目前被廣泛使用的配置文件類型，典型的就是 Docker 容器里的 docker-compose.yml 配置文件，如果經(jīng)常使用 Docker 進(jìn)行部署的人對(duì)此不會(huì)陌生。

yaml 文件的設(shè)計(jì)從 Python、XML 等地方獲取靈感，所以在使用時(shí)能很清楚地看到這些部分的影子。

在上一節(jié) toml 內(nèi)容里我曾提到，yaml 的規(guī)范內(nèi)容可以說是冗長和復(fù)雜，足足有80頁之多（斗尊強(qiáng)者，恐怖如斯……）。

所以感興趣的朋友可以再自行了解相關(guān)用法。

YAML 官方早已經(jīng)提供了相應(yīng)的 Python 庫進(jìn)行支持，即 PyYAML；當(dāng)然也同樣需要我們事先進(jìn)行安裝：

pip install pyyaml

同 json 庫和 toml 庫一樣，通過 load() 方法來進(jìn)行加載。

需要注意的是，使用 load() 方法會(huì)存在一定的安全隱患，從思科 Talos 的這份報(bào)告中我們可以看到，如果加載了未知或不信任的 yaml 文件，那么有可能會(huì)存在被攻擊的風(fēng)險(xiǎn)和網(wǎng)絡(luò)安全隱患，因?yàn)樗軌蛑苯诱{(diào)用相應(yīng)的 Python 函數(shù)來執(zhí)行為攻擊者所需要的命令，比如說在 yaml 文件中寫入這么一段：

# 使用Linux和macOS的朋友不要輕易嘗試
!!python/object/apply:os.system ["rm -rf /"]

因此最好是使用 safe_load() 來代替 load() 方法。

這和 Python 內(nèi)置的 string 標(biāo)準(zhǔn)庫中 Template 類的 substitute() 模板方法一樣存在著同樣的安全隱患，所以使用 safe_substitute() 來替代是一樣的道理。

如我們現(xiàn)在將之前的一些配置信息寫入 config.yaml 文件中：

mysql:
  host: "127.0.0.1"
  port: 3306
  user: "root"
  password: "123456"
  database: "test"

  parameter:
    pool_size: 5
    charset: "utf8"

  fields:
    pandas_cols: 
      - id
      - name
      - age
      - date

然后我們通過 safe_load() 方法進(jìn)行解析：

>>> import os
>>> from pprint import pprint
>>> 
>>> with open(os.path.expanduser("~/config.yaml"), "r") as config:
...     cfg = yaml.safe_load(config)
... 
>>> pprint(cfg)
{'mysql': {'database': 'test',
           'fields': {'pandas_cols': ['id', 'name', 'age', 'date']},
           'host': '127.0.0.1',
           'parameter': {'charset': 'utf8', 'pool_size': 5},
           'password': '123456',
           'port': 3306,
           'user': 'root'}}

可以看到最后結(jié)果和前面的 toml 庫的解析結(jié)果基本一致。

結(jié)尾

本文列舉了一些主流且常見的配置文件類型及其 Python 的讀取方法，可能有的讀者會(huì)發(fā)現(xiàn)當(dāng)中沒有 xml 格式類型的內(nèi)容。對(duì)于 xml 配置文件可能與 Java 系語言打交道的朋友遇見得會(huì)多一些，但 xml 文件的可讀性實(shí)在是讓人望而生畏；對(duì) xml 文件不了解的朋友可以使用 Chrome 瀏覽器隨便進(jìn)入一個(gè)網(wǎng)站然后按下 F12 進(jìn)入開發(fā)者后查看那密密麻麻的 html 元素便是 .xml 的縮影。

除了這些主流的配置文件類型之外，像一些 .cfg、.properties 等都可以作為配置文件，甚至和開頭提到的那樣，你單獨(dú)用一個(gè) .py 文件來書寫各類配置信息作為配置文件進(jìn)行導(dǎo)入都是沒問題，只是在跨語言共享時(shí)可能會(huì)有些障礙。因此本文就不過多介紹，感興趣的朋友可以進(jìn)一步自行了解。

在本文里列舉的配置文件類型其復(fù)雜性由上到下依次增加：ini < json ≈ toml < yaml，它們之間各有優(yōu)劣，可以根據(jù)自己實(shí)際的需求和團(tuán)隊(duì)協(xié)作要求來具體選擇。

作者：100gle，練習(xí)時(shí)長不到兩年的非正經(jīng)文科生一枚，喜歡敲代碼、寫寫文章、搗鼓搗鼓各種新事物；現(xiàn)從事有關(guān)大數(shù)據(jù)分析與挖掘的相關(guān)工作。

Python中文社區(qū)作為一個(gè)去中心化的全球技術(shù)社區(qū)，以成為全球20萬Python中文開發(fā)者的精神部落為愿景，目前覆蓋各大主流媒體和協(xié)作平臺(tái)，與阿里、騰訊、百度、微軟、亞馬遜、開源中國、CSDN等業(yè)界知名公司和技術(shù)社區(qū)建立了廣泛的聯(lián)系，擁有來自十多個(gè)國家和地區(qū)數(shù)萬名登記會(huì)員，會(huì)員來自以工信部、清華大學(xué)、北京大學(xué)、北京郵電大學(xué)、中國人民銀行、中科院、中金、華為、BAT、谷歌、微軟等為代表的政府機(jī)關(guān)、科研單位、金融機(jī)構(gòu)以及海內(nèi)外知名公司，全平臺(tái)近20萬開發(fā)者關(guān)注。

長按掃碼添加“Python小助手”