?

本文示例代碼及文件已上傳至我的Github倉庫https://github.com/CNFeffery/DataScienceStudyNotes

?

1 簡介

在日常使用Python的過程中，我們經(jīng)常會與json格式的數(shù)據(jù)打交道，尤其是那種嵌套結(jié)構(gòu)復(fù)雜的json數(shù)據(jù)，從中抽取復(fù)雜結(jié)構(gòu)下鍵值對數(shù)據(jù)的過程枯燥且費(fèi)事。

而熟悉xpath的朋友都知道，對于xml格式類型的具有層次結(jié)構(gòu)的數(shù)據(jù)，我們可以通過編寫xpath語句來靈活地提取出滿足某些結(jié)構(gòu)規(guī)則的數(shù)據(jù)。

類似的，JSONPath也是用于從json數(shù)據(jù)中按照層次規(guī)則抽取數(shù)據(jù)的一種實(shí)用工具，在Python中我們可以使用jsonpath這個庫來實(shí)現(xiàn)JSONPath的功能。

2 在Python中使用JSONPath提取json數(shù)據(jù)

jsonpath是一個第三方庫，所以我們首先需要通過pip install jsonpath對其進(jìn)行安裝。

2.1 一個簡單的例子

安裝完成后，我們首先來看一個簡單的例子，從而初探其使用方式：

這里使用到的示例json數(shù)據(jù)來自高德地圖步行導(dǎo)航接口，包含了從天安門廣場到西單大悅城的步行導(dǎo)航結(jié)果，原始數(shù)據(jù)如下，層次結(jié)構(gòu)較深：

假如我想要獲取其嵌套結(jié)構(gòu)中steps鍵值對下每段行程的耗時duration數(shù)據(jù)，配合jsonpath就可以這樣做：

import json
from jsonpath import jsonpath

# 讀入示例json數(shù)據(jù)
with open('json示例.json', encoding='utf-8') as j:
    demo_json = json.loads(j.read())

# 配合JSONPath表達(dá)式提取數(shù)據(jù)
jsonpath(demo_json, '$..steps[*].duration')

其中$..steps[*].duration就是我們用于描述數(shù)據(jù)位置規(guī)則的JSONPath語句，配合jsonpath()便可以提取出對應(yīng)信息，下面我們就來學(xué)習(xí)jsonpath中支持的常用JSONPath語法：

2.2 jsonpath中的常用JSONPath語法

為了滿足日常提取數(shù)據(jù)的需求，JSONPath中設(shè)計(jì)了一系列語法規(guī)則來實(shí)現(xiàn)對目標(biāo)值的定位，其中常用的有：

• 「按位置選擇節(jié)點(diǎn)」

在jsonpath中主要有以下幾種按位置選擇節(jié)點(diǎn)的方式：

讓我們來演示一下它們的一些用法：

# 提取所有duration鍵對應(yīng)值
jsonpath(demo_json, '$..duration')

# 提取所有steps鍵的子節(jié)點(diǎn)對應(yīng)instruction值
jsonpath(demo_json, '$..steps.*.instruction')

• 「索引子節(jié)點(diǎn)」

有些時候我們需要在選擇過程中對子節(jié)點(diǎn)做多選或按位置選擇操作，就可以使用到jsonpath中的相關(guān)功能：

# 多選所有steps鍵的子節(jié)點(diǎn)對應(yīng)的instruction與action值
jsonpath(demo_json, '$..steps.*[instruction,action]')

# 選擇steps鍵的第0個子節(jié)點(diǎn)對應(yīng)的instruction與action值
jsonpath(demo_json, '$..steps[0][instruction,action]')

# 選擇steps鍵的第1到3（不包括3）個子節(jié)點(diǎn)對應(yīng)的instruction與action值
jsonpath(demo_json, '$..steps[1:3][instruction,action]')

# 配合@，選擇steps鍵的最后一個子節(jié)點(diǎn)對應(yīng)的instruction與action值
jsonpath(demo_json, '$..steps[(@.length-1)][instruction,action]')

• 「條件篩選」

有些時候我們需要根據(jù)子節(jié)點(diǎn)的某些鍵值對值，對選擇的節(jié)點(diǎn)進(jìn)行篩選，在jsonpath中支持常用的==、!=、>、<等比較運(yùn)算符，以==比較符為例，這里配合@定位符從當(dāng)前節(jié)點(diǎn)提取子節(jié)點(diǎn)，語法為?(@.鍵名 比較符 值)：

# 找到所有steps子節(jié)點(diǎn)中orientation為“西”的
jsonpath(demo_json, '$..steps[?(@.orientation == "西")]')

而如果想要提取所有具有指定鍵的節(jié)點(diǎn)，可以參考下面的例子：

# 找到所有具有polyline鍵的節(jié)點(diǎn)對應(yīng)的polyline與road鍵對應(yīng)值
jsonpath(demo_json, '$..[?(@.polyline)][polyline,road]')

2.3 返回結(jié)果的形式

在前面的例子中，我們所有的返回結(jié)果直接就是提取到的滿足條件的結(jié)果，而jsonpath()中還提供了另一種特殊的結(jié)果返回形式，只需要設(shè)置參數(shù)result_type=None就可以改直接返回結(jié)果為返回每個結(jié)果的JSONPath表達(dá)式：

# 獲取結(jié)果的JSONPath表達(dá)式
jsonpath(demo_json, '$..[?(@.polyline)][polyline,road]', result_type=None)

以上介紹的均為jsonpath庫中的常規(guī)功能，可以滿足基礎(chǔ)的json數(shù)據(jù)提取需求，而除了jsonpath之外，還有其他具有更加豐富拓展功能的JSONPath類的第三方庫，可以幫助我們實(shí)現(xiàn)很多進(jìn)階靈活的操作，我們將在下一篇文章中繼續(xù)討論。

以上就是本文的全部內(nèi)容，歡迎在評論區(qū)與我進(jìn)行討論~