Python數(shù)據(jù)分析，系統(tǒng)步驟介紹！

在用Python做數(shù)據(jù)分析的過程中，有一些操作步驟和邏輯框架是很固定的，只需要記住其用法即可。本節(jié)內(nèi)容介紹Pandas模塊在數(shù)據(jù)分析中的常用方法。

1、數(shù)據(jù)的生成與導(dǎo)入

2、數(shù)據(jù)信息查看

    2.1、查看整體數(shù)據(jù)信息

    2.2、查看數(shù)據(jù)維度、列名稱、數(shù)據(jù)格式

    2.3、查看數(shù)據(jù)特殊值和數(shù)值

        2.3.1、查看空值

        2.3.2、查看唯一值

        2.3.3、查看數(shù)值

        2.3.4、查看前后數(shù)據(jù)

3、數(shù)據(jù)的清洗和預(yù)處理等步驟

    3.1、空值處理

    3.2、空格處理

    3.3、字符串大小寫處理

    3.4、更改數(shù)據(jù)類型和列名稱

    3.5、重復(fù)值處理

    3.6、數(shù)據(jù)替換

    3.7、數(shù)據(jù)合并和排序

    3.8、數(shù)據(jù)分組

4、數(shù)據(jù)提取和篩選

    4.1、按位置提取

    4.2、按標簽提取

    4.3、按條件提取

    4.4、數(shù)據(jù)篩選

5、數(shù)據(jù)匯總與統(tǒng)計量計算

    5.1、groupby用法

    5.2、數(shù)據(jù)透視表用法

    5.3、數(shù)據(jù)采樣

    5.4、數(shù)據(jù)求均值 ，方差等

    5.5、數(shù)據(jù)求相關(guān)系數(shù)

6、數(shù)據(jù)存儲

    6.1、存儲到Execl

    6.2、存儲到CSV

說明：

• 利用Pandas里面的read系列可直接讀取相應(yīng)格式的數(shù)據(jù)文件。

• 生成數(shù)據(jù)直接創(chuàng)建一個Dataframe即可

• 本次數(shù)據(jù)為泰坦尼克號數(shù)據(jù)

目的：了解數(shù)據(jù)的概況，例如整個數(shù)據(jù)表的大小、所占空間、數(shù)據(jù)格式、是否有空值和重復(fù)項，為后面的清洗和預(yù)處理做準備。

限于篇幅，只對其中一種方法進行截圖展示。例：查看前五行數(shù)據(jù)

對清洗完的數(shù)據(jù)進行預(yù)處理整理以便后期的統(tǒng)計和分析工作。

例如更改列名：

數(shù)據(jù)合并：

Pandas具有功能全面的高性能內(nèi)存中連接操作，與SQL等關(guān)系數(shù)據(jù)庫非常相似。

合并方式：

• inner

• outer

• left

• right

組合方式：

• left_on + right_on

• left_on + right_index

• left_index + right_on

• left_index + right_index

數(shù)據(jù)排序：

數(shù)據(jù)分組：

例如：把泰坦尼克號火災(zāi)等級分成：‘high’，‘low’

結(jié)果：

• 數(shù)據(jù)提取：使用loc和iloc配合相關(guān)函數(shù)。

• 篩選：使用與，或，非三個條件配合大于，小于和等于對數(shù)據(jù)進行篩選。

關(guān)于groupby和數(shù)據(jù)透視表請閱讀：這些祝福和干貨比那幾塊錢的紅包重要的多！

相關(guān)系數(shù)結(jié)果：

 ↓ ↓ ↓