跳到主要內容

使用python繪製視覺化--樹狀圖(Treemap)



樹狀圖在某些特點上跟泡泡圖的類似,都可以提供不只1個維度的資訊,並透過形狀大小、顏色來呈現。但是比較不同的地方是樹狀圖有層級的概念,可以用來呈現階層式資料。例如將全臺灣當作第一層,縣市當做第二層(分支),再下一層則是縣市人口年齡組成。

在這基本概念下利用pythonPlotly套件來繪製堆疊區域圖。這次以2013-2016國民營養健康調查報告書中的數據為例。

以下針對2013-2016國民營養健康調查做簡單的介紹:
²  目的隨時代改變人們飲食習慣也隨之改變,為了對國人的營養健康狀況有所了解,從1980年開始委託衛生署食品衛生處、衛生署食品藥物管理局定期辦理全國性營養健康調查,2013年起改由衛生福利部國民健康署定期辦理。2013-2016年的調查為第五次的國民營養調查。
²  調查對象所有居住在臺灣本島及澎湖設有戶籍的人口,依據縣市人口比例分層集束抽樣,進行家戶田野調查。
²  問卷除人口社經等基本資料的收集外,包含24小時飲食回顧、飲食頻率、疾病史、營養知識態度與行為、活動量等相關問卷以及身體健康檢查資料。

2013-2016年總計問卷完訪人數有11,072人,體檢人數為9746人。
十大死因中心血管疾病常常榜上有名,可見一直是國人重要的死亡原因之一,但因疾病病徵較不明顯,相較於癌症來說反而容易受到忽略,但實則不可輕忽,應即早預防與控制,其中抽煙、高血壓、糖尿病、高血脂等都是心血管疾病的危險因子,本次以高膽固醇數據做示範,了解2013-2015年不同年齡層高膽固醇盛行的情況。


操作步驟
1.選定主題,準備素材
2013-2016國民營養健康調查中高膽固醇盛行率為例(衛生福利部國民健康署公告的資料),了解不同年齡層收到的檢體中,高膽固醇盛行的形況。開始執行前,尚未安裝plotly者需要先安裝幾個套件plotlynumpy以及squarify,在Window環境下,開起命令提示字元,輸入pip install plotly,其他套件也以相同的方式匯入,安裝完成後,就可進入繪圖步驟。
Squarify這個套件來計算圖形區域的分割,一個大正方形的區域依照比例分割成幾個不同大小的矩形,並運算每個放入的矩形的長寬比需盡量接近1(正方形),當矩形長寬比違反這個情況時,會調整矩行放入的位置至最適情況。

2.確認繪圖需要用到的參數:
因為目前plotly的繪圖沒有辦法像tableau那麼方便,如果要到2層的樹狀結構圖(treemap),就必須藉由半手動的方式達成,第一層變量為年齡分層的採檢人數,方塊的大小由檢體採檢人數多寡決定,這部份可由套件直接計算,第二層為年齡分層的盛行率,盛行率高低的由顏色深淺表示,這部份就只能夠過手動設定調整。
3.繪製樹狀圖treemap
這次採用各分層在同一圖層做建構,省去合併處理的語法。


import plotly.plotly as py
import plotly.graph_objs as go
import numpy as np
import squarify

#設定x,y軸的起始值
x = 0.
y = 0.
#設定圖的大小
width = 100.
height = 100.

normed = squarify.normalize_sizes(df["pop"], width, height) #df["pop"]為帶入的數據
rects = squarify.squarify(normed, x, y, width, height)

color_brewer=df["color"].tolist() #色彩於讀入的表格中已設好,將之轉為串列
z=np.random.randint(4, 30, size=20) #設定色標的範圍
colorscale=[[0.0, 'rgb(169,233,207)'], [0.5, 'rgb(81,211,158)'],[1.0, 'rgb(37,147,102)']] #設定色標的色彩
shapes = []
annotations = []
counter = 0

for r in rects:
    shapes.append(
        dict(
            type = 'rect',
            x0 = r['x'],
            y0 = r['y'],
            x1 = r['x']+r['dx'],
            y1 = r['y']+r['dy'],
            line = dict( width = 1, color="white"), #設定treemap框線的粗細及色彩
            fillcolor = color_brewer[counter], #設定填入的色彩
        )
    )
    annotations.append(
        dict(
            x = r['x']+(r['dx']/2),
            y = r['y']+(r['dy']/2),
            text = "年齡"+df["age"][counter]+"\n"+"人數:"+str(value[counter])+"\n"+"盛行率:"+str(df["value"][counter])+"%", #設定框內文字敘述
             font=dict(color="black",size=14,family='微軟正黑體'), #設定框內字體及大小
            showarrow = False))
    counter = counter + 1
    if counter >= len(color_brewer):
        counter = 0
print(shapes)
# For hover text
trace0 = go.Scatter(
    x = [ r['x']+(r['dx']/2) for r in rects],
    y = [ r['y']+(r['dy']/2) for r in rects],
    text = [ str(v) for v in value],
    mode = 'markers',
    marker=dict(color=z,colorscale=colorscale, size=14, colorbar=dict(thickness=20)) #將已設定好的色標參數帶入
)

layout = dict(
    height=700,
    width=700,
    xaxis=dict(showgrid=False,zeroline=False,showticklabels=False),
    yaxis=dict(showgrid=False,zeroline=False,showticklabels=False),
    shapes=shapes,
    annotations=annotations,
    hovermode='closest'
)

figure = dict(data=[trace0], layout=layout)

py.iplot(figure, filename='squarify-treemap')


留言

  1. 您好,謝謝您慷慨地分享統計相關資訊。
    因剛入門統計與程式語言,有很多不了解的地方,不知道是不是能向您請教呢?
    謝謝您喔!

    回覆刪除

張貼留言

這個網誌中的熱門文章

如何快速註冊統合分析題目~以PROSPERO為例

初步檢索心中的愛 當心目中有一個理想題目時,為避免地球上另一個人也同時跟你想的一樣,而且還比我們早發表,若等我們發表時才發現,當下一定很扼腕,有了註冊系統除了幫自己先占好位子,也可以同時確認這個題目是否已經有人正在做了,不用浪費時間投注在上面。很多人其實不曉得實際上到底要如何註冊,以下一起註冊吧。 什麼是 PROSPERO??   PROSPERO (International prospective register of systematic reviews) 是一個國際前瞻性系統性文獻回顧評價系統,由美國國立衛生研究院 NIHR ( National Institute for Health Research )資助,由英國約克大學 CRD(Centre of Reviews and Dissemination) 創立,針對將已完成的評價或正進行中的計畫做紀錄。 目的:避免重複並減少報告偏見的機會,增加透明性。                 步驟流程 Step 1 :檢索主題 先確認其他人是否對這主題感興趣,有人捷足先登了嗎 ?? 也可以確認目前流行的趨勢是哪類型的研究等。 Step 2 :註冊帳號 ID 先到 PROSPERO 官網 ,填寫基本資料後註冊 ID 。 Step 3 :點選註冊文獻 review 要需先有帳號後才能註冊題目,進入頁面後依指示一步一步操作。 以下是網頁步驟,依研究對象是人群還是動物選擇按鈕點選,一般我們都是人群研究,選紫色。同時須確認以下五步驟是否都經過檢驗了。 第 1 步 檢查納入標準。 第 2 步 確保您的 protocol 處於(接近)最終形式。 第 3 步 搜尋 PROSPERO ,以確保評論尚未被註冊。 第 4 步 搜尋 PROSPERO ,以確保您沒有不必要地重複由另一個團隊進行的審核或先前已註冊的審核 第 5 步 開始註冊 Step 4 :點選相關事前準備工作進度。 這裡有一系列問題須皆回答完,才能進行下一步。 以上填完後,終於可以進入 Stage of review ,這裡依指示點選進度。 Step 5 :填寫註冊表格

Python與SAS資料處理入門-變項合併與名稱修改

將舊有的變項合併創建新變項 在處理大數據時常常會遇到需橫跨多個資料庫間進行資料串連,因此可能會遇到幾個問題 : (1) 不同資料庫間串連的鍵值欄位可能有多個,例如 :ID 與生日相同的資料才可互相串連。 (2) 不同資料庫間串聯的鍵值不盡相同。 (3) 要串聯的檔案之間有名稱相同的欄位,前幾篇文章有提到欄位合併的處理在 SAS 的語法上要注意檔案合併時欄位名稱相同會覆蓋的問題。 針對第 1 跟第 2 個問題,可先依據串聯不同資料庫鍵值的欄位需求先合併成一個 unique id ,後續直接用這個鍵值進行串連。合併後的新鍵值除了做為串檔用外,當資料處理時遇到原先鍵值不 unique 的情況,也會 透過變項合併產生新的 unique id 來取代原先的 id 鍵值 。 對於問題 3 ,檔案合併遇到命名相同的欄位產生 相互覆蓋 的問題,這部分會透過變更名稱的方式來處理。 以簡單例子進行練習 手上有 2 種檔案 : (1) 調查的基本資料,裡面包含 ID 、 Gender 、 Birthday 、 City( 戶籍地 ) 等資訊。 (2) 調查的結果,裡面包含 ID 、 Birthday 、 City( 收案地點 ) 、 Q_date( 受訪日期 ) 以及問卷題項。 問題 1: 鍵值不 unique 觀察第一份資料可以發現 ID 編號為 007 的有兩個且生日不同,因此判定可能是不同的人,編號重複編列,在這樣的情況下如果僅用 ID 串聯結果可能會是這樣。 在基本資料 (A) 的那兩筆 ID 為 007 的資料同時都會與調查結果 (B) 中 ID 為 007 那筆資料串連,但很明顯的是 B 資料的 007 合併生日判斷後可以發現不屬於 A 檔另一筆 007 的數據,因此原本 unique 的 ID 不為 unique ,因此合併 ID 與 Birthday 成為一個新的 unique ID 做為鍵值。 問題 2: 不同檔案有相同的名稱 這兩個檔案中有 2 個欄位名稱相同, Birthday 與 City 。在考量 Birthday 與 ID 將合併為新鍵值後,可暫擱一邊不需特別處理。但 City 部分的問題就比較大了,雖名稱相同但實際上代表的含意不同,如

python與SAS資料處理-歸人與排除重複

  歸人顧名思義就是將一個人多筆的資料整合,每人只留下 1 筆。   通常取得的資料都是原始資料,並未經過整理。例如手上有疑份顧客購物紀錄,裡面有每個顧客在這 1 年內的每筆消費紀錄,這是一份以每次消費紀錄為 1 筆的紀錄形式,所以一個人可以有多筆的消費紀錄。當我們想要知道這些消費紀錄源自於多少顧客的購買時,這時候就需要用到歸人的概念,將資料轉換為每一個人只有 1 筆資料的紀錄形式 ( 如下圖所示 ) 。 以 SAS 進行資料歸人 歸人留 1 筆消費紀錄 proc sort data =cost; by ID time; run ; /* 在規筆前依照 ID 跟消費日期做排序 */ data cost_1; set cost; by ID; if first.id; run ;   /* 保留第一筆資料 */   之前已經有針對 proc sort 的排序語法進行說明,有需要可參考這篇 文章 , SAS 排序的設定值為升冪,也就是說每個人都會從最早那次的紀錄開始往後排序,所以用 first.id 就可以留下每個人最早那次的消費紀錄。 這邊也可以用排除重複的概念保留 1 筆資料 proc sort data =cost out =cost_2 nodupkey ; BY ID; run ; 利用 nodupkey ,將 ID 重複的資料刪除,僅保留每個 ID 第一次出現的該筆紀錄。   歸人累計所有消費金額 proc sort data =cost; by ID time; run ; data cost_1; set cost; by ID; if first.id then count= 0 ;/* 每個人第一筆資料都令 count=0*/ count+NT;/* 同 ID 累計 NT 數值 */ if last.id; run ;   除了要歸人以外,還要累計每個仁所有的消費金額,所以這邊就會創建一個 count 欄位,每一個人的第一筆 ID 令 count=0 ,在同樣 ID 時累加 NT 的數值,最後每個人保留最後一筆 ID ,也就是最後累計的總額。 以 Python 進行資料歸人 歸人留 1 筆消費紀錄 cost.sort_v