Python與SAS資料處理入門－欄位保留與刪除

透過刪除不必要欄位或保留特定欄位，讓資料表簡潔以便做後續的併檔或分析處理。

大數據除了資料筆數龐大外，通常也有很多欄位數，但實際需要的只需要幾個特定欄位時，龐大的欄位數量在處理上也會拖慢執行效能。因此依照需求使用保留特定變項或是刪除某些變項是很常使用的做法。

以簡單的例子進行操作

假定手上有1個2019年滿意度調查結果的資料，調查的問題有很多，但我們只關心前5題的滿意度結果，對於其他的問題不是那麼滿興趣，因此為了畫面簡潔以及避免拖慢處理速度，針對欄為進行保留、刪除的處理，接下來分別以SAS及Python進行操作示範，如果對於軟體基本概念不清楚的可參閱此篇內容。

以SAS進行欄為保留、刪除

當保留的欄位數少於將要移除的數量時，建議用keep保留所需的欄位。

data test;set y_2019;keep ID Q_date Q1 Q2 Q3 Q4 Q5;run;

當保留的欄位數多於將要移除的數量時，建議用drop刪除不需要的欄位

data test;set y_2019;drop Q6 Q7 Q8 Q9 Q10;run;

上面的語法，不論用keep 或drop皆可達到相同的結果，因此使用者可依據需求選擇適合的指令。

以Python進行欄為保留、刪除

保留特定欄位時

test=y_2019[["ID","Q_date","Q1","Q2","Q3","Q4","Q5"]]

刪除特定欄位時

test=y_2019.drop (columns=["Q6","Q7","Q8","Q9","Q10"])  #使用drop函數指定刪除欄位

留言

這個網誌中的熱門文章

如何快速註冊統合分析題目~以PROSPERO為例

初步檢索心中的愛當心目中有一個理想題目時，為避免地球上另一個人也同時跟你想的一樣，而且還比我們早發表，若等我們發表時才發現，當下一定很扼腕，有了註冊系統除了幫自己先占好位子，也可以同時確認這個題目是否已經有人正在做了，不用浪費時間投注在上面。很多人其實不曉得實際上到底要如何註冊，以下一起註冊吧。什麼是 PROSPERO?? PROSPERO (International prospective register of systematic reviews) 是一個國際前瞻性系統性文獻回顧評價系統，由美國國立衛生研究院 NIHR （ National Institute for Health Research ）資助，由英國約克大學 CRD(Centre of Reviews and Dissemination) 創立，針對將已完成的評價或正進行中的計畫做紀錄。目的：避免重複並減少報告偏見的機會，增加透明性。步驟流程 Step 1 ：檢索主題先確認其他人是否對這主題感興趣，有人捷足先登了嗎 ?? 也可以確認目前流行的趨勢是哪類型的研究等。 Step 2 ：註冊帳號 ID 先到 PROSPERO 官網，填寫基本資料後註冊 ID 。 Step 3 ：點選註冊文獻 review 要需先有帳號後才能註冊題目，進入頁面後依指示一步一步操作。以下是網頁步驟，依研究對象是人群還是動物選擇按鈕點選，一般我們都是人群研究，選紫色。同時須確認以下五步驟是否都經過檢驗了。第 1 步檢查納入標準。第 2 步確保您的 protocol 處於（接近）最終形式。第 3 步搜尋 PROSPERO ，以確保評論尚未被註冊。第 4 步搜尋 PROSPERO ，以確保您沒有不必要地重複由另一個團隊進行的審核或先前已註冊的審核第 5 步開始註冊 Step 4 ：點選相關事前準備工作進度。這裡有一系列問題須皆回答完，才能進行下一步...

閱讀完整內容

python與SAS資料處理-歸人與排除重複

歸人顧名思義就是將一個人多筆的資料整合，每人只留下 1 筆。通常取得的資料都是原始資料，並未經過整理。例如手上有疑份顧客購物紀錄，裡面有每個顧客在這 1 年內的每筆消費紀錄，這是一份以每次消費紀錄為 1 筆的紀錄形式，所以一個人可以有多筆的消費紀錄。當我們想要知道這些消費紀錄源自於多少顧客的購買時，這時候就需要用到歸人的概念，將資料轉換為每一個人只有 1 筆資料的紀錄形式 ( 如下圖所示 ) 。以 SAS 進行資料歸人歸人留 1 筆消費紀錄 proc sort data =cost; by ID time; run ; /* 在規筆前依照 ID 跟消費日期做排序 */ data cost_1; set cost; by ID; if first.id; run ; /* 保留第一筆資料 */ 之前已經有針對 proc sort 的排序語法進行說明，有需要可參考這篇文章， SAS 排序的設定值為升冪，也就是說每個人都會從最早那次的紀錄開始往後排序，所以用 first.id 就可以留下每個人最早那次的消費紀錄。這邊也可以用排除重複的概念保留 1 筆資料 proc sort data =cost out =cost_2 nodupkey ; BY ID; run ; 利用 nodupkey ，將 ID 重複的資料刪除，僅保留每個 ID 第一次出現的該筆紀錄。歸人累計所有消費金額 proc sort data =cost; by ID time; run ; data cost_1; set cost; by ID; if first.id then count= 0 ;/* 每個人第一筆資料都令 count=0*/ count+NT;/* 同 ID 累計 NT 數值 */ if last.id; run ; 除了要歸人以外，還要累計每個仁所有的消費金額，所以這邊就會創建一個 count 欄位，每一個人的第一筆 ID 令 count=0 ，在同樣 ID 時累加 NT 的數值，最後每個人保留最後一筆 ID ，也就是最後累計的總額。以 Python 進行資料歸人...

閱讀完整內容

使用python繪製Upset plot

Upset plot 將集合視覺化，特別是當集合數大於 5 的時候， Upset plot 相較於 Venn plot 可以更清楚的呈現。 Upset plot 來自於 Venn plot 的變化， Venn plot 較常用於生物資訊呈現 ( 圖 1-3) ，但是往往會遇到集合數太多不易呈現的情況，從下圖可清楚看到當集合數為 4 的時候，畫面已經有些複雜，所以 Venn plot 的缺點就是當集合數過多時，畫面所呈現的資訊反而會造成視覺上的負擔，增加訊息解讀的困難性，失去視覺化的意義 — 方便閱讀，因此當集合數 ≥5 時不建議使用 Venn plot ，而後衍生出 Upset plot 。 Upset plot 優勢在於當集合數 ≥5 時可以清楚呈現資訊，不會造成視覺上的混亂。 2020 年影響全球的 COVID-19 ，在面對未知的流行病時沒有人可以確定真正有效的治療物，因此優先挑出具有高度可能性的藥物，嘗試用於治療病患，在高度不確定性的情況下會產生多種治療組合，這樣的情況就很適合採用 Upset plot 呈現 Real World 用藥資料，這裡有一篇發表於 CANCER DISCOVERY 的文章，這是一個很好的實務範例 ( 圖 4) ，以下擷取這篇 paper 的部份數據，簡單的做個 Upset plot 。操作步驟 1. 選定主題，準備素材以這篇文章中的數據來畫 Upset plot 圖。開始執行前，需要先安裝 Upset plot 的套件。在 Window 環境下，開起命令提示字元，輸入 pip install upsetplot ，安裝完成後，就可進入繪圖步驟。 2. 繪製 Upset plot 這邊帶入 paper 中前 10 筆的數據。 from upsetplot import generate_counts from upsetplot import plot from upsetplot import from_memberships example = from_memberships([['Azithromycin','Hydroxychloroquine'], ['Hydroxychloroquine'...

閱讀完整內容

臨床統計農莊

搜尋此網誌