跳到主要內容

Python與SAS資料處理入門-檔案合併(1)



檔案合併目的就是資料整合，透過列合併增加資料總筆數，例如不同年份的資料整合，或是透過欄合併增加欄位數。

有時候資料為了紀錄方便或是避免檔案的訊息量太大太雜，會將不同年份或是不同類型的資訊分開成不同的資料檔儲存。對於即將跨入大數據的讀者，必須要摒棄那種到手的檔案應該要包含所有資訊的概念，因為通常取得的檔案不可能囊括了所有需要的資訊，很大的情況是，訊息分布在不同的檔案。

如果是收案的資料確實可以簡單的依據所需要的資訊設計欄位，但是更多的情況是來自於已經存在的大型資料庫，舉例來說:健保資料庫就是個很好的例子，依據類型可以簡單分成門診、住院、藥局等資料庫，由於資料龐大，因此不同類型的資料又依據年分拆成小檔。所以這時候就會需要用合併來彙整處理好的資料。

合併的概念












以簡單的例子進行操作
假設手上有2種檔案:
1.    參與滿意度調查受試者的基本資料:裡面包含年齡、性別等資訊
2.    2018-2019年生活品質調查結果(這份問卷可於受試者回診時重複施測，屬重複測量的資料):裡面包含每次受訪日期以及問卷填答結果。
接下來，分別以SAS及Python進行操作示範，將檔案進行合併，關於軟體的基本概念可參閱上一篇內容。

以SAS進行列合併(縱向堆疊)
將2018年跟2019年生活品質調查結果合併
proc sort data= y_all; set y_2018 y_2019; run;











在進行set時要注意資料的結構，欄位寬度不同時進行堆疊，會以寫在最前面的為主。舉例來說，如果y_2018的資料Q1欄位長度為1，而y_2019的資料Q1欄位長度設定為2，這兩個檔在進行合併時會以寫在前的欄位長度為主。欄位屬性不同時無法堆疊，例如y_2018的資料Q1欄位為數值格式，y_2019的資料Q1欄位則為文字格式，要set兩個檔案，系統會出現錯誤訊息，因此務必注意欄位屬性是否一致。

以Python進行列合併(縱向堆疊)

將2018年跟2019年生活品質調查結果合併，同樣會用到pandas套件。

import pandas
y_all=pandas.concat([y_2018, y_2019], ignore_index=True)
兩個DataFrame都有各自的索引，合併兩個DataFrame並忽略索引的部分，那只要下參數ignore_index=True就會重新給新的索引。如果沒下，結果示範如下，索引會直接堆疊，並不會重新給值。

至於欄合併的部份，於下一篇文章完整介紹。
標籤：

留言

張貼留言

這個網誌中的熱門文章

如何快速註冊統合分析題目~以PROSPERO為例

初步檢索心中的愛 當心目中有一個理想題目時，為避免地球上另一個人也同時跟你想的一樣，而且還比我們早發表，若等我們發表時才發現，當下一定很扼腕，有了註冊系統除了幫自己先占好位子，也可以同時確認這個題目是否已經有人正在做了，不用浪費時間投注在上面。很多人其實不曉得實際上到底要如何註冊，以下一起註冊吧。 什麼是 PROSPERO??   PROSPERO (International prospective register of systematic reviews) 是一個國際前瞻性系統性文獻回顧評價系統，由美國國立衛生研究院 NIHR （ National Institute for Health Research ）資助，由英國約克大學 CRD(Centre of Reviews and Dissemination) 創立，針對將已完成的評價或正進行中的計畫做紀錄。 目的：避免重複並減少報告偏見的機會，增加透明性。                 步驟流程 Step 1 ：檢索主題 先確認其他人是否對這主題感興趣，有人捷足先登了嗎 ?? 也可以確認目前流行的趨勢是哪類型的研究等。 Step 2 ：註冊帳號 ID 先到 PROSPERO 官網 ，填寫基本資料後註冊 ID 。 Step 3 ：點選註冊文獻 review 要需先有帳號後才能註冊題目，進入頁面後依指示一步一步操作。 以下是網頁步驟，依研究對象是人群還是動物選擇按鈕點選，一般我們都是人群研究，選紫色。同時須確認以下五步驟是否都經過檢驗了。 第 1 步 檢查納入標準。 第 2 步 確保您的 protocol 處於（接近）最終形式。 第 3 步 搜尋 PROSPERO ，以確保評論尚未被註冊。 第 4 步 搜尋 PROSPERO ，以確保您沒有不必要地重複由另一個團隊進行的審核或先前已註冊的審核 第 5 步 開始註冊 Step 4 ：點選相關事前準備工作進度。 這裡有一系列問題須皆回答完，才能進行下一步...
張貼留言
閱讀完整內容

python與SAS資料處理-歸人與排除重複

  歸人顧名思義就是將一個人多筆的資料整合，每人只留下 1 筆。   通常取得的資料都是原始資料，並未經過整理。例如手上有疑份顧客購物紀錄，裡面有每個顧客在這 1 年內的每筆消費紀錄，這是一份以每次消費紀錄為 1 筆的紀錄形式，所以一個人可以有多筆的消費紀錄。當我們想要知道這些消費紀錄源自於多少顧客的購買時，這時候就需要用到歸人的概念，將資料轉換為每一個人只有 1 筆資料的紀錄形式 ( 如下圖所示 ) 。 以 SAS 進行資料歸人 歸人留 1 筆消費紀錄 proc sort data =cost; by ID time; run ; /* 在規筆前依照 ID 跟消費日期做排序 */ data cost_1; set cost; by ID; if first.id; run ;   /* 保留第一筆資料 */   之前已經有針對 proc sort 的排序語法進行說明，有需要可參考這篇 文章 ， SAS 排序的設定值為升冪，也就是說每個人都會從最早那次的紀錄開始往後排序，所以用 first.id 就可以留下每個人最早那次的消費紀錄。 這邊也可以用排除重複的概念保留 1 筆資料 proc sort data =cost out =cost_2 nodupkey ; BY ID; run ; 利用 nodupkey ，將 ID 重複的資料刪除，僅保留每個 ID 第一次出現的該筆紀錄。   歸人累計所有消費金額 proc sort data =cost; by ID time; run ; data cost_1; set cost; by ID; if first.id then count= 0 ;/* 每個人第一筆資料都令 count=0*/ count+NT;/* 同 ID 累計 NT 數值 */ if last.id; run ;   除了要歸人以外，還要累計每個仁所有的消費金額，所以這邊就會創建一個 count 欄位，每一個人的第一筆 ID 令 count=0 ，在同樣 ID 時累加 NT 的數值，最後每個人保留最後一筆 ID ，也就是最後累計的總額。 以 Python 進行資料歸人...
張貼留言
閱讀完整內容

使用python繪製Upset plot

  Upset plot 將集合視覺化，特別是當集合數大於 5 的時候， Upset plot 相較於 Venn plot 可以更清楚的呈現。 Upset plot 來自於 Venn plot 的變化， Venn plot 較常用於生物資訊呈現 ( 圖 1-3) ，但是往往會遇到集合數太多不易呈現的情況，從下圖可清楚看到當集合數為 4 的時候，畫面已經有些複雜，所以 Venn plot 的缺點就是當集合數過多時，畫面所呈現的資訊反而會造成視覺上的負擔，增加訊息解讀的困難性，失去視覺化的意義 — 方便閱讀，因此當集合數 ≥5 時不建議使用 Venn plot ，而後衍生出 Upset plot 。 Upset plot 優勢在於當集合數 ≥5 時可以清楚呈現資訊，不會造成視覺上的混亂。 2020 年影響全球的 COVID-19 ，在面對未知的流行病時沒有人可以確定真正有效的治療物，因此優先挑出具有高度可能性的藥物，嘗試用於治療病患，在高度不確定性的情況下會產生多種治療組合，這樣的情況就很適合採用 Upset plot 呈現 Real World 用藥資料，這裡有一篇發表於 CANCER DISCOVERY 的文章 ，這是一個很好的實務範例 ( 圖 4) ，以下擷取這篇 paper 的部份數據，簡單的做個 Upset plot 。 操作步驟 1. 選定主題，準備素材 以這篇文章中的數據來畫 Upset plot 圖 。開始執行前，需要先安裝 Upset plot 的套件。在 Window 環境下，開起命令提示字元，輸入 pip install upsetplot ，安裝完成後，就可進入繪圖步驟。   2. 繪製 Upset plot 這邊帶入 paper 中前 10 筆的數據。 from upsetplot import generate_counts from upsetplot import plot from upsetplot import from_memberships example = from_memberships([['Azithromycin','Hydroxychloroquine'], ['Hydroxychloroquine'...
張貼留言
閱讀完整內容