跳到主要內容

Python自動化--複製Excel工作表至另一個Excel上

 Python可以協助處理大量重複性工作,將Excel上的工作表自動化複製至上百個不同的Excel檔案上

 

實務上可能會遇到必須將一個Excel工作表複製到不同的Excel檔案上的情況,一般而言利用Excel移動或複製工作表的功能也能處理,但是當這個動作必須執行上百次,移動到上百個不同的Excel檔案時,就必須耗時的一個一個執行重複性工作,然而利用Python就可以輕鬆簡單化這項工作。

 

不過Excel檔案因儲存的格式可分為xlsx(一般版本)xls(相容版本),這兩個版本在Python處理上需要使用不同的套件處理,這次就以相容版本為例進行示範,有興趣或是有需要的人可以再去搜尋

其他版本的處理。

 

操作範例:

假定手上有來自於不同地方的20個資料檔案,這些資料都適用一致的編碼方式,為了避免之後時間久了產生混亂,因此必須將這份編碼表分別插入這20份資料中,讓每份檔案都有一份編碼表可以參閱,編碼表如下所示。

這邊會用到3個套件,開始執行前,尚未安裝xlrdxlwtxlutils者需要先安裝,在Window環境下,開起命令提示字元,輸入pip install xlrd pip install xlwt以及pip install xlutils,安裝完成後,開始執行後續的程式碼。

import xlrd
import xlwt
from xlutils.copy import copy

def replace_xls(sheetname):
    table = xlsx.sheet_by_name(sheetname)
    rows = table.nrows
    cols = table.ncols
    worksheet = wb2_1.add_sheet(sheetname)
    for i in range(0,rows):
        for j in range(0, cols):
            # print(i,j,table.cell_value(i, j))
            worksheet.write(i, j ,table.cell_value(i, j))

    wb2_1.save(filename2)

xlsno=["01","02","03","04","05","06","07","08","09","10","11","12","13",
       "14","15","16","17","18","19","20"] 
xls_len = len(xlsno)
sheetnames=[u"編碼表"]
for j in name:
    flile_name = r'編碼整理.xls'
    xlsx = xlrd.open_workbook(flile_name)
    for i in range(xls_len):
        filename2=r'C:\\Users\\data\\data%s.xls'%(xlsno[i])
        wb2 = xlrd.open_workbook(filename2)
        wb2_1=copy(wb2)
        for sheetname in sheetnames:
            replace_xls(sheetname)           


這裡可以簡單拆解成2個部分,第一塊在def這段主要就是執行Excel工作表複製的程式。


但是因為需要執行的檔案有20個,因此後續呼叫執行def的程式必須用迴圈包裹起來,請程式批次執行,此為程式的第二部分。


執行完成後這20個檔案都會分別被插入一個名為"編碼表"的工作表,並存檔。

 

利用這樣的方式,可以快速完成工作表的複製,而不需要一個一個手動完成,對於工作上來說有2個好處,(1)節省時間,提升工作效率 (2)人工作業難免會有遺漏,例如:沒有複製到工作表,或是複製到錯誤的工作表等情況。有機會大家不妨試試看~


留言

這個網誌中的熱門文章

如何快速註冊統合分析題目~以PROSPERO為例

初步檢索心中的愛 當心目中有一個理想題目時,為避免地球上另一個人也同時跟你想的一樣,而且還比我們早發表,若等我們發表時才發現,當下一定很扼腕,有了註冊系統除了幫自己先占好位子,也可以同時確認這個題目是否已經有人正在做了,不用浪費時間投注在上面。很多人其實不曉得實際上到底要如何註冊,以下一起註冊吧。 什麼是 PROSPERO??   PROSPERO (International prospective register of systematic reviews) 是一個國際前瞻性系統性文獻回顧評價系統,由美國國立衛生研究院 NIHR ( National Institute for Health Research )資助,由英國約克大學 CRD(Centre of Reviews and Dissemination) 創立,針對將已完成的評價或正進行中的計畫做紀錄。 目的:避免重複並減少報告偏見的機會,增加透明性。                 步驟流程 Step 1 :檢索主題 先確認其他人是否對這主題感興趣,有人捷足先登了嗎 ?? 也可以確認目前流行的趨勢是哪類型的研究等。 Step 2 :註冊帳號 ID 先到 PROSPERO 官網 ,填寫基本資料後註冊 ID 。 Step 3 :點選註冊文獻 review 要需先有帳號後才能註冊題目,進入頁面後依指示一步一步操作。 以下是網頁步驟,依研究對象是人群還是動物選擇按鈕點選,一般我們都是人群研究,選紫色。同時須確認以下五步驟是否都經過檢驗了。 第 1 步 檢查納入標準。 第 2 步 確保您的 protocol 處於(接近)最終形式。 第 3 步 搜尋 PROSPERO ,以確保評論尚未被註冊。 第 4 步 搜尋 PROSPERO ,以確保您沒有不必要地重複由另一個團隊進行的審核或先前已註冊的審核 第 5 步 開始註冊 Step 4 :點選相關事前準備工作進度。 這裡有一系列問題須皆回答完,才能進行下一步。 以上填完後,終於可以進入 Stage of review ,這裡依指示點選進度。 Step 5 :填寫註冊表格

python與SAS資料處理-歸人與排除重複

  歸人顧名思義就是將一個人多筆的資料整合,每人只留下 1 筆。   通常取得的資料都是原始資料,並未經過整理。例如手上有疑份顧客購物紀錄,裡面有每個顧客在這 1 年內的每筆消費紀錄,這是一份以每次消費紀錄為 1 筆的紀錄形式,所以一個人可以有多筆的消費紀錄。當我們想要知道這些消費紀錄源自於多少顧客的購買時,這時候就需要用到歸人的概念,將資料轉換為每一個人只有 1 筆資料的紀錄形式 ( 如下圖所示 ) 。 以 SAS 進行資料歸人 歸人留 1 筆消費紀錄 proc sort data =cost; by ID time; run ; /* 在規筆前依照 ID 跟消費日期做排序 */ data cost_1; set cost; by ID; if first.id; run ;   /* 保留第一筆資料 */   之前已經有針對 proc sort 的排序語法進行說明,有需要可參考這篇 文章 , SAS 排序的設定值為升冪,也就是說每個人都會從最早那次的紀錄開始往後排序,所以用 first.id 就可以留下每個人最早那次的消費紀錄。 這邊也可以用排除重複的概念保留 1 筆資料 proc sort data =cost out =cost_2 nodupkey ; BY ID; run ; 利用 nodupkey ,將 ID 重複的資料刪除,僅保留每個 ID 第一次出現的該筆紀錄。   歸人累計所有消費金額 proc sort data =cost; by ID time; run ; data cost_1; set cost; by ID; if first.id then count= 0 ;/* 每個人第一筆資料都令 count=0*/ count+NT;/* 同 ID 累計 NT 數值 */ if last.id; run ;   除了要歸人以外,還要累計每個仁所有的消費金額,所以這邊就會創建一個 count 欄位,每一個人的第一筆 ID 令 count=0 ,在同樣 ID 時累加 NT 的數值,最後每個人保留最後一筆 ID ,也就是最後累計的總額。 以 Python 進行資料歸人 歸人留 1 筆消費紀錄 cost.sort_v

python與SAS資料處理入門--資料匯入匯出

為什麼要學程式語言,不能用 excel 做大型資料的處理 不建議使用 excel 做大型資料處理的原因有 2 點, (1)excel 行列的限制, 2003 年以前的版本,最大資料列筆數為 65,536 行、欄位數最多為 256 列, 2007 之後的版本雖然行列都有擴展,最大資料列筆數可達到 1,048,576, 行、欄位數最多為 16,384 列,但對於現在隨便動輒幾億筆的資料來說,這真的不算什麼,因此實務上可能會遇到一份資料得分成好幾個 sheet 儲存的情況。 (2) 資料量太大,可能會遇到 excel 執行上耗時的問題。 對於即將跨入大數據的人而言, SPSS 雖然也是個不錯的選項,具有操作簡單之優勢,短期內可快速掌握,但也因介面以選單式操作為主,使用彈性相對受限,此外對於大數據處理效率也較差,如果 未來工作上需經常面對大數據 ( 例如 : 醫學資料庫、商業資料庫 ) ,建議可以直接選擇學習 SAS 、 R 或是 Python 。 以下就挑選 SAS( 付費軟體 ) 以及近年很熱門的 Python( 開源軟體 ) ,從基本的資料匯入、匯出開始介紹起。不論 SAS 或是 Python 皆可以匯入許多不同類型的檔案格式,本文就挑選幾個可能比較常接觸到的類型做說明。 以 SAS 進行操作 介面 執行 SAS 會經常使用到的視窗有幾個部分,以下簡述其用途 : (1) 編輯器:指令輸入,未來相關語法的編輯都在該視窗完成。 (2) 日誌:顯示指令執行結果,如果有程式上的執行錯誤,皆顯示於該視窗。 (3) 結果:分析結果的索引,方便使用者管理結果的部分。 (4) 檔案總管:資料集的管理,可於此處點選瀏覽資料內容。 資料匯入 (proc import) ²      Excel 檔案匯入 proc import datafile = "c:\test.xlsx" /* 資料匯入的路徑 */ out =test  /* 資料匯入後的名稱 */ dbms =xlsx replace; /* 輸入檔案的類型 */ sheet = " Sheet" ; /* 選擇讀取的工作表 */ getnames =YES; /* 第一