Skip to content

Data Science › Python Foundations › pandas

pandas ​

pandas 是 Python 處理表格資料的主力:建立在 NumPy 之上,多了欄名、index 對齊、缺值、分組與合併。本章以 pandas 3.x 為準(Copy-on-Write 與 str dtype 已是預設)。

text
建立 / 讀入 → 選取 → 型別 → 缺值 → 修改 → 排序 / 分箱 / 去重 → 分組與統計 → reshape / merge → 效能與儲存
筆記內容回答的問題
建立資料Series / DataFrame 的建構方式、index 與欄名手上的 dict / list / array 怎麼變成表格?
選取與篩選[]、loc / iloc、布林遮罩、query、isin怎麼取出要的列與欄?
dtype、類別與字串astype、nullable dtype、category、.str、編碼欄位型別對嗎?類別與文字怎麼處理?
缺值缺值標記、偵測、missingno、fillna / dropna / interpolate缺值在哪裡?怎麼刪、怎麼補?
修改資料view vs copy、Copy-on-Write、更新 / 新增 / 刪除欄列、map / apply為什麼改了沒反應(或改到原表)?
排序、分箱、抽樣與去重sort_values、cut / qcut、sample、drop_duplicates怎麼排序、分組成區間、抽樣、去重?
分組彙總groupby + agg / transform / filter每組的統計量怎麼算、怎麼貼回原表?
描述統計describe、value_counts、相關、rolling資料的整體樣貌與欄位關係?
Reshape 與 Mergepivot / melt、concat、merge / join、merge_asof、explode寬長表怎麼轉?多張表怎麼安全地合併?
Index 與 MultiIndexset_index、階層索引、stack / unstack多層索引怎麼選取與重排?
效能向量化、apply vs 迴圈、group-wise 運算為什麼這麼慢?怎麼改寫?
記憶體與儲存格式memory_usage、dtype 縮減、pyarrow、Parquet、HDF5資料塞不進記憶體、讀寫太慢怎麼辦?
相關連結
讀檔(CSV、Excel、JSON、資料庫)匯入資料
日期欄位、時區、resample日期與時間
快速作圖pandas Plotting
比 pandas 快、資料數 GBPolars
R 對應dplyr / tidyr
SQL 對應SQL 查詢基礎