Skip to content

Python Foundations › 效能與擴展

效能與擴展 (Performance & Scaling) ​

程式變慢或資料變大時的工具。順序:先量測 → 換資料結構、向量化 → 才平行化或換引擎。

text
單核最佳化(Efficient Python)→ 多核(Parallel)/ 更快的引擎(Polars)→ 多機(Spark、Dask distributed)
筆記內容回答的問題
Efficient Python量測與 profiler、資料結構、向量化、Numba、記憶體瓶頸在哪?不加機器能快多少?
平行運算GIL、concurrent.futures、joblib、平行亂數、Dask怎麼用滿多核心?比記憶體大的陣列怎麼算?
Polars表達式、lazy 查詢最佳化、streamingpandas 太慢或太吃記憶體時換什麼?

pandas 本身的效能模式見 pandas 效能;Spark 等分散式工具見 Scalable Processing。