Skip to content

Data Science › Python Foundations › scipy.sparse

稀疏矩陣 (scipy.sparse) ​

大部分元素是 0 的矩陣只存非零值與位置。單細胞計數矩陣(90% 以上是 0)、文字的詞頻矩陣、one-hot 編碼、網路的 adjacency matrix 都是典型例子;用 dense array 存會浪費十倍以上記憶體,甚至根本放不進 RAM。

儲存格式 ​

格式內部結構擅長不擅長典型用途
COO (coo_array)(row, col, data) 三個陣列一次建好、轉檔索引、運算從檔案 / 三元組建立,再轉 CSR
CSR (csr_array)每列的非零值連續存放(data、indices、indptr)取列、矩陣乘向量、列運算取欄、改變非零結構細胞 × 基因(取一個細胞)、scikit-learn 輸入
CSC (csc_array)每欄連續存放取欄、欄運算取列取單一基因、svds 某些情況
LIL / DOKlist / dict逐格修改運算慢增量建構,完成後轉 CSR
text
CSR:data    = [3, 1, 5, 2, 4]       非零值,依列排好
     indices = [0, 2, 1, 0, 2]       每個值的欄號
     indptr  = [0, 2, 3, 5]          第 i 列是 data[indptr[i]:indptr[i+1]]
            → [[3, 0, 1],
               [0, 5, 0],
               [2, 0, 4]]

記憶體約為 nnz × (值大小 + 索引大小) + 列數 × 索引大小。10,000 × 2,000、密度 5% 的 float32 矩陣:dense 80 MB,CSR 約 8 MB。密度超過約 30–50% 時稀疏格式反而更大更慢,直接用 dense。

*_array vs *_matrix ​

SciPy 現在建議用 csr_array 等稀疏陣列;舊的 csr_matrix 模仿已棄用的 np.matrix,行為不同:

操作csr_array(新)csr_matrix(舊)
A * B逐元素相乘矩陣乘法
A @ B矩陣乘法矩陣乘法
A.sum(axis=0)1-D ndarray,shape (n,)2-D np.matrix,shape (1, n)
建構sp.random_array、sp.diags_array、sp.eye_arraysp.random、sp.diags、sp.eye

很多套件(含 AnnData、scikit-learn 的部分輸出)仍會回傳 *_matrix。寫 A @ B 表示矩陣乘、A.multiply(B) 表示逐元素乘,並用 np.asarray(x).ravel() 把 sum / mean 的結果攤平,兩種型別都不會出錯。檢查是否為稀疏用 sp.issparse(A)。

常用操作 ​

python
import numpy as np
import scipy.sparse as sp

# 1. 建立:三元組 → COO → CSR(重複位置會相加)
row = np.array([0, 0, 1, 2, 2]); col = np.array([0, 2, 1, 0, 2]); val = np.array([3, 1, 5, 2, 4])
X = sp.coo_array((val, (row, col)), shape=(3, 3)).tocsr()
X.nnz                                      # 5
X.toarray()                                # 轉 dense:只在確定放得下時用

rng = np.random.default_rng(0)
A = sp.random_array((10_000, 2_000), density=0.05, format="csr", rng=rng, dtype=np.float32)

# 2. 彙總:攤平成 1-D
libsize = np.asarray(A.sum(axis=1)).ravel()         # 每列總和(每個細胞的 library size)
mean = np.asarray(A.mean(axis=0)).ravel()           # 每欄平均(含 0)
var = np.asarray(A.multiply(A).mean(axis=0)).ravel() - mean**2   # 欄變異數,不必 densify
detected = np.asarray((A > 0).sum(axis=0)).ravel()  # 每個基因在幾個細胞被偵測到

# 3. 只動非零值的轉換:直接改 .data(0 仍是 0)
B = A.copy()
B.data = np.log1p(B.data)                           # log1p(0) = 0,稀疏結構不變

# 4. 列標準化:左乘對角矩陣,結果仍是稀疏
N = sp.diags_array(1 / libsize) @ A                 # 每列總和 = 1

# 5. 切片:CSR 取列快、CSC 取欄快
A[[0, 5, 9]]                                        # 取列
A.tocsc()[:, :10]                                   # 大量取欄前先轉 CSC

# 6. 線性代數:截斷 SVD(不中心化,所以不是嚴格的 PCA)
from scipy.sparse.linalg import svds
u, s, vt = svds(A, k=50)

# 7. 存檔
sp.save_npz("counts.npz", A); A = sp.load_npz("counts.npz")

常見陷阱 ​

陷阱後果正確做法
減平均、z-score(A - mean)所有 0 變非 0 → 變成 dense,記憶體爆掉只縮放不中心化(StandardScaler(with_mean=False)),或先選基因再 densify
A + 1、np.exp(A) 這類讓 0 變非 0 的運算稀疏陣列直接報錯(NotImplementedError)或回傳 dense改用保 0 的轉換(log1p、sqrt)並作用在 .data
對 CSR 逐格指定新的非零值SparseEfficiencyWarning,每次都重建結構,非常慢用 LIL / COO 建好再轉 CSR
A.sum(axis=0) 結果再拿去 broadcastnp.matrix 的 shape (1, n) 造成意外的 2-D 結果np.asarray(...).ravel()
A * B 意義不明csr_matrix 是矩陣乘、csr_array 是逐元素乘一律用 @ 與 .multiply()
隨手 .toarray() / .todense()單細胞百萬細胞矩陣放不進記憶體只在小子集(幾個基因、一個 cluster)上 densify
整數計數存成 float64記憶體加倍計數用 int32 / float32

與其他工具的銜接 ​

工具支援情況
scikit-learn多數模型直接吃 CSR(LogisticRegression、TruncatedSVD、NearestNeighbors);PCA 對稀疏輸入只支援 svd_solver="arpack" / "covariance_eigh"(內部隱式中心化,不會 densify)
pandaspd.DataFrame.sparse.from_spmatrix(A);但大型矩陣保持在 scipy / AnnData,不要轉 DataFrame
AnnData / scanpyadata.X 通常就是 CSR,見 AnnData 與 scanpy
NetworkXnx.to_scipy_sparse_array(G),見 有向網路與結構指標
RMatrix::dgCMatrix(= CSC);Seurat / SingleCellExperiment 的計數矩陣都是它

相關:NumPy 線性代數、Efficient Python、Scalable Processing。