影像處理筆記

本文整理了影像處理中的三大主題：增強（Enhancement）、復原（Restoration） 和 分割（Segmentation），基於《06 Enhancement and Filtering -handout 2x1.pdf》和《07 Restoration and Segmentation -handout 2x1.pdf》的內容。每個主題包含所有相關方法、概念和公式解釋，並以腦部 CT 作為實作範例。

---

1. 增強（Enhancement）

1.1 定義與特點

影像增強的目標是改善影像的視覺品質，使其更適合人類觀看或機器處理。增強是主觀的，無統一量化標準，強調「更好」的視覺表現。

• 特點：
  • 主觀性強，效果因應用場景而異（如醫療影像、攝影）。
  • 無需基於劣化模型，專注於突出特徵或改善對比度。
  • 可在空間域（Spatial Domain）或頻率域（Frequency Domain）操作。
• 實作範例：在腦部 CT 中，增強可用於突出顱內出血（ICH，HU: 60100）與腦實質（HU: 2040）的對比度，方便醫師診斷。

1.2 增強方法

1.2.1 空間域增強（Spatial Domain Enhancement）

空間域增強直接操作影像像素值，通常通過濾波器（Filter）、核（Kernel）或遮罩（Mask）實現。

• 強度轉換函數（Intensity Transformation Function）：

  • 通過函數 $s = T(r)$s=T(r) 將輸入灰階 $r$r 映射到輸出灰階 $s$s。
  • 公式解釋：$T$T 是單值且單調遞增的函數，確保灰階映射可逆，且 $0 \leq T(r) \leq L-1$0≤T(r)≤L−1，其中 $L$L 是灰階範圍。
  • 方法：
    • 對比拉伸（Contrast Stretching）：擴展灰階範圍，增強對比度。例如，將 HU: 60~100 的像素映射到更高對比範圍。
    • 對比閾值化（Contrast Thresholding）：將灰階值分為二值，突出特定區域。
  • 實作範例：在腦部 CT 中，對比拉伸可將 ICH 的 HU 值映射到顯示範圍，突出出血區域。

• 直方圖處理（Histogram Processing）：

  • 直方圖：顯示像素數量對灰階值的分佈。
  • 直方圖均衡化（Histogram Equalization）：
    • 目標：將輸入灰階的概率密度函數（p.d.f.）轉換為均勻分佈，增強對比度。
    • 公式： $s_k = T(r_k) = (L-1) \cdot \sum_{j=0}^k p_r(r_j) = \frac{L-1}{n} \cdot \sum_{j=0}^k n_j$sk​=T(rk​)=(L−1)⋅j=0∑k​pr​(rj​)=nL−1​⋅j=0∑k​nj​ 其中：
      • $r_k$rk​：輸入灰階，$s_k$sk​：輸出灰階。
      • $L$L：灰階範圍（如 256）。
      • $n$n：影像像素總數，$n_j$nj​：灰階 $r_j$rj​ 的像素數。
      • $p_r(r_j) = \frac{n_j}{n}$pr​(rj​)=nnj​​：灰階 $r_j$rj​ 的概率。
    • 公式解釋：通過累積分佈函數（CDF）將灰階重新分配，使輸出分佈均勻化，增加對比度。
    • 實作範例：在腦部 CT 中，直方圖均衡化可增強 ICH 與腦實質的對比，但可能放大非 ICH 區域的細節，需謹慎使用。
  • 直方圖匹配（Histogram Matching/Specification）：
    • 目標：設計特定的直方圖分佈，突出特定灰階範圍。
    • 原理：將輸入直方圖映射到指定的目標直方圖，適用於需要強調特定區域（如暗區細節）的情況。
    • 實作範例：在腦部 CT 中，直方圖匹配可放大 HU: 60~100 的分佈，壓縮低 HU（腦脊液）或高 HU（骨骼）區域，突出 ICH。

• 中值濾波（Median Filter）：

  • 非線性濾波器，通過取鄰域（如 3x3）像素的中值替換中心像素。
  • 特點：
    • 有效去除椒鹽噪聲（Salt-and-Pepper Noise）。
    • 比均值濾波更能保留邊緣。
  • 實作範例：在腦部 CT 中，3x3 中值濾波可去除低劑量掃描中的噪聲，保留 ICH 邊緣。

• 局部增強（Local Enhancement）：

  • 在影像的局部鄰域（如 3x3）應用直方圖均衡化或匹配，增強局部對比度。
  • 實作範例：在腦部 CT 中，局部增強可突出 ICH 區域的細節，避免全局均衡化對非目標區域的影響。

1.2.2 頻率域增強（Frequency Domain Enhancement）

頻率域增強通過修改影像的傅立葉轉換（Fourier Transform）實現，調整頻率分量以突出或抑制特定特徵。

• 低通濾波（Low-Pass Filtering, LPF）：

  • 保留低頻分量，平滑影像，去除高頻噪聲。
  • 理想低通濾波器（Ideal LPF）： $H(u, v) = \begin{cases} 1, & \text{if } D(u, v) \leq D_0 \\ 0, & \text{if } D(u, v) > D_0 \end{cases}$H(u,v)={1,0,​if D(u,v)≤D0​if D(u,v)>D0​​ 其中：
    • $D(u, v) = \sqrt{(u - \frac{M}{2})^2 + (v - \frac{N}{2})^2}$D(u,v)=(u−2M​)2+(v−2N​)2​：頻率點到中心的距離。
    • $D_0$D0​：截止頻率。
    • 公式解釋：僅保留距離中心 $D_0$D0​ 內的頻率分量，抑制高頻噪聲，但可能引起振鈴效應（Ringing Effect）。
  • 巴特沃斯低通濾波器（Butterworth LPF）： $H(u, v) = \frac{1}{1 + \left[\frac{D(u, v)}{D_0}\right]^{2n}}$H(u,v)=1+[D0​D(u,v)​]2n1​
    • 公式解釋：提供平滑過渡，通過階數 $n$n 控制濾波強度，避免振鈴效應。
  • 高斯低通濾波器（Gaussian LPF）： $H(u, v) = \exp\left(-\frac{D^2(u, v)}{2 D_0^2}\right)$H(u,v)=exp(−2D02​D2(u,v)​)
    • 公式解釋：使用高斯函數平滑頻率分量，過渡自然，適合醫療影像。
  • 實作範例：在腦部 CT 中，高斯 LPF 可平滑高頻噪聲，突出 ICH 的整體結構，但需謹慎避免模糊邊緣。

• 高通濾波（High-Pass Filtering, HPF）：

  • 保留高頻分量，增強邊緣和細節。
  • 理想高通濾波器（Ideal HPF）： $H(u, v) = \begin{cases} 0, & \text{if } D(u, v) \leq D_0 \\ 1, & \text{if } D(u, v) > D_0 \end{cases}$H(u,v)={0,1,​if D(u,v)≤D0​if D(u,v)>D0​​
  • 巴特沃斯高通濾波器（Butterworth HPF）： $H(u, v) = \frac{1}{1 + \left[\frac{D_0}{D(u, v)}\right]^{2n}}$H(u,v)=1+[D(u,v)D0​​]2n1​
  • 公式解釋：高通濾波器與低通濾波器相反，突出高頻邊緣，但可能放大噪聲。
  • 實作範例：在腦部 CT 中，HPF 可增強 ICH 邊緣，但需結合平滑處理以減少噪聲影響。

• 非銳化遮罩（Unsharp Masking）：

  • 從原始影像減去低通濾波後的影像，增強高頻細節： $f_s(x, y) = f(x, y) - f_{\text{LPF}}(x, y)$fs​(x,y)=f(x,y)−fLPF​(x,y)
  • 公式解釋：$f_{\text{LPF}}$fLPF​ 是低通濾波結果，減去後得到高頻分量，可選擇放大以增強邊緣。
  • 實作範例：在腦部 CT 中，非銳化遮罩可突出 ICH 與腦實質的邊界，提升邊緣清晰度。

• 拉普拉斯銳化（Laplacian Sharpening）：

  • 使用二階導數增強灰階不連續處： $\frac{\partial^2 f}{\partial x^2} = f(x+1) + f(x-1) - 2f(x)$∂x2∂2f​=f(x+1)+f(x−1)−2f(x) $\nabla^2 f(x, y) = \frac{\partial^2 f}{\partial x^2} + \frac{\partial^2 f}{\partial y^2}$∇2f(x,y)=∂x2∂2f​+∂y2∂2f​
  • 特點：
    • 旋轉不變（Isotropic），均勻增強所有方向的邊緣。
    • 對噪聲敏感，可能產生雙邊緣。
  • 實作範例：在腦部 CT 中，拉普拉斯銳化可增強 ICH 邊緣，但需先平滑以減少噪聲影響。

• 梯度處理（Gradient Processes）：

  • 使用一階導數檢測邊緣： $\frac{\partial f}{\partial x} = f(x+1) - f(x)$∂x∂f​=f(x+1)−f(x)
  • 特點：突出邊緣，消除平滑或緩慢變化的陰影。
  • 實作範例：在腦部 CT 中，梯度處理可檢測 ICH 邊緣，輔助分割。

1.2.3 混疊（Aliasing）

• 定義：當採樣頻率不足時，高頻分量被錯誤表示為低頻分量，導致失真。
• 影響：頻率域濾波（如理想 LPF）可能引入混疊，需使用平滑濾波器（如高斯 LPF）減輕。
• 實作範例：在腦部 CT 中，混疊可能導致 ICH 邊緣失真，應選擇巴特沃斯或高斯濾波器。

---

2. 復原（Restoration）

2.1 定義與特點

影像復原的目標是移除感測環境造成的劣化（如噪聲、模糊），恢復接近原始影像的品質。復原是客觀的，基於數學模型，使用可量化指標（如均方誤差）評估效果。

• 特點：
  • 針對特定劣化（如高斯噪聲、點擴散函數模糊）設計。
  • 使用數學模型校正劣化，結果可量化。
  • 可在空間域或頻率域操作。
• 與增強的區別：
  • 增強主觀，改善視覺效果；復原客觀，校正劣化。
• 實作範例：在腦部 CT 中，復原可用於去除低劑量掃描中的高斯噪聲，保留 ICH（HU: 60~100）的清晰邊緣。

2.2 復原模型

• 劣化模型：
  • 觀測影像 $g(x, y)$g(x,y) 是原始影像 $f(x, y)$f(x,y) 加上噪聲 $n(x, y)$n(x,y)： $g(x, y) = f(x, y) + n(x, y)$g(x,y)=f(x,y)+n(x,y)
  • 頻率域表示： $G(u, v) = F(u, v) + N(u, v)$G(u,v)=F(u,v)+N(u,v)
  • 公式解釋：$G(u, v)$G(u,v)、$F(u, v)$F(u,v)、$N(u, v)$N(u,v) 分別是劣化影像、原始影像和噪聲的傅立葉轉換。
• 目標：估計 $\hat{f}(x, y)$f^​(x,y)，使之接近 $f(x, y)$f(x,y)，通常最小化均方誤差。

2.2.1 噪聲模型

• 類型：
  • 高斯噪聲（Gaussian Noise）：隨機分佈，常見於 CT 影像。
  • 瑞利噪聲（Rayleigh Noise）：常見於超聲影像。
  • 伽馬噪聲（Gamma Noise）：適用於特定成像系統。
• 實作範例：在腦部 CT 中，高斯噪聲是主要劣化，復原技術需針對其設計。

2.3 復原方法

2.3.1 空間域復原（Spatial-Domain Restoration）

假設劣化僅為加性噪聲，無顯著模糊。

• 均值濾波（Mean Filters）：

  • 算術均值濾波（Arithmetic Mean Filter）： $\hat{f}(x, y) = \frac{1}{m \cdot n} \sum_{(s, t) \in S_{xy}} g(s, t)$f^​(x,y)=m⋅n1​(s,t)∈Sxy​∑​g(s,t)
    • 公式解釋：在 $m \times n$m×n 鄰域 $S_{xy}$Sxy​ 內計算像素平均值，平滑高斯噪聲。
    • 特點：簡單，但可能模糊邊緣。
    • 實作範例：在腦部 CT 中，算術均值濾波可去除輕度噪聲，但可能模糊 ICH 邊緣，需謹慎使用。
  • 幾何均值濾波（Geometric Mean Filter）： $\hat{f}(x, y) = \left[ \prod_{(s, t) \in S_{xy}} g(s, t) \right]^{\frac{1}{m \cdot n}}$f^​(x,y)=​(s,t)∈Sxy​∏​g(s,t)​m⋅n1​
    • 公式解釋：計算鄰域像素的幾何平均，保留邊緣細節。
    • 實作範例：在腦部 CT 中，幾何均值濾波可去除噪聲，同時保留 ICH 邊緣，優於算術均值濾波。

• 中值濾波（Median Filter）：

  • 取鄰域（如 3x3）像素的中值替換中心像素。
  • 特點：有效去除椒鹽噪聲，保留邊緣。
  • 實作範例：在腦部 CT 中，3x3 中值濾波是去除噪聲的首選，保留 ICH 邊緣清晰度。

2.3.2 頻率域復原（Frequency-Domain Restoration）

• 維納濾波（Wiener Filtering）：

  • 最小均方誤差濾波，目標是最小化： $e^2 = E\left\{ (f - \hat{f})^2 \right\}$e2=E{(f−f^​)2}
  • 頻率域公式： $\hat{F}(u, v) = \frac{H^*(u, v)}{|H(u, v)|^2 + \frac{S_n(u, v)}{S_f(u, v)}} \cdot G(u, v)$F^(u,v)=∣H(u,v)∣2+Sf​(u,v)Sn​(u,v)​H∗(u,v)​⋅G(u,v) 其中：
    • $H(u, v)$H(u,v)：劣化函數（無模糊時 $H(u, v) = 1$H(u,v)=1）。
    • $S_n(u, v) = |N(u, v)|^2$Sn​(u,v)=∣N(u,v)∣2：噪聲功率譜。
    • $S_f(u, v) = |F(u, v)|^2$Sf​(u,v)=∣F(u,v)∣2：原始影像功率譜。
    • $\frac{S_n(u, v)}{S_f(u, v)} \approx 1/\text{SNR}$Sf​(u,v)Sn​(u,v)​≈1/SNR：信噪比倒數。
  • 公式解釋：維納濾波根據信噪比自適應調整濾波強度，平衡噪聲去除與細節保留。
  • 實作範例：在腦部 CT 中，維納濾波可去除高斯噪聲，保留 ICH 的對比度，適合低劑量掃描。

• 自適應濾波（Adaptive Filters）：

  • 根據局部特性（如噪聲水平、邊緣強度）動態調整濾波參數。
  • 特點：比全局濾波更能保留細節。
  • 實作範例：在腦部 CT 中，自適應濾波可在 ICH 區域使用弱平滑，保留邊界；在均勻區域（如腦實質）使用強平滑。

---

3. 分割（Segmentation）

3.1 定義與特點

影像分割的目標是將影像分成有意義的區域或物件，通常基於灰階值、紋理或邊緣等特徵。分割是影像分析的核心步驟，涵蓋不連續性檢測（Detection of Discontinuities）、邊緣鏈接（Edge Linking）和區域分割方法。

• 特點：
  • 專注於識別和分離影像中的結構特徵。
  • 是物件識別、診斷和自動化分析的基礎。
  • 通常結合增強和復原技術進行預處理。
• 實作範例：在腦部 CT 中，分割可用於分離 ICH（HU: 60~100）區域，輔助診斷和體積量測。

3.2 分割方法

3.2.1 不連續性檢測（Detection of Discontinuities）

不連續性檢測識別灰階值或結構的快速變化區域，包括點（Points）、線（Lines）和邊緣（Edges）。

• 點檢測：
  • 識別孤立像素，其灰階值與鄰域顯著不同。
  • 實作範例：在腦部 CT 中，點檢測可識別椒鹽噪聲或小出血點。
• 線檢測：
  • 識別細長結構，如血管或裂縫。
  • 實作範例：在腦部 CT 中，線檢測可識別骨折線或血管。
• 邊緣檢測（Edge Detection）：
  • 最常用的不連續性檢測，識別灰階快速變化的邊界。
  • 基本步驟：
    1. 影像平滑（Prior Image Smoothing）：使用高斯濾波減少噪聲。
    2. 邊緣點檢測（Detection of Edge Points）：應用梯度或拉普拉斯算子。
    3. 邊緣定位（Edge Localization）：使用非最大值抑制或雙閾值精確定位。
  • 方法：
    • 一階導數（First-Order Derivative）：
      • 使用梯度算子計算灰階變化： $\frac{\partial f}{\partial x} = f(x+1) - f(x)$∂x∂f​=f(x+1)−f(x)
      • Prewitt算子（1970）：
        • 3x3 遮罩，計算水平和垂直梯度： $\begin{bmatrix} -1 & 0 & 1 \\ -1 & 0 & 1 \\ -1 & 0 & 1 \end{bmatrix} \quad \text{和} \quad \begin{bmatrix} -1 & -1 & -1 \\ 0 & 0 & 0 \\ 1 & 1 & 1 \end{bmatrix}$​−1−1−1​000​111​​和​−101​−101​−101​​
        • 公式解釋：對中心點對稱，計算梯度幅度和方向。
      • Sobel算子（1970）：
        • 類似 Prewitt，但中心加權更高： $\begin{bmatrix} -1 & -2 & -1 \\ 0 & 0 & 0 \\ 1 & 2 & 1 \end{bmatrix} \quad \text{和} \quad \begin{bmatrix} -1 & 0 & 1 \\ -2 & 0 & 2 \\ -1 & 0 & 1 \end{bmatrix}$​−101​−202​−101​​和​−1−2−1​000​121​​
        • 公式解釋：增強平滑效果，平衡邊緣檢測和噪聲抑制。
      • 實作範例：在腦部 CT 中，Sobel 算子可快速檢測 ICH 邊緣，適合實時處理。
    • 二階導數（Second-Order Derivative）：
      • 使用拉普拉斯算子檢測灰階快速變化： $\nabla^2 f(x, y) = \frac{\partial^2 f}{\partial x^2} + \frac{\partial^2 f}{\partial y^2}$∇2f(x,y)=∂x2∂2f​+∂y2∂2f​
      • 拉普拉斯算子（Laplacian Operator）：
        • 5x5 遮罩近似： $\begin{bmatrix} 0 & 0 & -1 & 0 & 0 \\ 0 & -1 & -2 & -1 & 0 \\ -1 & -2 & 16 & -2 & -1 \\ 0 & -1 & -2 & -1 & 0 \\ 0 & 0 & -1 & 0 & 0 \end{bmatrix}$​00−100​0−1−2−10​−1−216−2−1​0−1−2−10​00−100​​
        • 特點：旋轉不變，對噪聲敏感，可能產生雙邊緣。
        • 實作範例：在腦部 CT 中，拉普拉斯算子可檢測 ICH 的漸進邊緣，但需先平滑。
      • 高斯拉普拉斯（Laplacian of Gaussian, LoG）：
        • 先用高斯濾波平滑，再應用拉普拉斯算子，通過零交叉（Zero Crossing）檢測邊緣。
        • 生成方法：
          • 直接採樣 LoG 函數。
          • 採樣高斯函數後與拉普拉斯遮罩卷積。
        • 實作範例：在腦部 CT 中，LoG 適合高噪聲影像，檢測 ICH 邊緣。
      • 高斯差分（Difference of Gaussian, DoG）：
        • 用兩個不同標準差（$\sigma_1 < \sigma_2$σ1​<σ2​）的高斯濾波器相減，近似 LoG。
        • 實作範例：在腦部 CT 中，DoG 計算效率高，適合快速邊緣檢測。
    • Canny 邊緣檢測器（1986）：
      • 步驟：
        1. 高斯濾波平滑影像。
        2. 計算梯度幅度和相位（Sobel 算子）。
        3. 非最大值抑制（Non-Maximum Suppression）。
        4. 雙閾值（高/低閾值）檢測和鏈接邊緣。
      • 特點：平衡噪聲抑制和邊緣檢測，生成連續邊緣。
      • 實作範例：在腦部 CT 中，Canny 檢測器可精確定位 ICH 邊緣，適合高精度分割。

3.2.2 邊緣鏈接（Edge Linking）

邊緣鏈接將分散的邊緣像素連接到連續輪廓。

• 局部處理（Local Processing）：
  • 在 3x3 或 5x5 鄰域內，根據梯度幅度和相位相似性鏈接像素。
  • 步驟：
    1. 檢查鄰域內像素的梯度幅度和相位。
    2. 若相似（例如相位差小於某閾值），建立鏈接。
    3. 迭代處理所有像素。
  • 實作範例：在腦部 CT 中，局部處理可鏈接 ICH 邊緣的斷續像素，形成連續輪廓。
• 全局處理（Global Processing via Hough Transform）：
  • 使用霍夫變換檢測直線或曲線： $\rho = x \cos(\theta) + y \sin(\theta)$ρ=xcos(θ)+ysin(θ)
  • 步驟：
    1. 獲取二值邊緣圖。
    2. 將邊緣像素轉換到 $\rho\theta$ρθ 參數空間，細分成累加器單元。
    3. 檢查高計數單元，檢測直線。
    4. 檢查連續性，連接間隙。
  • 公式解釋：xy 平面中的直線對應 $\rho\theta$ρθ 平面中的單點，高計數表示共線像素。
  • 實作範例：在腦部 CT 中，霍夫變換可檢測骨折線或血管的直線邊緣，對 ICH 不規則輪廓需結合局部處理。

3.2.3 全局閾值化（Global Thresholding）

• 原理：僅考慮灰階值，將影像分割為兩個區域。
• 算法：
  1. 選擇初始閾值 $T$T。
  2. 使用 $T$T 分割影像，分為 $<T$<T 和 $>T$>T 兩組。
  3. 計算兩組的平均強度 $m_1$m1​（$<T$<T）和 $m_2$m2​（$>T$>T）。
  4. 更新閾值： $T = \frac{m_1 + m_2}{2}$T=2m1​+m2​​
  5. 重複 2-4，直到 $\Delta T$ΔT 足夠小。
• 實作範例：在腦部 CT 中，全局閾值化可分離 HU: 60~100 的 ICH 區域，但對複雜背景效果有限。

3.2.4 其他分割方法

• 區域生長（Region-Based Growing）：
  • 從種子點開始，根據相似性（如灰階或紋理）擴展區域。
  • 實作範例：在腦部 CT 中，區域生長可從 ICH 內部像素開始，擴展到完整出血區域。
• 分水嶺分割（Watershed Segmentation）：
  • 將影像視為地形圖，通過「淹沒」過程分割區域。
  • 實作範例：在腦部 CT 中，分水嶺分割可分離 ICH 與腦實質，但需控制過分割。

---

總結

• 增強（Enhancement）：通過空間域（直方圖處理、中值濾波）和頻率域（低通/高通濾波、銳化）技術改善視覺品質，主觀性高，適合腦部 CT 突出 ICH 對比度。
• 復原（Restoration）：使用均值濾波、維納濾波等方法去除噪聲或模糊，基於數學模型，客觀性強，適合腦部 CT 去除噪聲以保留 ICH 邊緣。
• 分割（Segmentation）：通過不連續性檢測（邊緣檢測）、邊 - 邊緣鏈接和閾值化等方法分離影像區域，是特徵提取的核心，適合腦部 CT 分離 ICH 區域。

每個主題相輔相成：復原提供乾淨影像，增強突出特徵，分割提取結構，共同提升影像處理效果。