中文名稱:生成式人工智慧 英文名稱:Generative AI
📌 定義(Definition)
- 學習資料的生成機制(機率分佈),而不是只做分類或回歸。
- 一種強大的自然語言處理模型,透過龐大的參數數量,能夠根據使用者提供的提示詞,生成出連貫、有意義的文本回應。
- 一種透過學習數據的聯合分佈 P(x,y)或邊際 分佈 P(x)來生成新數據樣本的人工智慧方法。
⭐原理與技術
運作原理: 根據輸入的提示詞,模型會在經過大量文本訓練後所建立的「文字機率分布」中,尋找最可能接續的文字,並以此方式逐字生成回應。
訓練階段
- 數據準備:數據蒐集→ 數據清洗 →數據預處理 (數據轉換)
- 模型選擇與搭建 常見:GAN、VAE、Transformer、AR Model、擴散模型(Diffusion)
- 模型訓練
- 損失函數(Loss Function):設計一個適當的損失函數,用來衡量模型生成的數據與真實數據之間的差異
- 優化器:選擇一個優化器,如 Adam、SGD,用來更新模型的參數,使得模型生成的數據越來越接近真實數據。
- 迭代訓練:反覆輸入訓練數據,計算損失,並根據損失更新模型參數,直到模型收斂或達到預定的訓練次數。
- 微調階段
在預訓練模型的基礎上,使用特定領域或任務的數據進行進一步訓練,以提升模型在特定任務上的表現。
- 特定任務優化
- 調整超參數 (如學習率、批量大小)
- 添加特定層:為模型添加一些特定於任務的層,如在文本生成任務中,可以添加一個語言模型層。
- 數據精調
- 使用特定數據集微調
- 特定任務優化
比較
VAE vs GAN vs Diffusion(簡單比較表)
| 面向 | VAE(變分自編碼器) | GAN(生成對抗網路) | Diffusion(擴散模型) |
|---|---|---|---|
| 類型 | 機率生成模型 | 對抗式生成模型 | 機率生成模型 |
| 核心想法 | 學習潛在變數與資料分佈 | 以真假對抗逼近真實分佈 | 從噪聲逐步還原資料 |
| 是否有潛在變數 | 有(顯式 z) | 有(隱式 z) | 通常無顯式 z(或等同噪聲) |
| 生成方式 | 取樣 z → Decoder 生成 | 取樣噪聲 → Generator 生成 | 從純噪聲逐步去噪 |
| 訓練穩定性 | 穩定 | 不穩定(需技巧) | 相對穩定 |
| 生成品質 | 偏模糊 | 銳利、真實感高 | 高品質、細節佳 |
| 潛在空間結構 | 連續、可插值 | 不穩定、難解釋 | 隱含於去噪過程 |
| 理論基礎 | 變分推論、貝葉斯 | 博弈論 | 隨機微分方程 |
| 訓練成本 | 低~中 | 中 | 高 |
| 代表應用 | 表徵學習、異常偵測 | 影像生成、風格轉換 | 影像/多模態生成 |
Zero-shot 與 Few-shot(少樣本提示)
Zero-shot learning與Few-shot learning是大型語言模型常見的提示方式,用來讓模型在沒有或只有少量範例的情況下完成任務。
Zero-shot 指的是在提示中不提供任何範例,只描述任務要求,模型依靠自身訓練知識直接完成任務。例如:「將以下句子翻譯成英文」。這種方式最簡單,但在複雜任務或格式要求嚴格時,模型表現可能不穩定。
Few-shot 則是在提示中提供少量示範範例(通常 2–5 個),讓模型模仿範例的格式或推理方式再回答問題。例如先給幾組「問題→答案」示例,再提出新的問題。這能明顯提升輸出品質與一致性。
簡單理解:Zero-shot = 不給例子直接做;Few-shot = 給幾個例子讓模型學習格式再做。
🔗 應用領域
模擬練習題
題目1:生成式人工智慧模型在生成回應時,主要依據的是哪一種機率分布?
A. 輸入資料的字詞出現頻率分布
B. 訓練階段建立的文字機率分布
C. 損失函數的分布
D. 優化器更新參數分布
答案:B
詳解:
生成式人工智慧模型根據使用者給的提示詞,在經過大量文本訓練建立的「文字機率分布」中尋找最可能的下一個字或詞,逐字生成連貫文本。因此,文字機率分布是模型生成的核心依據。
題目2:在訓練生成式人工智慧模型時,損失函數的主要作用為何?
A. 用來計算數據的清洗程度
B. 衡量模型生成結果與真實數據之間的差距
C. 決定模型的參數初始化方式
D. 調整提示詞的格式和順序
答案:B
詳解:
損失函數(Loss Function)用來衡量模型預測結果與真實結果的誤差大小,指引模型如何修改參數以減少錯誤,提升生成結果的準確性與品質,是模型訓練過程中的重要指標。
題目3:在微調(Fine-tuning)生成式人工智慧模型時,以下哪一項操作屬於特定任務優化?
A. 使用大量通用文本數據集重新訓練模型
B. 為模型添加某個與特定任務相關的層
C. 刪除原始訓練數據中的異常值
D. 進行數據格式的轉換與清理
答案:B
詳解:
微調階段針對特定任務進行調整,包括添加特定任務所需的新模型層、調整超參數等。這有助於模型更好地適應特定情境和需求。選項B描述的是為特定任務增加新層,屬於任務優化行為。
題目 4:下列何者不是生成式 AI 核心技術?
(A) Variational Autoencoders(VAE) (B) Generative Adversarial Networks(GAN) (C) Visual Geometry Group(VGG) (D) Autoregressive Models(AR Model)
答案:C
詳解:
VGG 是由 Oxford 的 Visual Geometry Group 提出的卷積神經網路(CNN)架構**。VGG 的任務是回答:「這張圖是什麼?」,不是生成式技術。