中文名稱:生成式人工智慧 英文名稱:Generative AI

📌 定義(Definition)

  • 學習資料的生成機制(機率分佈),而不是只做分類或回歸。
  • 一種強大的自然語言處理模型,透過龐大的參數數量,能夠根據使用者提供的提示詞,生成出連貫、有意義的文本回應。
  • 一種透過學習數據的聯合分佈 P(x,y)或邊際 分佈 P(x)來生成新數據樣本的人工智慧方法。

⭐原理與技術

運作原理: 根據輸入的提示詞,模型會在經過大量文本訓練後所建立的「文字機率分布」中,尋找最可能接續的文字,並以此方式逐字生成回應。

訓練階段

  1. 數據準備:數據蒐集→ 數據清洗 →數據預處理 (數據轉換)
  2. 模型選擇與搭建 常見:GANVAETransformerAR Model擴散模型(Diffusion)
  3. 模型訓練
    1. 損失函數(Loss Function):設計一個適當的損失函數,用來衡量模型生成的數據與真實數據之間的差異
    2. 優化器:選擇一個優化器,如 Adam、SGD,用來更新模型的參數,使得模型生成的數據越來越接近真實數據。
    3. 迭代訓練:反覆輸入訓練數據,計算損失,並根據損失更新模型參數,直到模型收斂或達到預定的訓練次數。
  4. 微調階段 在預訓練模型的基礎上,使用特定領域或任務的數據進行進一步訓練,以提升模型在特定任務上的表現。
    1. 特定任務優化
      1. 調整超參數 (如學習率、批量大小)
      2. 添加特定層:為模型添加一些特定於任務的層,如在文本生成任務中,可以添加一個語言模型層。
    2. 數據精調
      1. 使用特定數據集微調

比較

VAE vs GAN vs Diffusion(簡單比較表)

面向VAE(變分自編碼器)GAN(生成對抗網路)Diffusion(擴散模型)
類型機率生成模型對抗式生成模型機率生成模型
核心想法學習潛在變數與資料分佈以真假對抗逼近真實分佈從噪聲逐步還原資料
是否有潛在變數有(顯式 z)有(隱式 z)通常無顯式 z(或等同噪聲)
生成方式取樣 z → Decoder 生成取樣噪聲 → Generator 生成從純噪聲逐步去噪
訓練穩定性穩定不穩定(需技巧)相對穩定
生成品質偏模糊銳利、真實感高高品質、細節佳
潛在空間結構連續、可插值不穩定、難解釋隱含於去噪過程
理論基礎變分推論、貝葉斯博弈論隨機微分方程
訓練成本低~中
代表應用表徵學習、異常偵測影像生成、風格轉換影像/多模態生成

Zero-shot 與 Few-shot(少樣本提示)

Zero-shot learningFew-shot learning是大型語言模型常見的提示方式,用來讓模型在沒有或只有少量範例的情況下完成任務。

Zero-shot 指的是在提示中不提供任何範例,只描述任務要求,模型依靠自身訓練知識直接完成任務。例如:「將以下句子翻譯成英文」。這種方式最簡單,但在複雜任務或格式要求嚴格時,模型表現可能不穩定。

Few-shot 則是在提示中提供少量示範範例(通常 2–5 個),讓模型模仿範例的格式或推理方式再回答問題。例如先給幾組「問題→答案」示例,再提出新的問題。這能明顯提升輸出品質與一致性。

簡單理解:Zero-shot = 不給例子直接做;Few-shot = 給幾個例子讓模型學習格式再做。

🔗 應用領域

模擬練習題

題目1:生成式人工智慧模型在生成回應時,主要依據的是哪一種機率分布?

A. 輸入資料的字詞出現頻率分布
B. 訓練階段建立的文字機率分布
C. 損失函數的分布
D. 優化器更新參數分布

答案:B
詳解:
生成式人工智慧模型根據使用者給的提示詞,在經過大量文本訓練建立的「文字機率分布」中尋找最可能的下一個字或詞,逐字生成連貫文本。因此,文字機率分布是模型生成的核心依據。

題目2:在訓練生成式人工智慧模型時,損失函數的主要作用為何?

A. 用來計算數據的清洗程度
B. 衡量模型生成結果與真實數據之間的差距
C. 決定模型的參數初始化方式
D. 調整提示詞的格式和順序

答案:B
詳解:
損失函數(Loss Function)用來衡量模型預測結果與真實結果的誤差大小,指引模型如何修改參數以減少錯誤,提升生成結果的準確性與品質,是模型訓練過程中的重要指標。

題目3:在微調(Fine-tuning)生成式人工智慧模型時,以下哪一項操作屬於特定任務優化?

A. 使用大量通用文本數據集重新訓練模型
B. 為模型添加某個與特定任務相關的層
C. 刪除原始訓練數據中的異常值
D. 進行數據格式的轉換與清理

答案:B
詳解:
微調階段針對特定任務進行調整,包括添加特定任務所需的新模型層、調整超參數等。這有助於模型更好地適應特定情境和需求。選項B描述的是為特定任務增加新層,屬於任務優化行為。

題目 4:下列何者不是生成式 AI 核心技術?

(A) Variational Autoencoders(VAE) (B) Generative Adversarial Networks(GAN) (C) Visual Geometry Group(VGG) (D) Autoregressive Models(AR Model)

答案:C
詳解:
VGG 是由 Oxford 的 Visual Geometry Group 提出的
卷積神經網路(CNN)架構**。VGG 的任務是回答:「這張圖是什麼?」,不是生成式技術。