中文名稱:自迴歸模型 英文名稱:Autoregressive Models(AR Model)

📌 定義(Definition)

自迴歸模型透過「前一個輸出預測下一個輸出」來逐步生成資料。

典型例子:

  • n-gram
  • RNN / LSTM
  • Transformer(GPT 系列)

GPT 本質上就是一種 Autoregressive(自迴歸)模型。
但考試與實務上,會用「Autoregressive Transformer」或「自迴歸式大型語言模型」來更精確描述。

⭐ 原理與技術

自迴歸模型基於歷史輸出值,依序預測下一步輸出。其核心假設是資料的當前狀態與過去狀態之間存在依賴關係。
具體技術包含:

  • n-gram 模型透過統計前 n-1 個字詞來預測第 n 個字詞的機率。
  • RNN(循環神經網路)在序列資料上循環運算,保留前面輸出狀態作為下一步的輸入。
  • LSTM(長短期記憶網路)解決 RNN 長依賴問題,有選擇性地記憶或忘記歷史資訊。
  • Transformer 使用注意力機制,並採用自回歸方式在訓練階段預測下一個單詞,像 GPT 系列模型即是代表。

🔗 應用領域

  • 自然語言生成(機器翻譯、對話生成、文章寫作)
  • 語音生成與辨識
  • 時序資料預測(如股價、天氣)
  • 影像生成(例如某些自迴歸影像模型)

3 題模擬練習題

題目 1

下列哪一個模型不屬於自迴歸模型?
A) GPT 系列模型
B) LSTM
C) Transformer 解碼器(Decoder)
D) 卷積神經網路(CNN)

答案: D

詳解:
自迴歸模型依賴前一個輸出來預測下一個輸出,GPT、LSTM 及 Transformer 解碼器都有此特性。而 CNN 是以局部感知野和卷積濾波器進行特徵抽取,無法逐步預測下一個輸出,故不屬於自迴歸模型。

題目 2

自迴歸模型的核心假設為何?
A) 預測結果與未來未知資訊無關
B) 預測結果只與當前輸入有關
C) 預測結果與前面的輸出結果存在依賴關係
D) 預測結果是隨機獨立產生

答案: C

詳解:
自迴歸模型假設序列中當前的輸出值與歷史輸出結果密切相關,依據過去的輸出逐步生成下一個輸出,強調依賴關係。

題目 3

哪一種技術可有效解決 RNN 模型中梯度消失問題,並增強長期依賴關係的建模能力?
A) n-gram
B) 卷積神經網路
C) 長短期記憶網路(LSTM)
D) 支持向量機 (SVM)

答案: C

詳解:
LSTM 利用門控機制(input gate、forget gate 和 output gate)選擇性地記憶或忘記資訊,有效解決了 RNN 中梯度消失的問題,提升對長期依賴序列的建模能力。其他選項與此問題無關。