中文名稱:自迴歸模型 英文名稱:Autoregressive Models(AR Model)
📌 定義(Definition)
自迴歸模型透過「前一個輸出預測下一個輸出」來逐步生成資料。
典型例子:
- n-gram
- RNN / LSTM
- Transformer(GPT 系列)
GPT 本質上就是一種 Autoregressive(自迴歸)模型。
但考試與實務上,會用「Autoregressive Transformer」或「自迴歸式大型語言模型」來更精確描述。
⭐ 原理與技術
自迴歸模型基於歷史輸出值,依序預測下一步輸出。其核心假設是資料的當前狀態與過去狀態之間存在依賴關係。
具體技術包含:
- n-gram 模型透過統計前 n-1 個字詞來預測第 n 個字詞的機率。
- RNN(循環神經網路)在序列資料上循環運算,保留前面輸出狀態作為下一步的輸入。
- LSTM(長短期記憶網路)解決 RNN 長依賴問題,有選擇性地記憶或忘記歷史資訊。
- Transformer 使用注意力機制,並採用自回歸方式在訓練階段預測下一個單詞,像 GPT 系列模型即是代表。
🔗 應用領域
- 自然語言生成(機器翻譯、對話生成、文章寫作)
- 語音生成與辨識
- 時序資料預測(如股價、天氣)
- 影像生成(例如某些自迴歸影像模型)
3 題模擬練習題
題目 1
下列哪一個模型不屬於自迴歸模型?
A) GPT 系列模型
B) LSTM
C) Transformer 解碼器(Decoder)
D) 卷積神經網路(CNN)
答案: D
詳解:
自迴歸模型依賴前一個輸出來預測下一個輸出,GPT、LSTM 及 Transformer 解碼器都有此特性。而 CNN 是以局部感知野和卷積濾波器進行特徵抽取,無法逐步預測下一個輸出,故不屬於自迴歸模型。
題目 2
自迴歸模型的核心假設為何?
A) 預測結果與未來未知資訊無關
B) 預測結果只與當前輸入有關
C) 預測結果與前面的輸出結果存在依賴關係
D) 預測結果是隨機獨立產生
答案: C
詳解:
自迴歸模型假設序列中當前的輸出值與歷史輸出結果密切相關,依據過去的輸出逐步生成下一個輸出,強調依賴關係。
題目 3
哪一種技術可有效解決 RNN 模型中梯度消失問題,並增強長期依賴關係的建模能力?
A) n-gram
B) 卷積神經網路
C) 長短期記憶網路(LSTM)
D) 支持向量機 (SVM)
答案: C
詳解:
LSTM 利用門控機制(input gate、forget gate 和 output gate)選擇性地記憶或忘記資訊,有效解決了 RNN 中梯度消失的問題,提升對長期依賴序列的建模能力。其他選項與此問題無關。