Jollen's Blog :: AI、RAG 與 LLM

從 MLX、llama.cpp、4-bit 量化與 Gated DeltaNet recurrent state，理解 Qwen3.5 在 Apple Silicon 上的 Prefill 效能差異。

Jollen 發表於 August 3, 2026 | 閱讀全文

從對話聊天的實作出發，理解 Qwen3.5 如何結合 GDN recurrent state、Attention KV cache、歷史裁切與 checkpoint 管理上下文。

Jollen 發表於 July 30, 2026 | 閱讀全文

從 Qwen3.5 的混合模型架構出發，理解 Gated DeltaNet 如何透過固定狀態、Decay Gate 與 Delta Rule 管理長上下文。

Jollen 發表於 July 27, 2026 | 閱讀全文

從零實作極簡向量資料庫，整理向量儲存、餘弦相似度與 Top-K 檢索的完整流程。

Jollen 發表於 November 17, 2025 | 閱讀全文

這是 RAG 系統中「語境擷取（Context Retrieval）」的第一步

Jollen 發表於 November 14, 2025 | 閱讀全文

說明 Text Embedding 如何將不同文字映射到共同向量空間，用於語意對齊、比較與檢索。

Jollen 發表於 November 10, 2025 | 閱讀全文

說明餘弦相似度如何計算向量方向的接近程度，並用於 RAG 的語意排序與相關內容選取。

Jollen 發表於 November 9, 2025 | 閱讀全文

說明 RAG 如何將文本轉為向量，並透過向量資料庫建立可搜尋的語意索引與檢索流程。

Jollen 發表於 November 8, 2025 | 閱讀全文

語意搜尋的關鍵在：讓語言變成可運算的 Expression（運算式）

Jollen 發表於 November 7, 2025 | 閱讀全文

RAG 檢索之所以重要，是因為 RAG 主要在「如何找到正確的語境」，RAG 並非傳統的關鍵字檢索

Jollen 發表於 November 5, 2025 | 閱讀全文

AI、RAG 與 LLM