n8n Ollama RAG workflow: thiết kế và triển khai chatbot RAG chạy cục bộ

https://tramcongngheai.com/

🇬🇧 Read in English

Tổng quan kiến trúc của n8n Ollama RAG workflow chạy cục bộ

n8n Ollama RAG workflow là một hệ thống Retrieval-Augmented Generation (RAG) tự lưu trữ, chạy cục bộ, kết hợp tự động hóa n8n, khả năng suy luận LLM cục bộ của Ollama và các vector database như Qdrant, ChromaDB hoặc PGVector. Hệ thống tạo ra một chatbot trả lời câu hỏi dựa trên các tài liệu đã nạp vào, đồng thời giữ quyền riêng tư dữ liệu vì mọi thứ được xử lý hoàn toàn tại chỗ.

The n8n Ollama RAG workflow orchestrates document ingestion, chunking, embedding, and querying by combining n8n’s automation with Ollama’s local LLM inference and vector databases for semantic search. This setup provides a fully local, scalable, and customizable chatbot solution suitable for hardware like a Mac Mini M4.

Dưới đây là sơ đồ PlantUML minh họa các thành phần cốt lõi và luồng dữ liệu:

@startuml
actor User
participant "n8n Workflow" as n8n
participant "Ollama LLM" as Ollama
database "Vector DB (Qdrant/ChromaDB/PGVector)" as VectorDB
participant "Document Storage"

User -> n8n : Query or Upload Document
n8n -> Document Storage : Store Raw Documents
n8n -> n8n : Chunk Documents
n8n -> Ollama : Generate Embeddings
Ollama -> VectorDB : Store Embeddings
User -> n8n : Query
n8n -> VectorDB : Retrieve Relevant Chunks
VectorDB -> n8n : Return Chunks
n8n -> Ollama : Generate Answer
Ollama -> n8n : Return Answer
n8n -> User : Deliver Response
@enduml

Vai trò của từng thành phần: n8n, Ollama và vector database

Mỗi thành phần có một vai trò riêng:

  • n8n: Điều phối toàn bộ pipeline, từ nạp tài liệu, chia chunk, tạo embedding, lập chỉ mục vector cho đến xử lý câu hỏi và trả kết quả. Các node được cấu hình bằng YAML hoặc JSON để định nghĩa trigger, phép biến đổi và lệnh gọi API.
  • Ollama: Cung cấp suy luận LLM cục bộ và tạo embedding bằng các mô hình Llama 3.x cùng các mô hình embedding như mxbai-embed-large hoặc nomic-embed-text. Được gọi qua CLI hoặc API ngay trong workflow n8n.
  • Vector database: Qdrant, ChromaDB hoặc PGVector lưu các vector embedding và cho phép tìm kiếm tương đồng ngữ nghĩa bằng cách lập chỉ mục các chunk tài liệu và trả về những đoạn liên quan dựa trên embedding của câu hỏi.

Ví dụ đoạn cấu hình node n8n để chia chunk tài liệu:

- name: Chunk PDF
  type: n8n-nodes-base.function
  parameters:
    functionCode: |
      const chunkSize = 500;
      const text = items[0].json.text;
      let chunks = [];
      for (let i = 0; i < text.length; i += chunkSize) {
        chunks.push(text.slice(i, i + chunkSize));
      }
      return chunks.map(chunk => ({ json: { chunk } }));

Ví dụ lệnh Ollama tạo embedding:

ollama embed mxbai-embed-large --text "Your document chunk text here"

Ví dụ schema vector database cho Qdrant:

CREATE TABLE documents (
  id UUID PRIMARY KEY,
  chunk TEXT,
  embedding VECTOR(1536)
);

Lựa chọn mô hình embedding và LLM ảnh hưởng thế nào đến hiệu năng workflow?

Việc chọn mô hình embedding và LLM ảnh hưởng đến độ chính xác, độ trễ và mức tiêu thụ tài nguyên. Các benchmark cho thấy Llama 3.2 cải thiện tốc độ suy luận và khả năng hiểu ngữ cảnh so với 3.1 nhưng cần nhiều VRAM và CPU hơn. Các mô hình embedding như mxbai-embed-large cho vector chất lượng cao hơn nhưng tốn nhiều tính toán hơn so với nomic-embed-text.

Mô hìnhVRAM sử dụngTải CPUĐộ trễ (mỗi câu hỏi)Độ chính xác (tìm kiếm ngữ nghĩa)
Llama 3.1 8B6 GBTrung bình1.2s85%
Llama 3.2 8B7.5 GBCao1.0s88%
mxbai-embed-large2 GBThấp0.8s90%
nomic-embed-text1 GBThấp0.6s82%

Những số liệu này giúp bạn chuẩn bị phần cứng và tinh chỉnh workflow, nhất là trên các thiết bị hạn chế như Mac Mini M4. Xem thêm tài liệu tích hợp n8n Ollama để biết chi tiết.

Những lỗi thường gặp và giới hạn tài nguyên khi chạy RAG cục bộ là gì?

Các bản triển khai RAG cục bộ dễ gặp tình trạng cạn tài nguyên khi xử lý bộ tài liệu lớn hoặc chạy suy luận trên phần cứng yếu. Các lỗi hay gặp gồm bị kill do hết bộ nhớ, CPU bị throttling, và workflow lỗi do timeout hoặc API thất bại.

Xử lý bộ tài liệu lớn: nút thắt khi chia chunk và lập chỉ mục

Tài liệu lớn cần được chia thành các phần vừa phải trước khi tạo embedding và lập chỉ mục. Chia chunk hoặc lập chỉ mục kém hiệu quả sẽ gây nút thắt và lỗi.

Ví dụ script bash chia chunk PDF bằng pdftotext và tách thành các chunk 500 token:

#!/bin/bash
for file in ./pdfs/*.pdf; do
  pdftotext "$file" - | \
  awk 'BEGIN {RS=""; ORS="\n\n"} {print}' | \
  split -l 500 - "${file%.pdf}_chunk_"
done

Đoạn cấu hình node chia chunk của n8n:

- name: Chunk Text
  type: n8n-nodes-base.function
  parameters:
    functionCode: |
      const chunkSize = 500;
      const text = items[0].json.text;
      let chunks = [];
      for (let i = 0; i < text.length; i += chunkSize) {
        chunks.push(text.slice(i, i + chunkSize));
      }
      return chunks.map(chunk => ({ json: { chunk } }));

Ví dụ lệnh CLI lập chỉ mục Qdrant có xử lý lỗi:

qdrant_client.upsert(collection_name="docs", points=embedding_points)
# Check for errors in response
if response.status_code != 200:
    print("Indexing failed", response.json())

Thách thức về độ trễ và thông lượng khi suy luận Ollama cục bộ

Độ trễ suy luận của Ollama phụ thuộc vào kích thước mô hình, VRAM của phần cứng và tốc độ CPU. Đo bằng Ollama CLI cho thấy các mô hình Llama 3.2 8B mất khoảng 1 giây mỗi câu hỏi trên Mac Mini M4, với mức dùng CPU đạt đỉnh gần 80%. File service của systemd có thể áp giới hạn tài nguyên để tránh quá tải.

[Service]
ExecStart=/usr/local/bin/ollama serve
MemoryMax=8G
CPUQuota=80%
Restart=on-failure

Các công cụ giám sát như htop cho thấy CPU bị throttling lúc cao điểm, đòi hỏi phải giảm tốc workflow hoặc gom lô (batching) trong n8n để giữ thông lượng.

Vấn đề nhất quán và đồng bộ dữ liệu giữa các vector store

Khi dùng nhiều vector store hoặc tích hợp dữ liệu dạng bảng với PGVector, cần bảo đảm tính nhất quán dữ liệu. Các script đồng bộ giúp embedding và metadata luôn khớp nhau.

Ví dụ câu truy vấn SQL kiểm tra embedding bị thiếu trong Supabase PGVector:

SELECT id FROM documents WHERE embedding IS NULL;

Logic thử lại trong YAML workflow n8n để xử lý lỗi thoáng qua:

- name: Retry Embedding Generation
  type: n8n-nodes-base.retry
  parameters:
    maxTries: 3
    delay: 5000

Triển khai từng bước n8n Ollama RAG workflow ở mức production

Thiết lập một chatbot RAG cục bộ ở mức production gồm việc cài đặt và cấu hình các thành phần bằng biến môi trường và script tự động hóa.

Tự động hóa việc nạp tài liệu và chia chunk bằng n8n

n8n có thể theo dõi một thư mục để phát hiện PDF mới, trích xuất văn bản, chia chunk và kích hoạt việc tạo embedding. Dưới đây là đoạn JSON export của một workflow n8n theo dõi thư mục và xử lý tài liệu:

{
  "nodes": [
    {
      "parameters": {
        "path": "/data/docs",
        "options": {}
      },
      "name": "Watch Folder",
      "type": "n8n-nodes-base.watch",
      "typeVersion": 1,
      "position": [250, 300]
    },
    {
      "parameters": {
        "functionCode": "const pdfText = extractTextFromPDF(items[0].binary.data);\nconst chunkSize = 500;\nlet chunks = [];\nfor (let i = 0; i < pdfText.length; i += chunkSize) {\n  chunks.push(pdfText.slice(i, i + chunkSize));\n}\nreturn chunks.map(chunk => ({ json: { chunk } }));"
      },
      "name": "Chunk Text",
      "type": "n8n-nodes-base.function",
      "typeVersion": 1,
      "position": [450, 300]
    }
  ],
  "connections": {
    "Watch Folder": {
      "main": [
        [
          {
            "node": "Chunk Text",
            "type": "main",
            "index": 0
          }
        ]
      ]
    }
  }
}

Cách làm tốt nhất khi tạo embedding và lập chỉ mục vector store

Tải các mô hình Ollama cần thiết trước khi tạo embedding:

ollama pull llama-3.2
ollama pull mxbai-embed-large

Ví dụ lệnh gọi API tạo embedding trong node HTTP Request của n8n:

{
  "method": "POST",
  "url": "http://localhost:11434/embed",
  "body": {
    "model": "mxbai-embed-large",
    "input": "{{ $json.chunk }}"
  },
  "json": true
}

Lập chỉ mục vector vào Qdrant với các cờ tinh chỉnh hiệu năng:

qdrant_client.upsert(collection_name="docs", points=embedding_points, wait=true, timeout=30)

Cấu hình Ollama để suy luận cục bộ với các mô hình Llama

Triển khai mô hình Llama 3.2 với giới hạn tài nguyên:

ollama serve --model llama-3.2 --max-memory 8GB --max-cpu 4

Ví dụ prompt template cho truy vấn RAG:

You are a helpful assistant. Use the following document excerpts to answer the question:

Document excerpts:
{{context}}

Question:
{{query}}

Answer:

Làm sao triển khai Agentic RAG với việc chọn công cụ linh hoạt trong n8n?

Workflow Agentic RAG chọn giữa truy xuất, truy vấn SQL hoặc lấy toàn bộ tài liệu tùy theo độ phức tạp của câu hỏi. Đoạn YAML minh họa logic điều kiện trong n8n:

- name: Determine Query Type
  type: n8n-nodes-base.function
  parameters:
    functionCode: |
      const query = items[0].json.query.toLowerCase();
      if (query.includes('table') || query.includes('number')) {
        return [{ json: { tool: 'sql' } }];
      } else if (query.length > 100) {
        return [{ json: { tool: 'full_doc' } }];
      } else {
        return [{ json: { tool: 'rag' } }];
      }

Tích hợp Supabase và PGVector để truy vấn dữ liệu bảng nâng cao

Supabase với extension PGVector cho phép tìm kiếm tương đồng dựa trên embedding trên dữ liệu dạng bảng. Phần thiết lập gồm:

CREATE EXTENSION IF NOT EXISTS vector;
CREATE TABLE company_data (
  id SERIAL PRIMARY KEY,
  name TEXT,
  description TEXT,
  embedding VECTOR(1536)
);

Cài extension PGVector:

psql -d yourdb -c "CREATE EXTENSION IF NOT EXISTS vector;"

Ví dụ cấu hình node SQL của n8n:

{
  "query": "SELECT * FROM company_data ORDER BY embedding <-> $1 LIMIT 5;",
  "parameters": ["{{ $json.query_embedding }}"]
}

Củng cố và tối ưu n8n Ollama RAG workflow cho môi trường production

Để sẵn sàng cho production cần quản lý dịch vụ, kiểm soát tài nguyên và bảo mật.

Chiến lược quản lý tài nguyên trên phần cứng hạn chế (ví dụ Mac Mini M4)

Dùng cgroups của Linux hoặc công cụ tương đương trên macOS để giới hạn CPU và bộ nhớ cho từng dịch vụ. Ví dụ cấu hình cgroups:

# Limit n8n to 4 CPUs and 8GB RAM
cgcreate -g cpu,memory:/n8n
cgset -r cpu.cfs_quota_us=400000 /n8n
cgset -r memory.limit_in_bytes=8G /n8n
cgexec -g cpu,memory:/n8n n8n start

Theo dõi mức dùng tài nguyên bằng script ghi lại CPU và bộ nhớ mỗi phút, cảnh báo khi vượt ngưỡng.

Bảo mật workflow AI cục bộ: cách ly mạng và quyền riêng tư dữ liệu

Áp dụng quy tắc firewall để hạn chế truy cập mạng tới các dịch vụ n8n và Ollama. Ví dụ quy tắc iptables:

iptables -A INPUT -p tcp --dport 5678 -s 192.168.1.0/24 -j ACCEPT
iptables -A INPUT -p tcp --dport 5678 -j DROP

Dùng cách ly mạng Docker cho các container và bật mã hóa credential của n8n:

export N8N_ENCRYPTION_KEY="your-256-bit-key"

Triển khai giám sát workflow và cảnh báo để phát hiện lỗi

Tích hợp các Prometheus exporter cho số liệu của n8n và Ollama; hiển thị bằng Grafana. Ví dụ cấu hình scrape của Prometheus:

scrape_configs:
  - job_name: 'n8n'
    static_configs:
      - targets: ['localhost:5678']
  - job_name: 'ollama'
    static_configs:
      - targets: ['localhost:11434']

Các quy tắc Alertmanager sẽ báo khi workflow lỗi hoặc cạn tài nguyên.

Sao lưu và khôi phục sau thảm họa cho vector store và trạng thái workflow

Tự động hóa sao lưu bằng cron job. Ví dụ script bash sao lưu Qdrant và Supabase:

#!/bin/bash
# Backup Qdrant
qdrant_backup_dir="/backups/qdrant"
mkdir -p "$qdrant_backup_dir"
qdrant_client.dump_collection --collection docs --output "$qdrant_backup_dir/docs_$(date +%F).json"

# Backup Supabase
pg_dump -U supabase_user -d supabase_db -f "/backups/supabase/supabase_$(date +%F).sql"

# Export n8n workflows
n8n export:workflow --all --output /backups/n8n/workflows_$(date +%F).json

Muốn tìm hiểu thêm về thiết kế workflow nâng cao và kỹ thuật prompt, hãy xem tài nguyên nội bộ về chiến lược tự động hóa workflow AI của Trạm Công Nghệ AI.

Trạm Công Nghệ AI
Logo
Compare items
  • Total (0)
Compare
0