Prompt template Ollama: 15 workflow copy-paste để tự động hóa LLM chạy cục bộ năm 2026

https://tramcongngheai.com/

🇬🇧 Read in English

Ollama trong hệ sinh thái LLM cục bộ hoạt động ra sao?

Prompt template Ollama giúp tự động hóa LLM cục bộ hiệu quả trong năm 2026, cho phép lập trình viên chạy các mô hình như LLaVA, Llama 3.2 Vision và Qwen3-VL ngay trên máy của mình. Ollama đóng vai trò bộ điều phối LLM cục bộ, cung cấp giao diện để tải, chạy và tùy chỉnh mô hình, kèm các tối ưu lượng tử hóa để tiết kiệm tài nguyên. Kiến trúc này hỗ trợ cả phiên chat tương tác lẫn workflow qua API, phù hợp với các ứng dụng AI ngoại tuyến, ưu tiên quyền riêng tư.

Ollama enables local deployment of advanced LLMs with customizable prompt templates using SYSTEM, PARAMETER, TEMPLATE, and STOP directives, facilitating controlled generation and automation. It supports OpenAI-compatible APIs on port 11434, integrating into developer workflows with minimal resource overhead.

Ollama tích hợp với các mô hình như LLaVA cho tác vụ ngôn ngữ-thị giác, Llama 3.2 Vision cho khả năng hiểu đa phương thức, và Qwen3-VL cho năng lực ngôn ngữ và thị giác. Quy trình là tải mô hình bằng lệnh YAML có chỉ định tag lượng tử hóa để giảm lượng VRAM sử dụng, rồi khởi chạy máy chủ Ollama mở một endpoint API tương thích OpenAI ngay trên máy.

Dưới đây là đoạn YAML mẫu để tải một mô hình LLaVA đã lượng tử hóa:

models:
  - name: "llava-7b-quantized"
    source: "ollama/llava"
    quantization: "q4_0"
    version: "3.2"

Để khởi động máy chủ Ollama và kiểm tra API, dùng các lệnh bash sau:

# Start Ollama server
ollama serve &

# Verify OpenAI-compatible API on port 11434
curl http://localhost:11434/v1/models

Hỗ trợ đa nền tảng và tối ưu MLX cho Apple Silicon

Ollama hỗ trợ Windows, macOS và Linux, với tối ưu cho chip Apple Silicon thông qua tăng tốc MLX. Cách này dùng Metal Performance Shaders của Apple để tăng tốc các phép tính tensor, giảm độ trễ khi suy luận và giảm điện năng tiêu thụ.

Để kiểm tra tăng tốc MLX trên macOS, chạy:

uname -a
sysctl -a | grep mlx

Kết quả mẫu xác nhận có hỗ trợ Apple Silicon và MLX:

Darwin MacBook-Pro.local 22.4.0 Darwin Kernel Version 22.4.0: root:xnu-8792.81.3~1/RELEASE_ARM64_T8101 arm64
mlx0: Apple MLX acceleration enabled

Sự tương thích này bảo đảm các prompt template và workflow Ollama chạy ổn định trên nhiều phần cứng, còn MLX giúp tăng hiệu năng trên chip Apple M1/M2.

Ollama kết nối với công cụ lập trình và IDE thế nào?

API tương thích OpenAI và giao diện CLI của Ollama tích hợp được với các IDE như VSCode và JetBrains. Lập trình viên có thể cấu hình IDE gửi prompt thẳng tới máy chủ Ollama cục bộ để hỗ trợ viết code, tạo tài liệu hoặc phân tích dự án mà không cần rời trình soạn thảo.

Ví dụ đoạn cấu hình VSCode để trỏ tới endpoint API của Ollama:

{
  "openai.apiBaseUrl": "http://localhost:11434/v1",
  "openai.apiKey": "",
  "openai.model": "llama-3.2-vision"
}

Script bash để đưa prompt vào CLI của Ollama qua pipe:

echo "Describe the project structure in the current folder" | ollama chat llama-3.2-vision

Những giới hạn thực tế và lỗi thường gặp khi chạy Ollama cục bộ là gì?

Các bản triển khai Ollama cục bộ gặp giới hạn phần cứng như cạn VRAM và giới hạn độ dài prompt. Mô hình lớn hoặc đầu vào hình ảnh độ phân giải cao có thể gây lỗi hết bộ nhớ (OOM), khiến OOM-killer của Linux dừng tiến trình. Theo dõi log hệ thống như dmesg giúp chẩn đoán các sự kiện áp lực bộ nhớ.

Ví dụ lỗi khi độ dài prompt vượt quá 2048 token:

Error: Prompt length exceeds model context window of 2048 tokens. Truncation applied.

Xử lý giới hạn kích thước mô hình và VRAM thế nào?

Ollama hỗ trợ tải các mô hình đã lượng tử hóa để giảm dung lượng bộ nhớ mà không mất nhiều độ chính xác. Dùng các lệnh bash để theo dõi mức dùng GPU và VRAM trong lúc suy luận:

nvidia-smi --query-gpu=memory.used,memory.total --format=csv

Ví dụ cấu hình YAML chọn một mô hình đã lượng tử hóa:

models:
  - name: "qwen3-vl-7b-quantized"
    source: "ollama/qwen3-vl"
    quantization: "q4_0"

Làm sao tránh prompt bị cắt và vượt giới hạn cửa sổ ngữ cảnh?

Các mô hình Ollama có giới hạn cửa sổ ngữ cảnh 2048 token. Prompt dài hơn mức này sẽ bị cắt, dẫn đến câu trả lời không đầy đủ. Hãy xem log để biết điểm bị cắt và chỉnh prompt template cho phù hợp.

Ví dụ prompt template minh họa hiện tượng bị cắt:

SYSTEM "You are a helpful assistant."
PARAMETER temperature 0.2
TEMPLATE "{{ .System }}\nUser: {{ .Prompt }}"
STOP ""

Log có thể hiển thị:

[INFO] Prompt truncated at 2048 tokens to fit model context window.

Hãy thiết kế prompt ngắn gọn và chia thành từng module để không chạm giới hạn.

Cần thành thạo dòng lệnh đến mức nào và những lỗi hay gặp?

Dùng Ollama đòi hỏi quen với các thao tác CLI. Các lỗi thường gặp gồm sai tên mô hình, thiếu tham số hoặc dùng pipe không đúng. Ví dụ một phiên CLI minh họa cách sửa lỗi:

$ ollama chat llama-3.2-vision
Error: Model 'llama-3.2-vision' not found.
$ ollama pull llama-3.2-vision
Pulling model...
$ echo "Hello" | ollama chat llama-3.2-vision
Response: Hello! How can I assist?

Shell script có thể tự động hóa việc triển khai prompt template để giảm lỗi thủ công:

#!/bin/bash
MODEL="llama-3.2-vision"
PROMPT_FILE="prompt_template.yaml"

ollama pull $MODEL
ollama chat $MODEL < $PROMPT_FILE

Thiết kế và tùy chỉnh prompt template Ollama để tự động hóa ổn định

Prompt template Ollama dùng YAML với các chỉ thị SYSTEM, PARAMETER, TEMPLATE và STOP để điều khiển quá trình sinh văn bản. SYSTEM định nghĩa vai trò của trợ lý, PARAMETER điều chỉnh độ ngẫu nhiên (temperature), TEMPLATE ghép prompt động bằng các placeholder, còn token STOP đánh dấu ranh giới đầu ra.

Ví dụ prompt template YAML:

SYSTEM: |
  You are a helpful assistant.
PARAMETER:
  temperature: 0.2
TEMPLATE: |
  {{ .System }}
  User: {{ .Prompt }}
STOP: ""

Script bash để triển khai và thử template này:

ollama chat llama-3.2-vision --template prompt_template.yaml --prompt "Explain Ollama prompt templates"

Payload JSON cho các lệnh gọi API có cấu trúc tương tự, để tích hợp với công cụ bên ngoài.

Dùng chỉ thị SYSTEM và PARAMETER để kiểm soát việc sinh văn bản

SYSTEM đặt bối cảnh hành vi cho trợ lý, định hướng phong cách và nội dung câu trả lời. Các chỉ thị PARAMETER như temperature điều khiển độ ngẫu nhiên: giá trị thấp cho kết quả ổn định hơn, giá trị cao tăng tính sáng tạo.

Ví dụ khối SYSTEM và PARAMETER:

SYSTEM: |
  You are a precise technical assistant.
PARAMETER:
  temperature: 0.1

Log cho thấy độ biến động giảm, phù hợp để sinh code hoặc tài liệu kỹ thuật.

Viết khối TEMPLATE để ghép prompt động

Khối TEMPLATE dùng cú pháp template kiểu Go để chèn biến động, cho phép tái sử dụng cấu trúc prompt với nhiều đầu vào khác nhau. Các placeholder như {{ .System }} và {{ .Prompt }} giúp ghép prompt linh hoạt.

Ví dụ đoạn template:

{{ .System }}
User: {{ .Prompt }}
Assistant:

Ví dụ bash chèn biến:

PROMPT="Describe the folder contents"
ollama chat llama-3.2-vision --template prompt_template.yaml --prompt "$PROMPT"

Dùng token STOP để kiểm soát ranh giới đầu ra

Token STOP xác định chỗ mô hình dừng sinh văn bản, tránh đầu ra chạy lan man hoặc nối tiếp những nội dung không liên quan. Các token phổ biến gồm "" hoặc dấu phân cách tự chọn.

Ví dụ dùng STOP trong prompt template:

STOP: ""

Log đầu ra cho thấy việc dừng được kiểm soát, giúp workflow tự động đáng tin cậy hơn.

Hướng dẫn từng bước: 15 prompt template Ollama copy-paste cho các trường hợp dùng LLM cục bộ

Ví dụ workflow: kiểm tra thư mục và phân tích dự án

Workflow này kiểm tra một thư mục mà không sửa file nào, mô tả các file hiện có, nhận diện loại dự án và gợi ý một lệnh test an toàn tiếp theo. YAML của prompt template:

SYSTEM: |
  You are a project analysis assistant.
PARAMETER:
  temperature: 0.2
TEMPLATE: |
  {{ .System }}
  Analyze the following folder contents:
  {{ .Prompt }}
  Identify the project type and suggest a safe next test command.
STOP: ""

Lệnh bash để gọi:

FOLDER_CONTENTS=$(ls -1)
echo "$FOLDER_CONTENTS" | ollama chat llama-3.2-vision --template folder_analysis.yaml

Log đầu ra mẫu:

Files detected: main.py, requirements.txt, README.md
Project type: Python application
Suggested test command: pytest --maxfail=1 --disable-warnings

Ví dụ workflow: tạo prompt đa phương thức với mô hình thị giác và giọng nói

Kết hợp Ollama với các node IF_AI_tools của ComfyUI cho phép tạo prompt đa phương thức từ đầu vào hình ảnh và giọng nói. Workflow chuyển dữ liệu ảnh hoặc âm thanh tới các mô hình Ollama như LLaVA hoặc Qwen3-VL, rồi xử lý phản hồi cho các tác vụ phía sau.

Đoạn tích hợp trong node ComfyUI:

{
  "node": "IF_AI_tools",
  "model": "llava-7b-quantized",
  "input": {
    "image": "path/to/image.png",
    "prompt": "Describe the image content and suggest tags."
  }
}

Lệnh bash để chạy prompt đa phương thức:

ollama chat llava-7b-quantized --prompt "Describe the attached image" --image path/to/image.png

Phản hồi JSON mẫu:

{
  "description": "A scenic mountain landscape with a river flowing through a forest.",
  "tags": ["nature", "mountains", "river", "forest"]
}

Ví dụ workflow: chạy API cục bộ và tích hợp IDE để tự động hóa cho lập trình viên

Chạy Ollama như một dịch vụ API cục bộ với systemd giúp nó luôn sẵn sàng và tích hợp được với công cụ lập trình. Ví dụ file unit của systemd:

[Unit]
Description=Ollama Local LLM API
After=network.target

[Service]
ExecStart=/usr/local/bin/ollama serve
Restart=always
User=ollama
LimitNOFILE=4096

[Install]
WantedBy=multi-user.target

Kiểm tra endpoint API bằng curl:

curl -X POST http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"llama-3.2-vision","messages":[{"role":"user","content":"Explain Ollama prompt templates"}]}'

Cấu hình IDE để gọi API cục bộ này, hỗ trợ viết code và tự động hóa.

Làm sao củng cố Ollama để đạt độ tin cậy và riêng tư ở mức production?

Các bản triển khai Ollama ở môi trường production cần giới hạn tài nguyên, kiểm tra sức khỏe tự động và kiểm soát mạng chặt chẽ để bảo đảm độ tin cậy và quyền riêng tư dữ liệu.

Bảo đảm quyền riêng tư dữ liệu và hoạt động ngoại tuyến

Theo mặc định, Ollama hoạt động hoàn toàn ngoại tuyến và không gọi API bên ngoài. Có thể cấu hình mạng để chặn lưu lượng đi ra trong lúc suy luận nhằm bảo đảm quyền riêng tư. Log kiểm toán xác nhận không có kết nối ra ngoài nào khi dùng mô hình.

Tinh chỉnh hiệu năng và quản lý tài nguyên

Các script bash có thể theo dõi liên tục mức dùng CPU và GPU, cho phép tinh chỉnh động các tham số prompt như temperature và max token để cân bằng giữa độ trễ và chất lượng đầu ra.

while true; do
  nvidia-smi --query-gpu=utilization.gpu,memory.used --format=csv
  sleep 10
 done

Giám sát tự động và cách phục hồi khi lỗi

Bộ hẹn giờ watchdog của systemd và các script cảnh báo phân tích log của Ollama để tìm lỗi hoặc treo máy, từ đó tự khởi động lại hoặc gửi thông báo. Cách này giữ cho các workflow quan trọng luôn sẵn sàng.

Để tìm hiểu thêm về triển khai LLM cục bộ và prompt engineering, hãy xem tài liệu chính thức của Ollama và các ví dụ thực tế trong hướng dẫn Local LLM của PromptQuorum. Các tài nguyên nội bộ về kỹ thuật prompt AI tại TramCongNgheAI cung cấp thêm góc nhìn về thiết kế prompt template và chiến lược tự động hóa.

Trạm Công Nghệ AI
Logo
Compare items
  • Total (0)
Compare
0