PC chạy AI local: chọn VRAM, RAM và card đúng
Sắp xếp
Các mô hình AI mở giờ chạy được ngay trên máy cá nhân, nên nhiều người muốn sắm hẳn một bộ máy thay vì trả phí theo lượt gọi. Nhưng tới lúc mua thì rối: laptop đang dùng có kham nổi không, máy chơi game sẵn có cần đổi không, và bỏ ra tới mức nào là vừa đủ. Cùng Sintech tìm hiểu nhóm PC AI Workstation để biết máy chạy AI thật ra cần gì.
PC AI Workstation là gì
PC AI Workstation là máy tính để bàn được lắp theo hướng chạy các tác vụ trí tuệ nhân tạo ngay trên máy, thay vì gọi lên dịch vụ đám mây. Điểm khác biệt lớn nhất nằm ở card đồ họa: máy loại này ưu tiên dung lượng bộ nhớ trên card và khả năng chạy tải nặng liên tục nhiều giờ.
Nói dễ hiểu, máy văn phòng lo soạn thảo và bảng tính, máy chơi game lo khung hình trong vài giờ giải trí, còn máy chạy AI phải giữ nguyên cả mô hình trong bộ nhớ card rồi xử lý liên tục cho tới khi xong việc.
Ba nhóm việc thường gặp trên nhóm máy này:
- Chạy mô hình ngôn ngữ tại chỗ để hỏi đáp, tóm tắt tài liệu, viết và sửa mã nguồn
- Tạo ảnh và xử lý ảnh bằng Stable Diffusion hoặc các mô hình khuếch tán khác
- Xử lý dữ liệu, dựng hình, cắt dựng video xen kẽ trong cùng một ngày làm việc
Máy tính chạy AI local cần cấu hình gì
Mức khởi điểm dùng được là card rời NVIDIA 8GB VRAM, RAM 16GB và ổ SSD NVMe. Cấu hình này chạy được mô hình ngôn ngữ 7B và tạo ảnh Stable Diffusion. Muốn thoải mái hơn với mô hình 14B thì cần 12GB VRAM và RAM 32GB.
Điểm nhiều người hiểu nhầm là CPU quyết định tất cả. Thực tế card đồ họa mới là thứ giữ toàn bộ mô hình khi chạy, còn CPU và RAM lo phần nạp dữ liệu và các tác vụ chạy kèm. Vai trò từng phần như sau:
VRAM quyết định bạn chạy được mô hình nào
Dung lượng VRAM là trần cứng. Mô hình lớn hơn trần đó thì máy phải đẩy bớt sang RAM hệ thống và tốc độ tụt thấy rõ.
Con số 7B hay 14B là số tham số của mô hình, hiểu nôm na là độ lớn bộ não. Mô hình càng lớn thì trả lời càng chắc tay nhưng càng ngốn bộ nhớ.
Có một cách kéo mô hình lớn về vừa máy nhỏ, gọi là nén số liệu. Mô hình gốc lưu ở độ chính xác cao, bản nén hạ xuống mức thấp hơn nên chỉ còn khoảng một phần tư dung lượng, đổi lại chất lượng giảm nhẹ. Hầu hết mô hình chia sẻ công khai đều có sẵn bản nén, và đó là bản người dùng cá nhân hay chạy.
RAM hệ thống nên gấp đôi VRAM trở lên. Ổ NVMe giúp lần nạp mô hình đầu tiên nhanh hơn, vì mỗi mô hình nặng vài GB đến vài chục GB.
Vì sao RTX 3060 12GB chạy AI nhanh hơn RTX 4060 8GB
Đây là chỗ ngược với cảm giác thông thường, vì RTX 4060 ra sau và mạnh hơn khi chơi game. Nhưng với AI chạy tại chỗ, hai yếu tố quyết định là dung lượng VRAM và băng thông bộ nhớ.
Số token mỗi giây là tốc độ chữ hiện ra khi mô hình trả lời. Khoảng 20 token mỗi giây là đọc theo vừa kịp, nên chênh lệch giữa hai card thấy được ngay khi dùng chứ không nằm trên giấy.
Lý do nằm ở cách mô hình làm việc: mỗi chữ sinh ra là một lần đọc lại toàn bộ trọng số trong bộ nhớ card. Bộ nhớ chuyển dữ liệu nhanh hơn thì chữ hiện ra nhanh hơn, kể cả khi nhân xử lý của card đời cũ yếu hơn.
Nói ngắn gọn, nếu mục tiêu là chạy AI chứ không phải chơi game, máy dùng RTX 3060 12GB thường đáng cân nhắc hơn máy dùng card đời mới hơn nhưng chỉ có 8GB. Xem thêm các mẫu tại card màn hình.
Chạy tại chỗ hay dùng dịch vụ đám mây
Không phải ai cũng cần sắm máy. Hai hướng này khác nhau ở chi phí, quyền riêng tư và độ chủ động.
Cách nhiều người chọn là dùng cả hai: việc thường ngày và tài liệu riêng tư thì chạy tại chỗ, việc cần mô hình thật lớn thì gọi lên dịch vụ.
Chọn cấu hình theo phân khúc
Nếu mỗi ngày chỉ hỏi đáp vài chục lượt và thỉnh thoảng tạo ảnh, mức đầu tiên đã đủ dùng và còn dư chỗ nâng cấp. Cần mở nhiều cửa sổ làm việc cùng lúc, vừa chạy mô hình vừa mở trình duyệt nặng, thì mức 32GB RAM đáng tiền hơn là cố lên card mạnh mà bỏ RAM lại phía sau.
Máy trong nhóm này đều lắp và chạy thử trước khi giao. Nếu muốn tự chọn từng linh kiện, bạn có thể dùng công cụ xây dựng cấu hình.
Máy yếu có chạy được AI local không
Có, nhưng phải hạ kỳ vọng đúng mức. Máy dùng card tích hợp hoặc card 4GB VRAM vẫn chạy được mô hình 3B và các bản nén sâu, đủ để thử giao diện và học cách vận hành. Tốc độ sẽ chậm và câu trả lời ngắn.
Máy không có card rời vẫn chạy được bằng chính CPU, nhưng tốc độ thường chỉ vài token mỗi giây, tức là chờ từng chữ hiện ra. Cách này hợp để thử cho biết, không hợp để làm việc.
Cách tiết kiệm là nâng dần theo thứ tự: đủ RAM trước, rồi tới ổ NVMe, sau cùng mới đổi card. Tham khảo RAM máy tính và ổ cứng SSD M.2 nếu bạn muốn tận dụng máy đang có.
Mini PC và laptop chạy AI thì sao
Mini PC gọn và êm, hợp khi bàn làm việc chật, nhưng phần lớn dùng card tích hợp nên chỉ chạy được mô hình nhỏ. Laptop có card rời chạy được nhiều hơn, đổi lại nóng và tụt xung khi chạy dài.
Một điểm ít người để ý là card trên laptop thường có VRAM thấp hơn card cùng tên trên máy bàn, nên đừng chỉ nhìn tên card mà kết luận. Kiểm tra đúng dung lượng VRAM trước khi quyết.
Nếu công việc cần chạy mô hình liên tục nhiều giờ, máy bàn vẫn ổn định hơn nhờ chỗ thoáng và tản nhiệt lớn. Cần màn hình đi kèm thì xem màn hình máy tính.
Máy trạm khác gì máy gaming
Máy gaming tối ưu cho khung hình cao trong vài giờ chơi. Máy trạm tối ưu cho việc chạy đúng và chạy dài, nên chú trọng nguồn điện ổn định, tản nhiệt bền và bộ nhớ dung lượng lớn.
Với AI chạy tại chỗ, ranh giới này mờ đi vì cả hai đều dựa vào card rời. Khác biệt nằm ở thời lượng: chạy vài tiếng mỗi ngày thì máy gaming đủ, chạy suốt ngày thì nên chọn hướng máy trạm. Xem thêm nhóm PC đồ họa và PC dựng hình 3D nếu công việc pha trộn nhiều mảng.
Bốn lỗi hay gặp khi mua máy chạy AI
Chọn card theo tên đời mới
Card đời mới hơn chưa chắc chạy AI nhanh hơn nếu VRAM thấp hơn. Nhìn dung lượng VRAM và băng thông trước, tên đời sau.
Dồn hết tiền vào card
Card mạnh mà RAM 8GB thì lúc nạp mô hình vẫn nghẽn. Cân đối để RAM ít nhất gấp đôi VRAM.
Quên chỗ trống trong máy
Card AI thường dài và dày, vỏ case chật sẽ không lắp vừa hoặc chặn đường gió. Đo trước khi chốt.
Bỏ qua nguồn điện
Nguồn thiếu công suất làm máy sập giữa chừng khi chạy tải cao kéo dài, mất luôn phiên làm việc đang dở.
Cần kiểm tra gì trước khi chốt máy
VRAM
Đối chiếu dung lượng VRAM với mô hình bạn định chạy, đừng chỉ nhìn tên card.
Nguồn điện
Card rời đời mới cần nguồn đủ công suất và đúng đầu cắm. Xem nhóm nguồn máy tính.
Khe nâng cấp
Còn khe RAM trống và khe M.2 trống thì sau này nâng đỡ tốn.
Luồng gió
Chạy AI nhiều giờ làm máy nóng lâu hơn chơi game, nên vỏ case thoáng và quạt đủ là cần thiết.
Vì sao chọn PC AI Workstation tại Sintech
Máy được lắp, cài đặt và chạy thử trước khi giao, kỹ thuật kiểm tra nhiệt độ và độ ổn định thay vì ráp xong là đóng thùng. Bạn cũng được tư vấn chọn cấu hình theo đúng mô hình định chạy, tránh mua thừa phần không dùng tới.
Sintech hiện công bố chính sách bán hàng, kiểm hàng, vận chuyển và trả góp 0% qua thẻ tín dụng đối với 1 số sản phẩm.
Câu hỏi thường gặp
Chạy AI tại chỗ có cần internet không
Chỉ cần internet lúc tải mô hình về. Sau đó máy chạy hoàn toàn ngoại tuyến, dữ liệu nằm lại trên máy bạn.
Nên cài phần mềm gì để bắt đầu
Ollama và LM Studio là hai công cụ dễ bắt đầu nhất cho mô hình ngôn ngữ, còn ComfyUI dùng cho tạo ảnh. Cả ba đều miễn phí và cài trong ít phút.
RAM 16GB có đủ không
Đủ để chạy mô hình 7B. Nếu định mở nhiều tác vụ cùng lúc hoặc chạy mô hình 14B, nên chọn mức 32GB.
Có cần card chuyên nghiệp không
Với nhu cầu cá nhân và nhóm nhỏ, card GeForce đủ dùng và hợp túi tiền hơn. Card chuyên nghiệp hợp lý khi cần bộ nhớ rất lớn hoặc chạy liên tục theo ca.
Card AMD hoặc máy Mac chạy được không
Được, nhưng phần mềm và hướng dẫn cho card NVIDIA vẫn nhiều và dễ tìm hơn. Máy Mac dùng bộ nhớ chung nên chạy được mô hình khá lớn, đổi lại khó nâng cấp về sau.
Chạy AI có hại máy không
Máy chạy tải cao lâu hơn bình thường, nên tản nhiệt và nguồn tốt là quan trọng. Vệ sinh định kỳ và giữ luồng gió thông thoáng là đủ để máy bền.
Bao lâu thì cần nâng cấp
Nếu mô hình bạn dùng vẫn nằm gọn trong VRAM thì máy còn dùng tốt nhiều năm. Lúc cần đổi thường là khi muốn chạy mô hình lớn hơn hẳn, và khi đó chỉ cần thay card.
Tư vấn cấu hình bởi team kỹ thuật Sintech — Hotline 0911 713 000 · 457 Trần Xuân Soạn, Phường Tân Hưng, Thành phố Hồ Chí Minh.
