Bộ nhớ của AI Agent: ngắn hạn, dài hạn và cái giá phải trả

Khách hàng gọi lại lần thứ hai để hỏi tiếp về đơn hàng đã trao đổi hôm qua, nhưng trợ lý AI lại hỏi ngược "anh/chị vui lòng cho biết vấn đề đang gặp phải là gì" như thể chưa từng nói chuyện bao giờ - đây là trải nghiệm gây khó chịu bậc nhất mà nguyên nhân gần như luôn nằm ở cách agent được thiết kế bộ nhớ. Bài viết này giúp bạn phân biệt rõ hai loại bộ nhớ mà một AI Agent có thể có, cùng cái giá thật sự phải trả (cả về chi phí lẫn rủi ro riêng tư) khi chọn trang bị bộ nhớ dài hạn cho agent của mình.

Vì sao "agent quên" là vấn đề thật, không phải chuyện nhỏ

Về bản chất, một model AI đứng sau agent không "nhớ" gì cả giữa hai lần gọi khác nhau - mỗi lần được gọi, nó chỉ nhìn thấy đúng những gì được gửi kèm trong yêu cầu đó. Nếu không có cơ chế nào chủ động lưu lại và gửi kèm lại ngữ cảnh cũ, agent sẽ luôn bắt đầu lại từ con số không ở mỗi phiên trò chuyện mới, dù người dùng cảm thấy như đang nói chuyện với "cùng một người" suốt từ đầu.

Khoảng cách giữa cảm giác "agent nhớ tôi" và thực tế kỹ thuật phía sau chính là chỗ cần thiết kế cẩn thận, vì thêm bộ nhớ sai chỗ vừa tốn thêm chi phí vừa tạo ra rủi ro không cần thiết, còn thiếu bộ nhớ ở đúng chỗ cần lại khiến trải nghiệm khách hàng tệ đi rõ rệt. Nếu bạn chưa quen với các khối cơ bản tạo nên một AI Agent, bài AI Agent là gì: từ chatbot đến quy trình tự vận hành là nơi nên đọc trước khi vào sâu phần bộ nhớ.

Trước khi đi vào từng loại bộ nhớ cụ thể, có một câu hỏi đáng để tự trả lời trước: use case của bạn có thật sự cần agent "nhớ" giữa các phiên hay không, hay chỉ cần agent xử lý tốt trong phạm vi một cuộc trò chuyện là đủ? Rất nhiều đội kỹ thuật vội vàng trang bị bộ nhớ dài hạn cho mọi agent ngay từ đầu, trong khi phần lớn tình huống thực tế chỉ cần bộ nhớ trong phiên là đã giải quyết được vấn đề của khách hàng.

Bộ nhớ trong phiên là gì

Bộ nhớ trong phiên (short-term memory) là toàn bộ đoạn hội thoại đang diễn ra, được gửi kèm lại nguyên văn hoặc tóm tắt mỗi lần agent cần trả lời tiếp - đây là lý do agent có thể "nhớ" bạn vừa hỏi gì ở câu trước đó, nhưng chỉ trong cùng một phiên làm việc. Giới hạn lớn nhất của loại bộ nhớ này là kích thước cửa sổ ngữ cảnh (context window) của model đang dùng: hội thoại càng dài, agent càng phải cắt bớt hoặc tóm tắt phần đầu để không vượt quá giới hạn, và đây chính là lúc agent có thể "quên" một chi tiết đã nói ở đầu cuộc trò chuyện dài.

Với phần lớn tác vụ đơn giản, có thể hoàn thành trong một phiên (đặt lịch hẹn, trả lời một câu hỏi cụ thể, xử lý một yêu cầu không cần tra cứu lại lịch sử), bộ nhớ trong phiên là đủ dùng và không cần đầu tư thêm hạ tầng lưu trữ phức tạp hơn.

Bộ nhớ dài hạn là gì

Bộ nhớ dài hạn (long-term memory) là cơ chế lưu lại thông tin quan trọng từ các phiên trước vào một nơi lưu trữ riêng (thường là cơ sở dữ liệu vector để tìm kiếm theo ngữ nghĩa), rồi truy xuất lại đúng phần liên quan khi khách hàng quay lại ở một phiên mới. Nhờ vậy, agent có thể "nhớ" rằng khách hàng này đã từng phản ánh vấn đề gì tuần trước, dù cuộc trò chuyện hiện tại là một phiên hoàn toàn mới về mặt kỹ thuật.

Cơ chế truy xuất thông tin liên quan này thường dựa trên embedding model - công nghệ chuyển văn bản thành vector để so khớp theo ý nghĩa thay vì so khớp từ khoá chính xác, được giải thích kỹ hơn ở bài Embedding model: nền tảng của tìm kiếm ngữ nghĩa trong doanh nghiệp nếu bạn muốn hiểu sâu hơn phần kỹ thuật đứng sau bộ nhớ dài hạn.

Cái giá phải trả về chi phí lưu trữ

Bộ nhớ dài hạn không miễn phí, và chi phí của nó thường đến từ ba nguồn: phí lưu trữ dữ liệu vector (thường tính theo dung lượng hoặc số bản ghi), phí tính toán embedding mỗi khi có thông tin mới cần lưu, và phí truy vấn mỗi khi agent cần tìm lại thông tin liên quan trước khi trả lời. Với hệ thống có hàng nghìn khách hàng, các khoản phí nhỏ này cộng dồn lại có thể trở thành một khoản chi đáng kể trong tổng ngân sách vận hành AI.

Bên cạnh chi phí trực tiếp, bộ nhớ dài hạn còn phát sinh thêm độ trễ, vì agent cần thêm một bước tìm kiếm thông tin liên quan trước khi có thể trả lời, thay vì trả lời ngay như khi chỉ dùng bộ nhớ trong phiên. Đây là lý do vì sao không phải cứ thêm bộ nhớ dài hạn là trải nghiệm sẽ tốt hơn - nếu use case không thật sự cần nhớ lại thông tin cũ, việc thêm bộ nhớ dài hạn chỉ làm tăng chi phí và độ trễ mà không mang lại lợi ích tương xứng.

Rủi ro riêng tư khi agent "nhớ" khách hàng

Mỗi thông tin agent lưu vào bộ nhớ dài hạn đều là một khoản dữ liệu cá nhân đang được giữ lại, và điều này kéo theo nghĩa vụ pháp lý tương tự như mọi hình thức lưu trữ dữ liệu khách hàng khác - đặc biệt quan trọng tại Việt Nam từ khi Luật Bảo vệ dữ liệu cá nhân chính thức có hiệu lực từ đầu năm 2026. Ba việc cần có sẵn trước khi bật bộ nhớ dài hạn cho agent: cơ chế xoá dữ liệu theo yêu cầu của khách hàng, thời hạn lưu trữ rõ ràng thay vì lưu vô thời hạn, và giới hạn ai trong nội bộ được xem lại nội dung đã lưu.

Một điểm dễ bị bỏ sót là bộ nhớ dài hạn của agent thường nằm ở một hệ thống lưu trữ riêng, tách biệt với cơ sở dữ liệu khách hàng chính của công ty, nên khi khách hàng yêu cầu xoá dữ liệu, đội kỹ thuật cần đảm bảo yêu cầu đó cũng được áp dụng cho cả kho bộ nhớ của agent, không chỉ xoá ở hệ thống chính. Việc thiết kế kiến trúc từ đầu để đáp ứng được yêu cầu này dễ hơn nhiều so với việc phải chắp vá sau khi hệ thống đã chạy - phần kiến trúc tổng thể của một AI Agent, bao gồm cả khối bộ nhớ, đã được bàn ở bài Kiến trúc một AI Agent: các khối bắt buộc phải có.

Chọn mức bộ nhớ phù hợp theo nhu cầu thật

Thay vì mặc định chọn mức bộ nhớ "đầy đủ nhất có thể", cách tiếp cận hợp lý hơn là đối chiếu đúng nhu cầu use case với bảng gợi ý dưới đây.

Nguyên tắc chung là bắt đầu ở mức thấp nhất đáp ứng đủ nhu cầu, rồi nâng dần lên khi có bằng chứng thật cho thấy khách hàng cần agent nhớ nhiều hơn - việc hạ mức bộ nhớ xuống sau khi đã triển khai đầy đủ luôn khó hơn nhiều so với việc nâng dần lên từ mức tối giản ban đầu.