Token là gì? Vì sao AI đếm chữ theo cách riêng

Khi đọc về AI, bạn sẽ gặp chữ token ở khắp nơi: giới hạn độ dài, bảng giá, hạn mức sử dụng. Đọc xong bài này, bạn sẽ biết token là gì, xem được một câu tiếng Việt bị "cắt" thành token như thế nào, và hiểu vì sao điều đó ảnh hưởng tới việc bạn dùng AI hằng ngày.

Hiểu nhanh trong một câu

Token là mẩu chữ nhỏ mà mô hình AI dùng để đọc và viết. Một token có thể là một từ, một phần của từ, một dấu câu, thường kèm cả khoảng trắng phía trước.

AI không đọc văn bản theo từng chữ như người. Trước khi xử lý, văn bản được một bộ tách token (tokenizer) cắt thành các mẩu, mỗi mẩu ứng với một con số. Khi trả lời, mô hình cũng viết ra từng token một, như bài AI tạo sinh là gì? đã giải thích.

Xem một câu bị cắt thành token

Ví dụ dưới đây được đo thật ngày 14/10/2026 bằng bộ tách token o200k_base (một bộ tách công khai của OpenAI, qua gói gpt-tokenizer 2.9.0):

Vài điều thú vị:

• Từ quen thuộc như " nay", " trời", " đẹp" là một token trọn vẹn.
• " phê" bị tách thành " ph" + "ê", " muối" thành " mu" + "ối". Từ ít gặp trong dữ liệu sẽ bị cắt nhỏ hơn.
• Dấu phẩy, dấu chấm cũng là token riêng.

Thử với một đoạn dài hơn: cùng một nội dung khoảng 3 câu, bản tiếng Việt tốn 87 token, bản tiếng Anh 60 token. Nghĩa là với bộ tách này, cùng một ý viết bằng tiếng Việt tốn nhiều token hơn khoảng 1,45 lần.

Quy tắc ước lượng (và vì sao không dùng được cho tiếng Việt)

Trang trợ giúp của OpenAI đưa ra quy tắc gần đúng cho tiếng Anh: 1 token khoảng 4 ký tự, hay khoảng ¾ từ, tức 100 token chừng 75 từ. Cũng trang đó lưu ý ngôn ngữ khác có tỉ lệ khác.

Đoạn tiếng Việt ở trên trung bình chỉ khoảng 3,4 ký tự mỗi token, tức mỗi token chứa ít chữ hơn. Muốn biết chính xác, cách chắc nhất là đếm thật thay vì ước lượng.

Vì sao token quan trọng với bạn?

1. Giới hạn độ dài

Mỗi mô hình chỉ "nhìn" được một số token nhất định trong một lần, gọi là cửa sổ ngữ cảnh. Con số này tính cả câu hỏi, tài liệu bạn dán vào, lịch sử trò chuyện và câu trả lời. Văn bản càng nhiều token thì càng nhanh chạm giới hạn. Xem thêm bài Cửa sổ ngữ cảnh là gì?.

2. Chi phí khi dùng qua API

Khi dùng AI qua API (cách các phần mềm gọi AI tự động), giá thường tính theo token, và token đầu vào (bạn gửi) với token đầu ra (AI viết) có giá khác nhau. OpenAI cũng nhắc: giá mỗi token thấp hơn chưa chắc tổng chi phí thấp hơn, vì mỗi mô hình tách token khác nhau và viết dài ngắn khác nhau.

3. Hạn mức của gói trò chuyện

Ở ứng dụng trò chuyện như ChatGPT, Claude, Gemini, hạn mức thường không tính theo số tin nhắn cố định mà phụ thuộc độ dài cuộc trò chuyện, tệp đính kèm và tính năng bạn dùng (xem bài Cách đọc bảng giá công cụ AI). Nói đơn giản: càng nhiều token phải xử lý, càng nhanh hết lượt.

4. Token "ẩn" khi AI suy nghĩ

Các mô hình suy luận còn tạo ra token suy nghĩ nội bộ trước khi trả lời. Theo OpenAI, những token này không hiện trong câu trả lời nhưng vẫn được tính như token đầu ra. Xem bài Mô hình suy luận là gì?.

Tự đếm token thế nào?

• Với mô hình của OpenAI: dùng công cụ Tokenizer, dán đoạn văn vào là thấy số token và cách cắt.
• Với lập trình viên: thư viện tiktoken của OpenAI, hoặc API đếm token mà các hãng như Anthropic cung cấp.
• Không có công cụ thì ước lượng thận trọng: với tiếng Việt, đừng dùng quy tắc "4 ký tự một token" của tiếng Anh.

Mẹo dùng ít token hơn

1. Chỉ gửi phần cần thiết. Cần hỏi về một mục trong hợp đồng thì dán mục đó, không dán cả 50 trang.
2. Nói rõ độ dài mong muốn. "Trả lời trong 5 ý" thường ngắn hơn để AI tự quyết.
3. Mở cuộc trò chuyện mới khi đổi chủ đề. Lịch sử cũ vẫn chiếm chỗ trong cửa sổ ngữ cảnh.
4. Bật chế độ suy nghĩ khi thật sự cần, vì nó tốn thêm token.

Nguồn tham khảo

Kiểm tra ngày 14/10/2026.

• Understanding and counting tokens: OpenAI, định nghĩa token, quy tắc ước lượng cho tiếng Anh, token đầu vào/đầu ra/suy luận và giá.
• Tokenizer: công cụ đếm token của OpenAI.
• gpt-tokenizer: thư viện dùng để đo ví dụ trong bài (bộ tách o200k_base).
• Context windows: Anthropic, những gì được tính vào cửa sổ ngữ cảnh.