Tách từ tiếng Việt online

Tách văn bản tiếng Việt thành từ (học sinh, thành phố, trí tuệ nhân tạo) thay vì từng âm tiết, nhận diện tên riêng, địa danh và trích từ khoá.

Kết quả

Bấm “Chạy” để xem kết quả.

Tiếng Việt viết cách mỗi âm tiết, nên “học sinh” trông như hai từ với công cụ tìm kiếm và xử lý văn bản. API tách từ gộp các âm tiết thành từ dựa trên từ điển khoảng 25.000 từ nhiều âm tiết cùng tên các tỉnh thành, phường xã, và chọn cách tách có ít token nhất: “Học sinh trường Nguyễn Trãi … tại Thành phố Hồ Chí Minh” → Học_sinh trường Nguyễn_Trãi … tại Thành_phố Hồ_Chí_Minh.

Các âm tiết viết hoa liên tiếp được gộp thành tên riêng (người, tổ chức), không nuốt các từ xưng hô như Ông, Bà hay chữ viết tắt như THPT. segmented trả về văn bản với các từ nối bằng _ (hoặc ký tự separator của bạn), định dạng mà đa số công cụ NLP tiếng Việt dùng; details=true thêm từng token kèm loại (từ, âm tiết, tên riêng, số, dấu câu) và vị trí ký tự.

action=keywords xếp hạng các từ nhiều âm tiết và tên riêng của văn bản theo tần suất, độ dài và vị trí, bỏ qua các cụm từ chức năng thông dụng, dùng để gắn tag, chọn từ khoá SEO hay làm bộ lọc tìm kiếm. Từ điển được tự động cập nhật hằng tuần từ nguồn gốc.

Dùng trong code của bạn

curl -X POST "https://apibox.io.vn/v1/vn-tokenize" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"text":"Chính phủ yêu cầu các bộ ngành đẩy mạnh chuyển đổi số và phát triển trí tuệ nhân tạo trong doanh nghiệp."}'

const res = await fetch('https://apibox.io.vn/v1/vn-tokenize', {
  method: 'POST',
  headers: {
    Authorization: 'Bearer YOUR_API_KEY',
    'Content-Type': 'application/json',
  },
  body: JSON.stringify({
    "text": "Chính phủ yêu cầu các bộ ngành đẩy mạnh chuyển đổi số và phát triển trí tuệ nhân tạo trong doanh nghiệp."
  }),
});
const data = await res.json();
console.log(data);

import requests

res = requests.post(
    "https://apibox.io.vn/v1/vn-tokenize",
    headers={"Authorization": "Bearer YOUR_API_KEY"},
    json={"text": "Chính phủ yêu cầu các bộ ngành đẩy mạnh chuyển đổi số và phát triển trí tuệ nhân tạo trong doanh nghiệp."},
    timeout=30,
)
print(res.json())

<?php
$ch = curl_init('https://apibox.io.vn/v1/vn-tokenize');
curl_setopt_array($ch, [
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_CUSTOMREQUEST => 'POST',
    CURLOPT_HTTPHEADER => ['Authorization: Bearer YOUR_API_KEY', 'Content-Type: application/json'],
    CURLOPT_POSTFIELDS => '{"text":"Chính phủ yêu cầu các bộ ngành đẩy mạnh chuyển đổi số và phát triển trí tuệ nhân tạo trong doanh nghiệp."}',
]);
$response = curl_exec($ch);
print_r(json_decode($response, true));

Tài liệu API → Nhận API key miễn phí

Hỏi đáp

Độ chính xác thế nào?

Tách từ theo từ điển xử lý đúng phần lớn văn bản thông thường; thuật ngữ mới, tiếng lóng và tên hiếm vẫn để từng âm tiết. Mô hình thống kê xử lý cụm nhập nhằng tốt hơn nhưng nặng hơn nhiều.

Vì sao có dấu gạch dưới?

Nối âm tiết bằng _ là quy ước của các kho ngữ liệu NLP tiếng Việt (VLSP, underthesea, pyvi), nên kết quả dùng được ngay với các công cụ đó. Dùng separator= để đổi ký tự.

Có nhận diện tên riêng không?

Có, các âm tiết viết hoa liên tiếp được gộp (Nguyễn Văn An), còn địa danh lấy từ danh mục tỉnh thành, phường xã chính thức.