Processor Groups

Tổng quan

Processor Group: cho phép bạn chỉ định nơi lấy dữ liệu log (source log project), nơi lưu trữ dữ liệu đã parse (destination log project) và những log nào sẽ được parse khi thoả mãn filter.

Khởi tạo Processor Groups

Để tạo processor group, hãy làm theo hướng dẫn bên dưới:

1. Đăng nhập vào https://hcm-3.console.vngcloud.vn/vmonitor.

2. Chọn thư mục Log, sau đó chọn menu Log pipeline.

3. Chọn một Log pipeline đã được tạo trước đó.

4. Chọn Create a processor group hoặc Process Group Library trong đó:

Create a processor group: tạo mới hoàn toàn processor group.
Process Group Library: tạo processor group từ những thư viện có sẵn do VNG Cloud hỗ trợ.

Tạo một processor group

Nhập tên processor Group name. Tên Group name phải tuân thủ theo quy định của chúng tôi, chi tiết xem tại Phạm vi giới hạn Log pipeline.
Nhập Description cho processor group này.
Chọn Source và Destination log project mà bạn muốn thực hiện pipeline trong danh sách các log project đang tồn tại trên account của bạn. Source log project và Destination log project không thể là cùng một log project mà bắt buộc bạn phải chọn chúng là những log project khác biệt. Nếu Destination log project đã có dữ liệu thì việc tạo luồng pipeline cho project này có thể gây mất đồng bộ dữ liệu.
Nhập điều kiện Filter cho log nếu có. Bạn có thể nhập điều kiện lọc cho log bằng một trong 2 cách: Suggestion mode hoặc Editor mode. Cách sử dụng 2 phương thức này và chuyển đổi qua lại giữa 2 phương thức đã được chúng tôi mô tả ở các tính năng Search logs.
Chọn Create.

Process Group Library

Hiện tại VNG Cloud hỗ trợ thư viện cho 2 ứng dụng phổ biến là Apache, Nginx. Khi bạn chọn Process Group Library, tiếp tục thực hiện các bước dưới đây để hoàn thành tạo processor group

Chọn (Duplicate this group) để tạo Processor Group từ Library này.

Nhập các thông tin bao gồm:

Group name: nhập tên processor group. Tên group phải tuân thủ theo quy định của chúng tôi, chi tiết xem tại Phạm vi giới hạn Log pipeline.
Description: nhập mô tả processor group này
Chọn Source và Destination log project mà bạn muốn thực hiện pipeline trong danh sách các log project đang tồn tại trên account của bạn. Source log project và Destination log project không thể là cùng một log project mà bắt buộc bạn phải chọn chúng là những log project khác biệt. Nếu Destination log project đã có dữ liệu thì việc tạo luồng pipeline cho project này có thể gây mất đồng bộ dữ liệu.
Nhập điều kiện Filter cho log nếu có. Bạn có thể nhập điều kiện lọc cho log bằng một trong 2 cách: Suggestion mode hoặc Editor mode. Cách sử dụng 2 phương thức này và chuyển đổi qua lại giữa 2 phương thức đã được chúng tôi mô tả ở các tính năng Search logs.

Chọn Duplicate.

Sau khi bạn sao chép thành công:

Đối với thư viện Apache, hệ thống sẽ tự tạo một 3 Processor loại: Grok Parser, GeoIP Parse, User-Agent Parser. Nếu các cấu hình parser này chưa như bạn mong muốn, bạn có thể chỉnh sửa các Processor này theo hướng dẫn tại Processor.
Đối với thư viện Nginx, hệ thống sẽ tự tạo một 4 Processor loại: Grok Parser, Field Remapper Parser, GeoIP Parse, Date Parser. Nếu các cấu hình parser này chưa như bạn mong muốn, bạn có thể chỉnh sửa các Processor này theo hướng dẫn tại Processor.

Chỉnh sửa Processor Groups

Để chỉnh sửa Processor group trong Log pipeline, hãy làm theo hướng dẫn bên dưới

Đăng nhập vào https://hcm-3.console.vngcloud.vn/vmonitor. Nếu bạn chưa có tài khoản, đăng ký miễn phí tại tại đây.
Chọn thư mục Log.
Chọn Log pipeline.
Trong danh sách log pipeline đang có, chọn Log pipeline chứa Processor group mà bạn muốn chỉnh sửa.
Chọn Edit group.
Chỉnh sửa các thông số cho Processor group mà bạn mong muốn. Bạn có thể chỉnh sửa tất cả các trường thông tin trong cấu hình một processor group. Việc chỉnh sửa này tương tự như khi bạn thực hiện tạo mới một Processor group theo hướng dẫn bên trên.
Chọn Save.

Xóa Processor Groups

Khi bạn không có nhu cầu sử dụng một Processor group tùy chỉnh nữa, bạn có thể thực hiện xóa Processor group khỏi hệ thống theo hướng dẫn bên dưới:

Đăng nhập vào https://hcm-3.console.vngcloud.vn/vmonitor. Nếu bạn chưa có tài khoản, đăng ký miễn phí tại tại đây.
Chọn thư mục Log.
Chọn Log pipeline chứa processor group mà bạn muốn thực hiện xóa.
Chọn Processor group.
Chọn Delete.
Tại màn hình xác nhận xóa Processor group, chọn Delete.

Sau khi bạn thực hiện xóa thành công thì Processor group của bạn sẽ bị xóa hoàn toàn khỏi hệ thống của chúng tôi đồng thời tất cả các processor bên trong một processor group cũng sẽ bị xóa. Bạn không thể khôi phục lại Processor group đã xóa nên hãy lưu ý cẩn thận khi sử dụng tính năng này.

PreviousLàm việc với Log pipeline NextProcessor

Last updated 6 months ago