Làm việc với Log pipeline
Tổng quan
Log Pipeline là tính năng cho phép bạn thực hiện parse hay enrich dữ liệu từ dữ liệu không có cấu trúc, không có ý nghĩa (raw log) thành dữ liệu log có ý nghĩa có cấu trúc (ví dụ Json format). Dữ liệu log sẽ được chạy thông qua một chuỗi các Processor Group và Processor. Nếu log đó thoả điều kiện filter ở Processor Group và Processor thì Processor sẽ được thực thi trên các log đó một cách tuần tự cho tới khi kết thúc.
Thành phần
Log Pipeline: chứa các Processor Group cho phép parse hay enrich dữ liệu từ dữ liệu không có cấu trúc, không có ý nghĩa (raw log) thành dữ liệu log có ý nghĩa có cấu trúc (ví dụ Json format)
Processor Group: cho phép bạn chỉ định nơi lấy dữ liệu log (source log project), nơi lưu trữ dữ liệu đã parse (destination log project) và những log nào sẽ được parse khi thoả mãn filter
Processor: là những thư viện hỗ trợ bạn parse và enrich dữ liệu, nằm trong Processor Group.
Mô hình mô tả Log Pipeline
Log Pipeline 1: mô hình cơ bản nhất chỉ có 1 source log project và 1 destination log project với các thông tin như bên dưới, dành cho nhu cầu là raw logs chỉ chứa 1 loại dữ liệu logs và bạn chỉ muốn parse tới 1 destination log project
Source Log Project: là nơi chứa raw logs, những dữ liệu chưa có cấu trúc mà bạn có nhu cầu cần parse
Destination Log Project: là nơi chứa structured logs, những dữ liệu đã parse thành có cấu trúc sau khi chạy qua hệ thống Log Pipeline
Log Pipeline chứa chỉ 1 Processor Group với Filter là source:nginx, nghĩa là với những logs có trường source:nginx thì mới chạy qua hệ thống Processor Group để parse.
Processor Group chứa 3 Processor để parse log thành dữ liệu có cấu trúc và lưu vào destination log project.
Log Pipeline 2: mô hình phức tạp hơn có 1 source log project nhưng dữ liệu parse ra 2 destination log project với các thông tin như bên dưới, dành cho nhu cầu là raw logs của bạn chứa nhiều loại dữ liệu logs khác nhau và bạn muốn parse và lưu trữ ở nhiều destination log project khác nhau
Source Log Project: là nơi chứa raw logs, những dữ liệu chưa có cấu trúc mà bạn có nhu cầu cần parse
Destination Log Project: là nơi chứa structured logs, những dữ liệu đã parse thành có cấu trúc sau khi chạy qua hệ thống Log Pipeline, ở đây có 2 destination log project để nhận các log khác nhau ví dụ: destination log project 1 thì nhận dữ liệu nginx logs đã parse, destination log project 2 thì nhận dữ liệu apache logs đã parse
Log Pipeline chứa 2 Processor Group với Filter là source:nginx và source:apache, tương ứng với dòng logs nào phù hợp với Filter của Group thì sẽ được parse tương ứng với Group đó
Processor Group: có 2 Processor Groups tương ứng để parse đúng logs về lưu trữ vào 2 destination log project khác nhau.
Phạm vi giới hạn Log pipeline
Quy tắc đặt tên Log pipeline
Các quy tắc sau áp dụng cho việc đặt tên Log pipeline trong vMonitor Platform:
Tên Log pipeline phải dài từ 1 (tối thiểu) đến 63 (tối đa) ký tự.
Tên Log pipeline chỉ có thể bao gồm các chữ cái viết thường (a-z,), số (0-9), dấu gạch ngang (-).
Tên Log pipeline phải bắt đầu bởi một chữ cái và kết thúc bởi một chữ cái hoặc một chữ số.
Tên Log pipeline không nên chứa các thông tin nhạy cảm (ví dụ địa chỉ IP, tên tài khoản, mật khẩu đăng nhập,...).
Tên Log pipeline phải là duy nhất trong một tài khoản VNG Cloud cho đến khi Log pipeline đó bị xóa.
Quy tắc đặt tên Processor group
Các quy tắc sau áp dụng cho việc đặt tên Processor group trong vMonitor Platform:
Tên Processor group phải dài từ 1 (tối thiểu) đến 63 (tối đa) ký tự.
Tên Processor group chỉ có thể bao gồm các chữ cái viết thường (a-z,), số (0-9), dấu gạch ngang (-).
Tên Processor group phải bắt đầu bởi một chữ cái và kết thúc bởi một chữ cái hoặc một chữ số.
Tên Processor group không nên chứa các thông tin nhạy cảm (ví dụ địa chỉ IP, tên tài khoản, mật khẩu đăng nhập,...).
Tên Processor group phải là duy nhất trong một tài khoản VNG Cloud cho đến khi Processor group đó bị xóa.
Quy tắc đặt tên Processor
Các quy tắc sau áp dụng cho việc đặt tên Processor trong vMonitor Platform:
Tên Processor phải dài từ 1 (tối thiểu) đến 63 (tối đa) ký tự.
Tên Processor chỉ có thể bao gồm các chữ cái viết thường (a-z,), số (0-9), dấu gạch ngang (-).
Tên Processor phải bắt đầu bởi một chữ cái và kết thúc bởi một chữ cái hoặc một chữ số.
Tên Processor không nên chứa các thông tin nhạy cảm (ví dụ địa chỉ IP, tên tài khoản, mật khẩu đăng nhập,...).
Tên Processor phải là duy nhất trong một tài khoản VNG Cloud cho đến khi Processor đó bị xóa.
Khởi tạo Log pipeline
Để tạo một log pipeline, hãy làm theo hướng dẫn bên dưới:
Đăng nhập vào https://hcm-3.console.vngcloud.vn/vmonitor.
Chọn thư mục Log, sau đó chọn menu Log pipeline.
Chọn Create a Log pipeline.
Nhập Pipeline name. Tên pipeline phải tuân thủ theo quy định của chúng tôi được mô tả phía trên.
Nhập Pipeline description nếu có.
Chọn Create.
Chỉnh sửa Log pipeline
Để chỉnh sửa một log pipeline, hãy làm theo hướng dẫn bên dưới:
Đăng nhập vào https://hcm-3.console.vngcloud.vn/vmonitor. Nếu bạn chưa có tài khoản, đăng ký miễn phí tại tại đây.
Chọn thư mục Log.
Chọn Log pipeline.
Chọn Edit pipeline.
Chỉnh sửa các thông số cho Log pipeline mà bạn mong muốn. Bạn có thể chỉnh sửa tất cả các trường thông tin trong cấu hình một Log pipeline. Việc chỉnh sửa này tương tự như khi bạn thực hiện tạo mới một Log pipeline theo hướng dẫn bên trên.
Chọn Save.
Xóa Log pipeline
Khi bạn không có nhu cầu sử dụng một Log pipeline tùy chỉnh nữa, bạn có thể thực hiện xóa Log pipeline khỏi hệ thống theo hướng dẫn bên dưới:
Đăng nhập vào https://hcm-3.console.vngcloud.vn/vmonitor. Nếu bạn chưa có tài khoản, đăng ký miễn phí tại tại đây.
Chọn thư mục Log.
Chọn Delete.
Tại màn hình xác nhận xóa Log pipeline, chọn Delete.
Sau khi bạn thực hiện xóa thành công thì Log pipeline của bạn sẽ bị xóa hoàn toàn khỏi hệ thống của chúng tôi. Bạn không thể khôi phục lại Log pipeline đã xóa nên hãy lưu ý cẩn thận khi sử dụng tính năng này.
Last updated
