Hướng dẫn giám sát Citrix: Chỉ số & Cảnh báo

Giới thiệu

Vấn đề hiệu suất của Citrix hiếm khi bắt đầu bằng một sự cố hoàn toàn. Thời gian đăng nhập có thể kéo dài chậm, một VDA có thể trôi dạt khỏi các đồng nghiệp của nó, các lỗi kết nối có thể tăng lên hoặc độ trễ phiên có thể tăng vào những thời điểm có thể dự đoán. Việc giám sát hiệu quả giúp các đội ngũ CNTT phát hiện những thay đổi này sớm và phân biệt các triệu chứng riêng lẻ với các vấn đề hạ tầng, mạng hoặc công suất rộng hơn.

Bài viết này xem xét các công cụ, chỉ số và dấu hiệu cảnh báo sớm giúp các quản trị viên chẩn đoán các vấn đề của Citrix hiệu quả hơn.

Loại lớp nào nên được bao phủ bởi giám sát Citrix?

Có nhiều thành phần liên kết chặt chẽ với Citrix Virtual Apps và Desktop cần xem xét. Một phiên người dùng có thể bao gồm môi giới, xác thực, VDA, dịch vụ Windows, hồ sơ người dùng, GPO, lưu trữ, ứng dụng và kết nối mạng trước khi một ứng dụng hoặc desktop có sẵn để sử dụng. Việc giám sát Citrix tốt yêu cầu có cái nhìn rõ ràng vào bốn điểm tinh tế.

Tại lớp phiên, các quản trị viên muốn biết liệu người dùng có thể kết nối hay không, thời gian đăng nhập mất bao lâu, và các phiên có tiếp tục phản hồi hay không.

Tại lớp phân phối Citrix, việc giám sát có thể phát hiện rằng các máy đang hoạt động và đã được đăng ký, các kết nối đang gặp sự cố, và cách mà khối lượng công việc được cân bằng.

Tại cấp độ hạ tầng, CPU, bộ nhớ, lưu trữ và các dịch vụ Windows có thể được kiểm tra để đảm bảo các hệ thống lưu trữ có khả năng.

Và ở cấp độ mạng/lịch sử, bạn cần thấy rằng độ trễ không ảnh hưởng đến phản hồi phiên, và rằng nhu cầu về lưu trữ và các tài nguyên khác không tăng vọt theo thời gian.

Mẹo là không theo dõi mọi chỉ số có sẵn mà là theo dõi một vấn đề từ triệu chứng đến lớp hạ tầng cơ sở tiềm ẩn có khả năng.

Những công cụ nào hữu ích cho từng trường hợp sử dụng?

Không có một loại giám sát nào cung cấp cho bạn cái nhìn tốt như nhau về tất cả các ứng dụng và dịch vụ của bạn. Bộ công cụ tốt nhất phụ thuộc vào những gì bạn muốn xem và khắc phục sự cố.

Citrix Monitor và Director

Đây là nơi các công cụ giám sát của Citrix là một điểm khởi đầu hợp lý để xem xét.

Citrix Monitor cho Citrix DaaS và Director cho Citrix Virtual Apps và Desktops cung cấp thông tin về các phiên, kết nối và sự cố máy, thời gian đăng nhập, tải, mức sử dụng máy và tình trạng máy. Bạn có thể xem các xu hướng theo thời gian để so sánh hiệu suất hiện tại với dữ liệu lịch sử thay vì so sánh hiệu suất hiện tại với một thời điểm nhất định.

Quá trình giám sát này làm sáng tỏ chính quá trình giám sát.

Ví dụ, Citrix có thể mang đến cho bạn một phân tích thời gian đăng nhập mất bao lâu , và nơi xảy ra sự chậm trễ: môi giới, khởi động máy, HDX, kịch bản đăng nhập, Chính sách Nhóm, xác thực và vân vân.

Đó là một cách tốt hơn nhiều để chuyển từ phàn nàn của người dùng "đăng nhập chậm" sang một câu hỏi khắc phục sự cố hữu ích hơn: phần nào của quá trình đăng nhập đang mất nhiều thời gian hơn mức cần thiết?

Giám sát hạ tầng và máy chủ

Chẩn đoán Citrix sẽ không thay thế việc giám sát nền tảng cung cấp cơ sở.

Giám sát máy chủ có thể hiển thị mức sử dụng CPU liên tục, áp lực bộ nhớ, hoạt động đĩa, dung lượng lưu trữ và hành vi quy trình bất thường. Những chỉ số này đặc biệt có giá trị nếu vấn đề được thấy trong Citrix, nhưng nguyên nhân nằm sâu hơn trong ngăn xếp.

Hãy nghĩ về cách bạn sẽ điều tra sự gia tăng thời gian đăng nhập. Nếu độ trễ lưu trữ cũng cao thì các hồ sơ và lưu trữ nên được kiểm tra. Nếu máy chủ hoạt động tốt nhưng thời gian đăng nhập đang kéo dài thì xác thực máy chủ, Chính sách Nhóm hoặc một yếu tố phân phối khác có khả năng cao hơn.

Giám sát lịch sử của hạ tầng cũng giúp lập kế hoạch năng lực. Việc tiêu thụ tài nguyên tăng dần trong những ngày hoặc tuần trước khi một máy chủ sập cho thấy rằng có một giới hạn đối với một điểm cuối hoặc máy chủ mà không thực sự làm hỏng thành phần đó.

Giám sát mạng

Việc cung cấp ứng dụng và máy tính để bàn trên Citrix phụ thuộc vào một kết nối mạng tốt giữa thiết bị người dùng và máy chủ.

Giám sát mạng có thể cho thấy sự gia tăng độ trễ, tắc nghẽn, băng thông, sự không đáng tin cậy hoặc các vấn đề liên quan đến trang web mà giám sát máy chủ không thể giải thích.

Phân tích hiệu suất phiên Citrix cũng có thể hiển thị các chỉ số như độ trễ ICA, Thời gian đi và về của ICA (RTT) tốc độ khung hình và băng thông miễn phí so với băng thông đã sử dụng.

Dữ liệu này đặc biệt quan trọng khi người dùng kết nối thành công nhưng cho biết rằng các ứng dụng hoặc máy tính để bàn của họ có vẻ chậm chạp.

Trải nghiệm kỹ thuật số và Giám sát toàn diện

Trong một số môi trường, bạn cần nhìn xa hơn khả năng sẵn có của hạ tầng.

Giám sát trải nghiệm kỹ thuật số và giám sát tổng hợp có thể bắt chước hoặc theo dõi các hoạt động của người dùng như đăng nhập, khởi động ứng dụng và hoàn tất giao dịch. Thay vì chỉ thấy các máy chủ phản hồi, mục tiêu là xác nhận dịch vụ đang hoạt động cho người dùng.

Sự phân biệt đó rất quan trọng vì cơ sở hạ tầng tốt không tạo ra trải nghiệm người dùng tốt. Các môi trường lớn hơn cũng có thể tận dụng các nền tảng quan sát toàn diện liên kết một phiên Citrix với VDA, các tài nguyên Windows, Active Directory, lưu trữ, máy chủ ứng dụng và đường mạng.

Nhưng có lẽ bạn không muốn có thêm nhiều bảng điều khiển. Một nền tảng giám sát phát huy tác dụng khi nó thu hẹp các nguyên nhân có thể và hướng dẫn các quản trị viên đến lớp đã thay đổi.

Các loại chỉ số quan trọng nhất là gì?

Có hàng ngàn bộ đếm có sẵn từ nền tảng Citrix. Các chỉ số hữu ích nhất là những chỉ số liên quan đến trải nghiệm người dùng, tình trạng hạ tầng hoặc bất kỳ thay đổi công suất nào.

Thời gian đăng nhập

Thời gian đăng nhập là một trong những chỉ số tập trung vào người dùng mạnh mẽ nhất vì nó phơi bày nhiều lĩnh vực trong chuỗi cung ứng.

Tổng thời gian đăng nhập là chỉ số chính nhưng có thể che khuất chi tiết trong quá trình chẩn đoán. Citrix sẽ có khả năng phân biệt giữa việc môi giới, khởi động máy, kết nối HDX, xác thực đăng nhập, tải hồ sơ, kịch bản đăng nhập và xử lý Chính sách Nhóm.

Nếu thời gian tải hồ sơ kéo dài, sự chú ý sẽ chuyển sang cửa hàng quản lý hồ sơ. Xử lý Chính sách Nhóm lâu dài sẽ đưa việc kiểm tra đến nơi khác. Khởi động máy chậm để lại VDA, hệ thống máy chủ hoặc nền tảng ảo hóa trong khung.

Tổng thời gian cho thấy rằng có điều gì đó khác biệt, nhưng phân tích giai đoạn tiết lộ nơi mà nó khác biệt.

Độ nhạy của phiên làm việc

Một phiên đã thiết lập không phải là dấu hiệu của một phiên phản hồi.

ICA RTT, độ trễ ICA, tỷ lệ khung hình và các chỉ số băng thông có thể được sử dụng để xác định xem một máy tính để bàn hoặc ứng dụng đã kết nối có hoạt động như mong đợi hay không.

Ngữ cảnh vẫn là vua. Nếu người dùng trong một văn phòng là những người duy nhất bị giảm hiệu suất, thì có khả năng đường truyền mạng là nguyên nhân.

Kết nối và sự cố máy móc

Mất kết nối hoàn toàn cần được giải quyết khẩn cấp, nhưng xu hướng có thể có ý nghĩa hơn bất kỳ sự kiện đơn lẻ nào.

Sự gia tăng trên nền tảng của những kết nối hiếm khi thất bại có thể là dấu hiệu của một vấn đề đang từ từ xuất hiện, ngay cả khi hầu hết người dùng vẫn được kết nối.

Các quản trị viên nên xem xét sự phân bố của các lỗi. Hộp cá nhân, Nhóm Giao hàng, văn phòng hoặc khoảng thời gian có thể cung cấp thông tin nhiều hơn so với danh sách tất cả các lỗi.

Phiên làm việc đồng thời và Tải

Số phiên đồng thời là nền tảng cho hầu hết mọi chỉ số hạ tầng.

Sự gia tăng CPU lớn do một lượng đăng nhập rất lớn chỉ là nhu cầu tăng thêm. Sự gia tăng nhu cầu về bộ xử lý tương tự mà không có sự thay đổi về người dùng có một nguyên nhân khác.

Lập kế hoạch nên xem xét ba yếu tố:

khối lượng phiên → tải máy chủ → khả năng phản hồi

Nếu số lượng phiên tăng lên mà không có sự gia tăng tương ứng về tải máy chủ hoặc thời gian phản hồi, hệ thống vẫn có thể hỗ trợ điều đó.

Nếu số lượng phiên giống nhau tạo ra tải trọng bộ xử lý lớn hơn, cuộc thi bộ nhớ hoặc độ trễ, thì có điều gì đó khác đã thay đổi trong khối lượng công việc.

CPU, Bộ nhớ và Lưu trữ

Hãy nghĩ về việc sử dụng CPU, bộ nhớ và lưu trữ của bạn theo các mẫu, không phải theo các tỷ lệ phần trăm riêng lẻ.

Với CPU, một sự gián đoạn ngắn có thể không phải là điều đáng lo ngại. Việc sử dụng kéo dài, bão hòa lặp đi lặp lại, mức cơ bản tăng lên, hoặc một máy chủ tiêu tốn thời gian xử lý so với các đồng nghiệp của nó thì quan trọng hơn nhiều.

Bộ nhớ cũng có thể được nhìn nhận từ góc độ khác. Việc sử dụng RAM cao một mình chỉ là mối quan tâm nếu có sự tăng trưởng liên tục, mức sử dụng tăng vọt, sự khác biệt bất thường giữa các máy chủ hoặc RAM không thể trở lại trạng thái bình thường sau khi tăng vọt.

Lưu trữ yêu cầu cả giám sát dung lượng và hiệu suất. Không gian trống giảm là một rủi ro hiệu suất rõ ràng, trong khi độ trễ đĩa cao hoặc sự cạnh tranh về lưu trữ sẽ làm chậm các hồ sơ, khởi động ứng dụng và bắt đầu các phiên trong sự hiện diện của dung lượng có sẵn khác.

Những dấu hiệu cảnh báo sớm nào trước khi gặp phải các vấn đề với Citrix?

Vấn đề hiệu suất trong Citrix thường xuất hiện dưới dạng sự sai lệch trước khi chúng trở thành sự cố. Do đó, các chỉ số sớm tốt nhất là những thay đổi trong mối tương quan giữa một số bộ đếm thay vì một bộ đếm đơn lẻ vượt qua ngưỡng.

Dấu hiệu cảnh báo sớm	Điều gì cần xem xét tiếp theo
Đăng nhập đang dần trở nên chậm hơn	Giai đoạn đăng nhập, hồ sơ, Chính sách Nhóm, xác thực và lưu trữ
Sự cố kết nối đang gia tăng từ một mức cơ bản thấp.	Máy móc, Nhóm phân phối, thay đổi gần đây và hành vi mạng
Đỉnh tài nguyên xảy ra vào cùng một thời điểm mỗi ngày	Cơn bão đăng nhập, công việc đã lên lịch, ứng dụng và dung lượng có sẵn
Một máy chủ liên tục hành xử khác biệt so với các máy chủ khác.	Quy trình, dịch vụ, cấu hình và phân phối khối lượng công việc
Độ trễ phiên tăng trong khi tài nguyên máy chủ vẫn bình thường	Đường dẫn mạng, vị trí điểm cuối và băng thông
CPU hoặc bộ nhớ tăng mà không có người dùng bổ sung	Các ứng dụng, quy trình, bản vá và thay đổi cấu hình
Không gian đĩa miễn phí giảm dần theo cách dự đoán được.	Hồ sơ, nhật ký, dữ liệu tạm thời và lưu trữ ứng dụng
Hiệu suất thay đổi ngay lập tức sau khi cập nhật	Bản vá, chính sách, ứng dụng hoặc thay đổi cấu hình gần đây

Yếu tố chung là sự sai lệch so với tiêu chuẩn mong đợi. Nó làm cho việc giám sát hiệu quả hơn nhiều khi các chuyên gia CNTT đặt câu hỏi "giá trị này có cao không?" bên cạnh "tại sao nó lại khác với tiêu chuẩn?"

Tại sao bạn nên tập trung nhiều hơn vào các mức cơ bản hơn là các ngưỡng cố định?

Ngưỡng cố định vẫn cần thiết. Quản trị viên cần có cảnh báo để họ biết trước khi ổ đĩa hết dung lượng, trước khi CPU đạt đến ngưỡng bão hòa và trước khi một dịch vụ gặp sự cố và ảnh hưởng đến khả năng sẵn có.

Nhưng một ngưỡng duy nhất, bao trùm tất cả sẽ không phù hợp với tất cả các môi trường Citrix.

Giả sử, một môi trường thường mất 15 giây để hoàn tất việc đăng nhập của người dùng và chỉ số đó bắt đầu tăng lên tới 25 giây và hơn thế nữa. Đó là một lĩnh vực đáng để điều tra, ngay cả khi tổ chức định nghĩa 30 giây là ngưỡng cảnh báo.

Trong một môi trường khác, nơi mà tốc độ đăng nhập thường dao động khoảng 30 giây, con số đó sẽ không gây lo ngại - một ví dụ khác về cách mà các con số tuyệt đối khác nhau có thể mang ý nghĩa rất khác nhau trong các hoàn cảnh khác nhau.

Trong chức năng thông thường của chúng, các tiêu chuẩn có thể cảnh báo về:

• thay đổi hiệu suất chậm
• cập nhật bài viết nhảy
• thay đổi trong thời gian sử dụng cao điểm
• tăng khối lượng công việc
• sự khác biệt giữa các máy chủ giống nhau
• hạn chế năng lực xây dựng

Tiêu chuẩn với cảnh báo rất đơn giản: Cảnh báo khi có sự thay đổi bất thường và giới hạn tuyệt đối.

Làm thế nào để đội ngũ IT của bạn liên kết các chỉ số Citrix của bạn?

Các chỉ số Citrix cá nhân thực sự cho thấy giá trị của chúng khi được liên kết với hạ tầng và hành vi mạng. Hãy nghĩ về những cặp phổ biến này:

Triệu chứng Citrix	Bằng chứng liên quan	Hướng điều tra
Đăng nhập trở nên chậm hơn	Độ trễ đĩa cũng tăng lên	Hồ sơ, lưu trữ và I/O đĩa
Đăng nhập trở nên chậm hơn	CPU, bộ nhớ và lưu trữ vẫn bình thường	Xác thực, GPO, hồ sơ, môi giới hoặc các giai đoạn đăng nhập khác
Phản hồi phiên giảm chất lượng	Sức khỏe máy chủ vẫn ổn định	Đường dẫn mạng, băng thông hoặc vị trí điểm cuối
Sử dụng CPU tăng lên	Số lượng phiên đồng thời không thay đổi	Quy trình, thay đổi ứng dụng, bản vá hoặc khối lượng công việc theo lịch trình
Một VDA hoạt động kém.	Các VDA tương đương vẫn hoạt động bình thường	Dịch vụ địa phương, cấu hình hoặc khối lượng công việc trên máy đó
Sự cố tăng lên sau một thay đổi	Cơ sở dữ liệu trước đó đã ổn định	Cập nhật gần đây, chính sách hoặc sự suy giảm cấu hình

Điều này ngăn cản các quản trị viên CNTT xử lý từng cảnh báo một cách riêng lẻ. Thay vào đó, nó trở thành giai đoạn tiếp theo trong phân tích nguyên nhân gốc của bạn:

triệu chứng → chỉ số liên quan → lớp bị ảnh hưởng → nguyên nhân có thể

Đó là sự khác biệt giữa việc có dữ liệu giám sát và thực sự tận dụng nó một cách hiệu quả.

Bạn nên cấu hình thông báo Citrix của mình như thế nào?

Một cảnh báo tốt có thể thông báo cho quản trị viên đủ sớm để thực hiện hành động trước khi mức dịch vụ bị ảnh hưởng. Thiết lập các mức cơ bản cho thời gian đăng nhập, phiên đồng thời, lỗi, tài nguyên máy chủ, hiệu quả lưu trữ và khả năng phản hồi của phiên. Sử dụng thông tin để xác định các trạng thái cảnh báo và trạng thái nghiêm trọng.

Cảnh báo nên hiển thị sự thay đổi đáng kể so với bình thường mà vẫn cho phép thời gian quản trị, trong khi các sự kiện quan trọng không thể chờ đợi hành động.

Citrix hỗ trợ các chính sách cảnh báo và cảnh báo quan trọng cho nhiều biện pháp và dữ liệu, tuy nhiên các ngưỡng tĩnh hiệu quả nhất khi được sử dụng với thông tin trước về xu hướng và độ chính xác của phản hồi.

Giá trị tốt nhất cho việc cảnh báo là cung cấp thông tin mà không tạo ra các cảnh báo thừa thãi khiến các quản trị viên bị điều kiện hóa và dẫn đến việc bỏ lỡ các ngưỡng quan trọng. Tập trung vào việc nó có lặp lại nhanh chóng, liên tục vượt mức bình thường, hay là một sự bất thường.

Quy trình giám sát Citrix tốt nhất là gì?

Một người dùng phàn nàn rằng "Citrix chậm" - việc xác định các vấn đề khi một số cài đặt bị thay đổi cùng một lúc có thể tốn thời gian. Một quy trình làm việc được xác định rõ ràng giúp tập trung vào việc thu hẹp vấn đề trước khi cố gắng khắc phục nó.

1. Phạm vi là gì?

Nó có ảnh hưởng đến chỉ một người dùng, nhiều người dùng, một ứng dụng, một VDA, một Nhóm Giao hàng, một vị trí, hay mọi môi trường không?

Phạm vi ngay lập tức loại trừ nhiều nguyên nhân tiềm năng.

2. Giai đoạn nào?

3. Sự chậm trễ xảy ra trước khi kết nối, trong quá trình đăng nhập/xác thực, trong quá trình khởi động ứng dụng, hay khi đã vào trong phiên làm việc? Đăng nhập chậm và phiên làm việc chậm là hai vấn đề khác nhau.

3. Gợi ý cụ thể về Citrix

Tìm kiếm thông tin phiên, lỗi kết nối, lỗi máy móc, Lỗi VDA giai đoạn đăng nhập, và các bộ đếm hiệu suất phiên khác.

Điều này cho thấy nếu Citrix đã hiển thị giai đoạn nào đang chậm hoặc suy giảm.

4. Đối chiếu dữ liệu hạ tầng và mạng của bạn

Đối chiếu dữ liệu Citrix với CPU, bộ nhớ, lưu trữ và các chỉ số mạng trong cùng một khoảng thời gian. Đối chiếu với các máy tốt hơn là so với nhau để tránh thiên lệch, khi có thể.

5. Xem xét quá khứ

Hành vi này đã diễn ra bao lâu? Điều này có bắt đầu sau một bản cập nhật Windows, nâng cấp ứng dụng, thay đổi Chính sách Nhóm, thay đổi hồ sơ, hoặc thay đổi hạ tầng không?

So sánh tình hình hiện tại với hiệu suất trong quá khứ; những gì trông giống như một tình huống sụt giảm đột ngột có thể hóa ra là sự mở rộng của một xu hướng dài hạn.

Điều này cung cấp một quy trình có thể lặp lại:

triệu chứng → phạm vi → giai đoạn → chỉ số tương quan → thay đổi gần đây → nguyên nhân có thể

Giám sát Citrix: Khi nào nó trở thành một câu hỏi về kiến trúc?

Giám sát độ phức tạp không có nghĩa là bạn nên thay thế Citrix

Một số triển khai lớn hoặc phức tạp vẫn cần các tính năng ảo hóa, phân phối ứng dụng, HDX và quản lý của Citrix. Đối với những môi trường đó, giám sát đa lớp chỉ là một phần của mô hình làm cho kiến trúc hoạt động như một tổng thể.

Nơi mà việc giám sát tiết lộ một vấn đề khác là kiến trúc rộng hơn mức cần thiết cho việc cung cấp ứng dụng này.

Điều đó bắt đầu trở thành trường hợp khi bạn đang chi tiêu một số lượng lớn cho cơ sở hạ tầng và nỗ lực quản lý để cung cấp những thứ rất đơn giản để xuất bản trong Windows.

Các chỉ số có thể là:

• nỗ lực vận hành được phân bổ trên quá nhiều thực thể giao hàng
• bạn không cần phải giám sát điều này quá chặt chẽ so với việc triển khai
• có quá nhiều hạ tầng xung quanh việc xuất bản ứng dụng đơn giản và truy cập từ xa
• người dùng chỉ cần trình duyệt hoặc truy cập RDP vào ứng dụng
• chi phí quản trị và dấu chân hạ tầng trở thành những vấn đề nghiêm trọng

Tóm lại, đó không còn là một câu hỏi về khắc phục sự cố. Đó là một câu hỏi về kiến trúc. Câu hỏi có thể đã chuyển từ "Làm thế nào chúng ta có thể giám sát môi trường Citrix này tốt hơn?" sang "Trường hợp sử dụng này có còn cần kiến trúc không?"

Làm thế nào TSplus có thể là sự thay thế cho Citrix?

Giám sát Citrix có thể tiết lộ khi cơ sở hạ tầng và nỗ lực quản lý trở nên không tương xứng với yêu cầu tương đối đơn giản để xuất bản các ứng dụng Windows hoặc máy tính để bàn cho người dùng từ xa.

Trong tình huống đó, vấn đề có thể ít liên quan đến việc cải thiện giám sát và nhiều hơn về việc liệu kiến trúc phân phối vẫn phù hợp với trường hợp sử dụng thực tế hay không.

TSplus Remote Access cung cấp một kiến trúc đơn giản hơn cho việc phân phối ứng dụng và máy tính để bàn đa người dùng thông qua các kết nối tương thích RDP hoặc một cổng web HTML5. Nó có thể phù hợp với các tổ chức cần truy cập đơn giản vào các ứng dụng và máy tính để bàn Windows mà không cần các lớp ảo hóa và quản lý rộng hơn của một môi trường Citrix đầy đủ.

Kết luận

Giám sát Citrix hiệu quả không chỉ là thu thập mọi chỉ số có sẵn mà còn là hiểu cách mà những chỉ số quan trọng liên quan đến nhau. Thời gian đăng nhập, độ phản hồi của phiên, các lỗi, tài nguyên máy chủ, lưu trữ và hành vi mạng trở nên hữu ích nhất khi được so sánh với các tiêu chuẩn lịch sử và với nhau.

Sự tương quan đó giúp các nhóm CNTT chuyển từ một triệu chứng mơ hồ sang lớp bị ảnh hưởng và nguyên nhân có thể xảy ra. Nó cũng có thể tiết lộ liệu vấn đề nằm ở hiệu suất cần được điều chỉnh hay trong một kiến trúc có độ phức tạp hoạt động đáng được xem xét rộng rãi hơn.