1. GIÁM SÁT, ĐÁNH GIÁ TRONG TRUYỀN THÔNG, PHỔ BIẾN KIẾN THỨC
• Khái niệm giám sát, đánh giá (Monitoring and Evaluation)
Giám sát (Monitoring): là một quá trình theo dõi liên tục các hoạt động hiện đang tiến hành, để biết được tiến độ thực hiện công việc/ dự án theo các tiêu chí chuyên môn và có kế hoạch những điều chỉnh, sửa đổi kịp thời các chỉ tiêu công việc.
Như vậy giám sát trong các công việc/dự án là hoạt động của nhóm quản lý, điều hành công việc/dự án ngay từ khi lập kế hoạch và trong suốt tiến trình thực hiện cho đến khi kết thúc công việc/ dự án.
Giám sát để đánh giá tiến độ và các thành quả để giảm bớt các khó khăn và có được những hỗ trợ của các nhà quản lý thực hiện cộng việc có hiệu quả phát triển các phương pháp và thủ tục ít tốn kém hơn.
Đánh giá (Evaluation): Là hoạt động đi kèm giám sát, là hệ thống những nghiên cứu, thảo luận, tổng kết hoạt động của các công việc/dự án trên cơ sở so sánh một số chỉ tiêu đã lập trước khi bắt đầu triển khai công việc dự án; đánh giá cuối kỳ là một quá trình xem xét một cách có hệ thống và khách quan nhằm phản ảnh tính phù hợp, hiệu quả và tác động của các hoạt động ứng với các mục tiêu đã vạch ra khi kết thúc công việc/dự án.
- Giám sát, đánh giá trong truyền thông, phổ biến kiến thức
Giám sát hoạt động truyền thông, phổ biến kiến thức: là quá trình lập các chỉ tiêu theo dõi toàn bộ quy trình truyền thông, phổ biến kiến thức được thực hiện từ việc xác định mục tiêu, nội dung truyền thông, xây dựng thông điệp, kế hoạch truyền thông, kênh chuyển tải thông tin, các yếu tố gây nhiễu và đối tượng tiếp nhận.
Do hoạt động truyền thông, phổ biến kiến thức là hoạt động phức tạp, được tổ chức theo quy trình khoa học, công phu, bài bản, nhiều công đoạn, nhiều thành viên tham gia, nên việc giám sát cần phải theo các tiêu chí định lượng gắn với hệ thống chỉ tiêu chuyên môn, chức năng nhiệm vụ của các nhóm tham gia, tiến độ thực hiện các hoạt động.
Giám sát chuyên nghiệp dựa trên các chuyên gia độc lập với chương trình truyền thông, phổ biến kiến thức, thực hiện một sự liên quan trong chu trình truyền thông, phổ biến kiến thức, đối chiếu các chỉ tiêu chuyên môn và những khó khăn trong thực tế, để đề xuất các biện pháp quyết định kịp thời.
Đánh giá hoạt động truyền thông, phổ biến kiến thức: là hoạt động đi kèm với giám sát, cũng dựa trên các chỉ tiêu định lượng đển phân tích, đánh giá toàn bộ quá trình tổ chức thực hiện truyền thông và phổ biến kiến thức.
Các hoạt động đánh giá chuyên nghiệp thường được các chuyên gia độc lập thực hiện, thông thường hoạt động đánh giá được chia làm 3 giai đoạn:
- Đánh giá đầu vào (Input): là quá trình tổ chức đánh giá yêu cầu, nhiệm vụ truyền thông, phổ biến kiến thức, nguồn lực của chủ thể thực hiện chương trình, dự án truyền thông, nhu cầu và đối tượng công chúng, từ đó hỗ trợ việc xác định mục tiêu, nội dung, chương trình, kế hoạch thực hiện truyền thông, phổ biến kiến thức dự định triển khai trong thực tế.
- Đánh giá giữa kỳ (Mid-term): là hoạt động tổ chức đánh giá giữa kỳ quá trình thực hiện truyền thông, phổ biến kiến thức, phát hiện những vấn đề phát sinh trong thực tế so với các chỉ tiêu chủ thể truyền thông đặt ra, đề xuất biện pháp giải quyết và điều chỉnh kế hoạch truyền thông, phổ biến kiến thức.
- Đánh giá đầu ra (Output): là hoạt động đánh giá toàn bộ thành công, hạn chế từ đó xác định rõ hiệu quả truyền thông, phổ biến kiến thức sau khi kết thúc chương trình, dự án truyền thông, phổ biến kiến thức. Quá trình đánh giá đầu ra tập trung vào khu vực công chúng, đối tượng tiếp nhận thông tin, kiến thức, những thay đổi với nhận thức, hành vi của các nhóm xã hội, quá trình vận dụng tri thức, thông tin, truyền thông trong hoạt động nghề nghiệp, đời sống của các nhóm đối tượng.
2. XÂY DỰNG BỘ TIÊU CHÍ ĐO LƯỜNG VÀ ĐỊNH LƯỢNG CHO VIỆC THỰC HIỆN GIÁM SÁT, ĐÁNH GIÁ
• Nguyên tắc xây dựng bộ tiêu chí đo lường và định lượng cho hoạt động giám sát, đánh giá
Sự ra đời của thuật ngữ đo lường xã hội gắn với sự ra đời của ngành xã hội học trong câu nói nổi tiếng của người khai sinh ngành A.Comte “Nghiên cứu xã hội giống như đo lường sự rơi của một viên đá”. Xuất thân từ nhà vật lý học, A.Comte là cha đẻ của các phương pháp định lượng khi ông đưa các phương pháp vật lý, toán học, thống kê vào nghiên cứu lý giải các hiện tượng xã hội (trước đó chỉ có các phương pháp nghiên cứu tài liệu văn bản trong khoa học xã hội).
Chính Comte không chỉ đặt nền móng cho việc xây dựng các phương pháp nghiên cứu, thực nghiệm hiện đại mà ông còn xây dựng hệ thống phương pháp luận thực chứng trong nghiên cứu khoa học. Đó là mọi đối tượng, chủ đề nghiên cứu nói chung và hoạt động giám sát, đánh giá nói riêng phải được mô tả, đo lường được, được chứng minh bằng các bằng chứng quan sát được, hệ thống các số liệu liên quan đến nó.
Cũng theo A.Comte, đo lường được thực hiện theo 2 xu hướng:
Hướng thứ nhất tổ chức điều tra thu thập bằng chứng thực tế, đo lường xác thực các hiện tượng đó làm cơ sở cho giải thích vấn đề khoa học, dự báo và đề xuất giải pháp.
Hướng thứ hai, đo lường kết hợp, ứng dụng kết quả nghiên cứu trong thực tiễn. Ngay nay các phương pháp định lượng, thực chứng của ngành xã hội học không chỉ còn được áp dụng trong phạm vi ngành, mà trở thành phương pháp nghiên cứu chung, được áp dụng cho nhiều ngành khoa học xã hội và đem lại hiệu quả cho các công trình nghiên cứu khi có thể đo lường được các hiện tượng thực tế đang diễn ra.
Nhìn chung, đo lường xã hội (Social Measurement) là khái niệm dùng để chỉ quy trình kỹ thuật thao tác các khái niệm gắn với phương pháp điều tra, thu thập thông tin, giúp cho việc phản ánh đối tượng nghiên cứu từ mức độ trừu tượng đến mức độ cụ thể, từ mức độ khó nhận biết đến mức độ có thể đo được nó thông qua các công cụ của phương pháp điều tra, khảo sát, thống kê. Liên quan mật thiết đến hoạt động giám sát, đánh giá, lượng hóa đối tượng, cần phải mục tiêu và các nội dung cần giám sát, đánh giá và quy chiếu vào các nguyên tắc đo lường.
Một phép đo diễn ra thông qua sự sắp xếp tương ứng các đại lượng số với đối tượng, các vật thể mang tính chất cần phải đo. Trong các ngành khoa học, sự sắp xếp tương ứng này trên nguyên tắc diễn ra như một phản xạ đồng hình của một quan hệ thực nghiệm vào một quan hệ số, vì giá trị đo là tìm đặc trưng chung cho nhiều người. Theo Stevens (1946), sự tồn tại một ánh xạ đồng hình (sự đại diện hay thang số) là tiêu chuẩn cho việc nói chung một tính chất, một sự kiện có thể đo được hay không.
Để có thể thực hiện đo lường xã hội trong nghiên cứu xã hội nói chung và giám sát, đánh giá các hoạt động truyền thôn, phổ biến kiến thức nói riêng cần nắm vững các lý thuyết đo và kỹ thuật thao tác khái niệm, chỉ báo, thang đo trong nghiên cứu, cũng như chủ đề, đối tượng nghiên cứu đặt ra, có những hiểu biết nhất định về toán học, khoa học thống kê trong việc kiểm định toàn bộ quá trình đo lường. Bên cạnh đó để thực hiện đo lường xã hội cần phải tuân thủ hàng loạt nguyên tắc khác, như tính hiệu lực của đo lường (validity), đo đúng đối tượng cần đo lường và sự tuân thủ về nguyên tắc, quy trình, kỹ thuật; tính xác thực của thông tin (reality) đảm bảo thông tin thu thập, các bằng chứng thực nghiệm thu thập phục vụ quá trình đo lường phải có độ tin cậy, khách quan, từ người cung cấp thông tin đến bối cảnh nghiên cứu.
• Quy trình xây dựng bộ tiêu chí đo lường và định lượng cho giám sát, đánh giá
Hoạt động giám sát, đánh giá dựa trên căn cứ, bằng chứng định lượng đề xác định hiệu quả của truyền thông cần tuân thủ quy trình các bước cơ bản sau:
- Xác định mục tiêu, vấn đề truyền thông, phổ biến kiến thức cần giám sát, đánh giá
- Thu thập dữ liệu từ thực tế hoạt động truyền thông, phổ biến kiến thức cần giám sát, đánh giá
- Xử lý dữ liệu và phân tích dữ liệu thực tế
- Báo cáo kết quả giám sát, đánh giá
Xác định vấn đề .
Xác định rõ ràng và chính xác vấn đề truyền thông, phổ biến kiến thức đã/ đang thực hiện. Định nghĩa thật rõ khái niệm quan tâm như nội dung truyền thông, nhu cầu công chúng giúp việc thu thập dữ liệu tiến hành nhanh gọn, chính xác. Nếu không xác định được bước này thì chúng ta rất khó thu thập dữ liệu một cách hiệu quả vì chúng ta sẽ mất nhiều thời gian để thu thập, xử lý những dữ liệu không cần thiết, trong khi đó những dữ liệu quan trọng rất cần cho phân tích lại không có.
Thu thập dữ liệu
Việc thiết kế quá trình thu thập dữ liệu, ít khi được chú ý đúng mức trong lý thuyết cũng như thực tế nghiên cứu nói chung và phân tích dữ liệu nói riêng. Nhưng nguy cơ này đã bị làm giảm nhẹ đi bởi niềm tin đơn giản rằng khối lượng tính toán nhiều có thể giúp khắc phục những thiếu sót trong thiết kế thu thập dữ liệu. Thiết kế các cách thức thu thập dữ liệu là công việc quan trọng đối với đo lường và phân tích dữ liệu thống kê. Hai khía cạnh quan trọng của nghiên cứu thống kê là: Tổng thể – tập hợp các phần tử mà chúng ta quan tâm trong nghiên cứu giám sát, đánh giá; Mẫu – một tập hợp con của tổng thể. Chúng ta phải bắt đầu với việc nhấn mạnh vào tầm quan trọng của xác định tổng thể nghiên cứu mà chúng ta muốn suy diễn. Thành công của cuộc nghiên cứu, đánh giá phụ thuộc rất nhiều vào việc xác định phạm vi tổng thể nghiên cứu và đơn vị điều tra, đơn vị báo cáo.
Cốt lõi của đo lường, phân tích dữ liệu là suy diễn thống kê, tức là mở rộng hiểu biết của bạn từ một mẫu ngẫu nhiên thành hiểu biết về tổng thể. Trong toán học điều này gọi là suy diễn quy nạp. Tức là tri thức về cái chung xuất phát từ cái riêng. Mục tiêu của suy diễn thông kê là thu được thông tin về tổng thể từ thông tin chứa trong mẫu quan sát. Bởi vì không chỉ thu thập dữ liệu toàn bộ tổng thể là không khả thi, mà mẫu còn là một cách thực tế để thu thập dữ liệu vì hạn chế về thời gian và chi phí
Phân tích dữ liệu
Phân tích dữ liệu thống kê chia các phương pháp phân tích dữ liệu thành hai loại: các phương pháp thăm dò và các phương pháp khẳng định. Các phương pháp thăm dò được dùng để khám phá ý nghĩa của dữ liệu bằng các phép tính số học đơn giản và các biểu đồ đơn giản tóm tắt dữ liệu (thông kê mô tả). Các phương pháp khẳng định dùng các ý tưởng trong lý thuyết xác suất để trả lời các vân đề nghiên cứu cụ thể. Xác suất có vai trò quan trọng trong việc ra quyết định vì nó cung cấp một cơ chế để đo lường, biểu diễn, và phân tích trong những tình huống không có đủ thông tin (không thể biết hết toàn bộ tổng thể) liên quan đến các vấn đề kinh tế xã hội trong tương lai.
Phân tích dữ liệu chỉ là một giai đoạn của cả một quá trình nghiên cứu, do đó không thể có phân tích tốt mà không nắm vững toàn bộ quá trình nghiên cứu từ mục tiêu cho đến kết quả cuối cùng muốn đạt được. Không thể có phân tích dữ liệu tốt nếu cơ sở dữ liệu để phân tích không được thiết kế để thu thập tốt, không được xử lý chuẩn bị tốt cho phân tích.
Phân tích dữ liệu không phải chỉ là sử dụng đo lường một cách máy móc các kỹ thuật thống kê đơn thuần để có kết luận là chấp nhận hay bác bỏ một giả thuyết, hay xây dựng được một mô hình diễn tả mối liên hệ giữa các yếu tố đang nghiên cứu; mà là một “nghệ thuật” làm cho dữ liệu trở thành những chứng cứ thống kê có cơ sở cho việc hiểu biết, gia tăng tri thức và ra quyết định. Phân tích dữ liệu phải được vận dụng trong môi hên hệ chặt chẽ với các giai đoạn khác của quá trình nghiên cứu ở chỗ người làm công việc phân tích dữ liệu phải tham gia ngay từ đầu vào quá trình thiết kế nghiên cứu, triển khai thu thập dữ liệu và chưa thể kết thúc công việc nếu báo cáo kết quả chưa viết xong. Hoặc người nghiên cứu ngay khi thiết kế nghiên cứu phải hình dung trước những vấn đề quan trọng của phân tích dữ liệu.
Báo cáo kết quả giám sát, đánh giá
Thông qua suy diễn, từ dữ liệu mẫu thu thập được đo lường, ước lượng, kiểm định và các mô hình phân tích khác sẽ giúp khẳng định các đặc tính của tổng thể. Các kết quả có thể được báo cáo dưổi dạng bảng, đồ thị hay các số phần trăm. Vì chỉ nghiên cứu trên một mẫu nhỏ chứ không phải toàn bộ tổng thể, các kếdt quả báo cáo phải phản ảnh tính không chắc chắn qua việc sử dụng các phát biểu theo kiểu xác suất và khoảng giá trị đưa ra.
Một khía cạnh quan trọng trong giám sát, đánh giá truyền thông là nghiên cứu để tìm hiểu, đưa ra các quyết định thay đổi cho tương lai cho các chương trình truyền thông. Phán đoán tốt, trực giác và quan tâm đến thực trạng của nền kinh tế, môi trường kinh doanh, môi trường xã hội có thể cho người nghiên cứu một ý tưởng sơ bộ hay “cảm giác” về những gì có thể xảy ra trong tương lai. Tuy nhiên, chuyển từ cảm giác thành con số để có thể sử dụng một cách hiệu quả thì khá khó khăn. Phân tích dữ liệu thông kê giúp các nhà nghiên cứu và quản lý dự đoán thực tế phức tạp của kinh tê và xã hội trong tương ít rủi ro hơn.
Thao tác hóa khái niệm đo lường (Conceptualization)
Để có thể đo lường được các chỉ tiêu giám sát, đánh giá cần phải thực hiện quy trình thao tác hóa các khái niệm cơ bản trong nghiên cứu, quá trình này gọi là thao tác hóa khái niệm hoặc thao tác hóa đo lường. Việc thực hiện thao tác hóa khái niệm được bắt đầu bằng quá trình xác định khái niệm chính cần đo lường, định nghĩa khái niệm, chuyển các thuộc tính thành biến số (chỉ báo) và xây dựng thang đo cho biến số (chỉ báo) đó.
Quá trình thao tác hóa khái niệm từ đối tượng giám sát, đánh giá (cần đo lường) phải chuyển hóa thành khái niệm lớn (cụm khái niệm vấn đề), tiếp tục chuyển hóa thành khái niệm nhỏ hơn thông qua thuộc tính mô tả khái niệm lớn, tiếp tục chuyển hóa thành các biến số (đại lượng có thể đo lường), chỉ báo (đại lượng có thể đo lường) và thang đo (đơn vị đo lường). Toàn bộ quá trình thao tác hóa khái niệm giúp cho nhà nghiên cứu từ đối tượng nghiên cứu (các khái niệm trừu tượng, không thể đo lường) trở thành các đại lượng có thể đo lường, lượng hoá được.
Đối tượng, khách thể cần giám sát, đánh giá
Đối tượng cần giám sát, đánh giá trả lời cho câu hỏi chúng ta đang giám sát, đánh giá vấn đề nào, nội dung chuyên môn nào, hiệu quả thực hiện ra sao trong một quy trình truyền thông, phổ biến kiến thức? Khách thể giám sát là ai, nhóm các nhà truyền thông hay công chúng tiếp nhận. Việc xác định đối tựợng, khác thể cần giám sát, đánh giá gắn liền với việc đừa ra hệ thống khái niệm cơ bản, chủ chốt (key words) cần được thao tác để đo lường.
Khái niệm
Khái niệm là tên gọi được gán cho sự vật, hiện tượng (trong trường hợp này là truyền thông) và được định nghĩa, diễn giải từ nhiều góc độ, lăng kính khác nhau. Ví dụ thường thấy là khái niệm xã hội hóa, trong khoa học, xã hội hóa được hiểu là quá trình giáo dục đã chiều để mỗi cá nhân có thể học hỏi giá trị xã hội và trở thành con người xã hội theo đúng các chuẩn mực, xã hội đó quy định. Tuy nhiên xã hội hóa theo ngôn ngữ phổ thông được hiểu là quá trình phổ biến, nhân rộng một điều gì đó ra xã hội.
Định nghĩa khái niệm cần phải tiếp cận đa chiều, xác định các thuộc tính cơ bản của khái niệm gần với đối tượng nghiên cứu và đối tượng cần đo lường. Trên thực tế các sự vật và các thuộc tính lại luôn vận động và phát triển trong các mối quan hệ, tương tác xã hội nên khái niệm luôn được hiểu theo các cách khác nhau, cần được nghiên cứu, lý giải cẩn thận.
Định nghĩa, phân tích khái niệm là bước đầu tiên trong quá trình thao tác khái niệm lớn trở thành những khái niệm nhỏ hơn, thông qua nội hàm, thuộc tính của các khái niệm, được cân nhắc các yếu tố cần thiết để thao tác thành biến số và chỉ báo đo lường.
Định nghĩa, phân tích nội hàm khái niệm là rất khó (Ví dụ có hơn 200 định nghĩa về khái niệm văn hóa), trong quá trình thao tác hóa khái niệm cần lưu ý:
- Chọn lọc định nghĩa khái niệm, phân tích các định nghĩa từ đơn giản đến phức tạp, kế thừa ý hay của các định nghĩa
- Chọn các định nghĩa mang tính khoa học, có trong các lý thuyết khoa học, các công trình nghiên cứu và có quan niệm gần với mục tiêu giám sát, đánh giá
- Đưa ra kết luận về khái niệm, xác định rõ trong phạm vi giám sát, đánh giá và tiêu chí sẽ đo lường khái niệm trong giám sát, đánh giá
Chỉ báo (Indicator)
Là đại lượng được xác định để đo khái niệm là thuộc tính cơ bản để phản ánh về một góc độ của khái niệm. Một chỉ báo ra đời là kết quả của quá trình thao tác hóa khái niệm từ không đo lường được đến đo lường được (Ví dụ khái niệm tầng lớp xã hội thì chỉ báo là học vấn, thu nhập, hoàn cảnh gia đình…). Chỉ báo gắn với giả thuyết, nên một khái niệm sẽ được xác định có thể không đầy đủ các chỉ báo hoặc chỉ chọn các chỉ báo được ưu tiên trong đo lường.
Biến số (Variable)
Biến số: là khái niệm ở cấp độ nhỏ hơn so với nhóm khái niệm cơ bản, (Có thể bằng hoặc nhỏ hơn chỉ báo) phản ánh những thuộc tính của khái niệm, diễn tả sự thay đổi của những thuộc tính từ trạng thái này sang trạng thái khác từ vị trí này sang vị trí khác.
Từ khái niệm định nghĩa, các thuộc tính của khái niệm có thể đo lường được sẽ trở thành các biến số. Vì vậy biến số phản ánh quan hệ và tương tác xã hội xung quanh đối tượng nghiên cứu, khái niệm cơ bản của đề tài (Ví dụ học vấn và thu nhập là 2 biến số có quan hệ với nhau)
Có các biến số trong một nghiên cứu khoa học hoặc một nghiên cứu đánh giá:
Biến số độc lập là đại lượng ít thay đổi, được xác định là nguyên nhân tác động đến biến số phụ thuộc
Biến số phụ thuộc là đại lượng thay đổi, chịu tác động của biến số độc lập
Biến số trung gian là đại lượng chịu sự tác động của biến số độc lập và tác động lên biến số phụ thuộc
Biến số can thiệp là đại lượng tác động lên mối quan hệ giữa biến số độc lập và biến số phụ thuộc
Thang đo
Thang đo là giới hạn đo lường được xác định trong một chỉ báo hoặc biến số gồm các thang bậc cụ thể. Mỗi thang bậc đo lường gọi là Iterm. Thang đo vừa giống như thước kẻ trên đó xác định rõ đơn vị đo lường vừa chính là đơn vị đo lường (lượng hóa thông tin). Có 4 loại thang đo trong đo lường:
- Thang đo định danh (norminal): dùng để phân loại những khác biệt giữa các nhóm đối tượng hoặc ý kiến không có ý nghĩa đo lường
- Thang đo thứ tự (ordinal) xác định trật tự giữa các yếu tố trong thang đo theo thứ bậc có ý nghĩa tương đối thường dựa vào tiêu chuẩn chung của xã hội
- Thang đo khoảng (interval) là một thang đo thứ tự xác định khoảng cách bằng nhau giữa các yếu tố trên một thang đo
- Thang đo tỷ lệ (ratio) là thang đo khoảng có vị trí đầu tiên bằng 0
Chỉ số (Index)
Chỉ số là đại lượng đặc biệt trong đo lường, được thiết lập từ nhiều thông tin thực nghiệm khác nhau (bao gồm các chỉ báo và biến số) được tính toán, sắp đặt theo một công thức để đánh giá chung về một sự vật, hiện tượng có thể so sánh giữa vùng miền, phạm vi không gian địa lý và phạm vi thời gian biến đổi chỉ số qua các thời kỳ.
3. MỘT SỐ TIÊU CHÍ ĐO LƯỜNG CẦN CHÚ Ý KHI THỰC HIỆN GIÁM SÁT, ĐÁNH GIÁ TRUYỀN THÔNG, PHỔ BIẾN KIẾN THỨC CỦA LIÊN HIỆP HỘI VIỆT NAM
Tiêu chí 1: Nắm vững nguyên tắc đo lường về hoạt động truyền thông, phổ biến kiến thức khoa học và công nghệ của Liên hiệp Hội Việt Nam (có nhiều nội dung, loại hình tổ chức thành viên, các hoạt động phong phú và đa dạng)
Khác với việc đo lường các vấn đề, sự kiện xã hội hay đo lường về hoạt động của các nhóm xã hội, yêu cầu đo lường trong giám sát, đánh giá gắn với đo lường về quy trình truyền thông và loại hình tổ chức. Với một loại hình tổ chức các tiêu chỉ đo lường cần xác định: đặc điểm chính của tổ chức, bối cảnh thành lập và sứ mệnh tổ chức; cơ sở vật chất, tài sản, nguồn lực kinh phí; đội ngũ nhân lực; phương thức hoạt động và quản lý; các hoạt động chính; thuận lợi, khó khăn, cơ hội, thách thức…Với loại hình truyền thông, cần nắm rõ nội dung thông tin, nguồn phát, kênh phổ biến và nhận thức, tiếp nhận của công chúng.
Tiêu chí 2: Nắm vững nguyên tắc về triển khai phương pháp nghiên cứu định lượng, quy trình thao tác hóa khái niệm và đo lường trong giám sát, đánh giá gắn với các tiêu chí thống kê
Việc triến khai nghiên cứu hiệu quả truyền thông, giám sát, đánh giá hoạt động của Liên hiệp Hội Việt Nam có hiệu quả hay không phải được xác định qua hệ thống các phương pháp định lượng; xây dựng bộ công cụ nghiên cứu, đánh giá, đo lường chuyên nghiệp, bài bản, gắn vào bộ công cụ thu thập thông tin (điều tra bảng bảng câu hỏi, bảng thống kê…), thiết lập quy trình xử lý số liệu trên các phần mềm thống kê chuyên dụng như SPSS, SAS…Trong quá trình xử lý, phân tích số lập, nghiên cứu để có thể triển khai các mô hình phân tích đa biến như phân tích hồi quy, phân tích nhân tố…
Tiêu chí 3: Nắm vững nguyên tắc về triển khai phương pháp nghiên cứu định lượng, quy trình thao tác hóa khái niệm và giám sát, đánh giá đo lường gắn với các tiêu chí thống kê.
Để đảm bảo căn cứ cho việc định nghĩa khái niệm, thao tác hóa khái niệm các biến số, chỉ báo và thang đo cần xây dựng hệ thống tư liệu cần thiết và đảm bảo cho việc xây dựng hệ thống đo lường đầy đủ, không bị thiếu thông tin như: sử dụng thư viện, sử dụng tổng quan các công trình nghiên cứu, đánh giá liên quan chủ đề Liên hiệp Hội, sử dụng các báo cáo, văn kiện, kỷ yếu hội nghị, hội thảo trong và ngoài hệ thống, trao đổi với các chuyên gia, người am hiểu vấn đề (những nhà nghiên cứu, đồng nghiệp, người trong cuộc).
Cần phân tích rõ mục tiêu, nhiệm vụ truyền thông, phổ biến kiến thức, các khái niệm chủ chốt cần đo lường, đưa ra các giả thuyết cần kiểm định thông qua đo lường, phân tích số liệu thống kê.
Tiêu chí 4: Đảm bảo tính hiệu lực của phương pháp, quy trình đo lường trong giám sát, đánh giá
Trong quá trình phát triển các phương tiện để đo các khái niệm trừu tượng, tính hiệu lực đo lường mang tính quyết định cho kết quả nghiên cứu. Tính hiệu lực của đơn vị đo phụ thuộc vào sự thích hợp giữa khái niệm và các chỉ báo thực nghiệm đo nó.
Hiệu lực về nội dung: là kiểm nghiệm tính hiệu lực cơ bản nhất, kiểm tra cẩn thận số đo của các khái niệm đã được thao tác thành biến số, chỉ báo, ý nghĩa của nó. Hình thức kiểm tra này là phương pháp hình thành nên hiệu lực về danh nghĩa trong đó câu hỏi đặt ra là liệu các chỉ báo thực nghiệm (các phép thử, thang đo, loại câu hỏi…) có đại diện đầy đủ nghĩa của khái niệm đang nghiên cứu (cần đo) hay không? Thực tế khái niệm càng trừu tượng thì càng khó có thể đạt được hiệu lực nội dung. Chính vì thế người ta hiếm khi thử nghiệm hiệu lực mẫu trong việc phê chuẩn các số đo của các khái niệm khoa học xã hội trừu tượng.
Hiệu lực tiêu chuẩn tương quan là một tiêu chuẩn có thể được đo đồng thời như một khái niệm. Trong trường hợp này phải có 2 số đo: số đo chính sự kiểm tra (một hệ thống các chỉ báo thực nghiệm) và tiêu chuẩn cho sự kiểm tra đó dựa vào. Thường quá trình này phải sử dụng mối tương quan giữa số đo và tiêu chuẩn để xác định hiệu lực tiêu chuẩn tương quan.
Hiệu lực xây dựng là hiệu lực dựa trên các giả thuyết về các khái niệm đang được đo và sau đó thử nghiệm các giả thuyết này và liên hệ các kết quả với số đo ban đầu.
Tiêu chí 5: Đảm bảo độ tin cậy, xác thực của thông tin giám sát, đánh giá trong đo lường
Độ tin cậy hay tính xác thực được coi như độ chuẩn của qúa trình đo lường trong quá trình thu thập thông tin. Hiểu đơn giản đó là những thông tin chính xác, khách quan được người trả lời cung cấp. Tuy nhiên thực tế có rất nhiều phép đo không đảm bảo được độ tin cậy do các câu hỏi trong quá trình thu thập thông tin quá nhạy cảm, do cách đặc câu hỏi, do tâm lý người cung cấp thông tin, bối cảnh điều tra khảo sát…Thậm chí khách quan do sự việc sự kiện thay đổi, nên cũng 1 chỉ báo đo trên 1 đối tượng, thời gian, bối cảnh khác nhau sẽ có kết quả khác nhau.
Độ tin cậy của thông tin phải được tính toán nghiêm túc, cẩn thận từ khi bắt đầu xây dựng các công cụ đo lường.
Tính hiệu lực và độ tin cậy luôn là 2 mặt của 1 vấn đề trong việc sử dụng phương pháp đo lường và 2 mặt này không hoàn toàn đồng nhất. Trong 1 số trường hợp nhà nghiên cứu có thể giảm tính hiệu lực để tăng độ tin cậy và ngược lại.
Tiêu chí 6: xây dựng bộ công cụ đánh giá tổ chức vững mạnh (hoặc chưa vững mạnh) tại thời điểm đánh giá, cần hướng đến nghiên cứu, xây dựng các chỉ số để có thể làm công tác đánh giá hàng năm về hoạt động truyền thông, phổ biến kiến thức toàn hệ thống và từng bộ phận cụ thể thuộc Liên hiệp Hội Việt Nam
Theo Đặng Vũ Cảnh Linh (chủ biên), tác giả chương 8: Sổ tay Truyền thông, phổ biến kiến thức khoa học và công nghệ dành cho cán bộ Hội, Nhà xuất bản Nông nghiệp 2020
