Đánh giá tác động của một dự án hoặc chương trình phát triển: Phương pháp Propensity Score Matching

              Thực chất của việc đánh giá sự tác động là so sánh lợi ích mà người tham gia thu được sau khi dự án xuất hiện. Sự so sánh có thể thực hiện theo thời gian hoặc theo không gian hoặc kết hợp cả hai. Theo thời gian thì gọi là so sánh trước và sau dự án còn theo không gian là so sánh giữa người tham gia và người không tham gia, và khi kết hợp được cả không gian và thời gian thì sự so sánh sẽ phản ánh đầy đủ nhất tác động của dự án. Nội dung trung tâm trong hoạt động đánh giá sự tác động là tạo ra được sự tương đồng trong quá trình so sánh, nghĩa là việc so sánh theo thời gian phải được thực hiện đối với cùng một người tham gia, còn so sánh theo không gian phải được diễn ra giữa những người tham gia và không tham gia có những đặc điểm tương tự nhau. Cần phải có sự tương đồng trong so sánh, nếu không kết quả thu được có thể sẽ quá cao hoặc quá thấp so với tác động thực, sự tương đồng trong so sánh giúp chúng ta có thể tiếp cận đến giá trị tác động đích thực của dự án. Chẳng hạn, để so sánh năng suất của hai giống lúa khác nhau, người ta sẽ trồng cả hai loại trong một điều kiện tự nhiên và dưới sự săn sóc như nhau, có như vậy thì sự khác biệt về năng suất sẽ thực sự xuất phát từ bản thân của giống lúa. Tuy nhiên, trong lĩnh vực khoa học xã hội, việc tạo ra sự tương đồng trong so sánh không hề đơn giản. Chẳng hạn, rất khó có thể tìm được những hộ gia đình có đặc điểm giống nhau hoàn toàn về nhân khẩu học, giá trị tài sản sở hữu, năng lực và kinh nghiệm trong sản xuất-kinh doanh... Vì vậy, trên lý thuyết, các phương pháp đánh giá sự tác động hướng đến việc tạo ra sự tương đồng trong khi so sánh.

            Có nhiều phương pháp để tạo ra sự tương đồng trong so sánh, bao gồm so sánh theo không gian, so sánh theo thời gian và so sánh kết hợp không gian và thời gian. Trong đó phương pháp so sánh theo không gian mà cụ thể là phương pháp Propensity Score Matching (PSM) được đánh giá rất cao trong đánh giá tác động của dự án. Tính ưu việt của phương pháp PSM chính là tính khả thi của nó. Đối với các phương pháp so sánh có liên quan đến thời gian như so sánh phản thân (reflexive comparisons) và khác biệt kép (double difference), cần phải tổ chức khảo sát trong nội bộ ngƣời tham gia trước và sau khi tham gia dự án, sau đó so sánh kết quả của hai đợt khảo sát sẽ được so sánh để tìm ra tác động của dự án. Yêu cầu cơ bản của phương pháp này là cả hai đợt khảo sát phải được thực hiện đối với cùng một người tham gia để tạo ra sự tương đồng trong so sánh. Mặc dù phương pháp này không phức tạp về kỹ thuật nhưng không phải dự án nào cũng có tổ chức khảo sát tiền dự án nên việc áp dụng phương pháp so sánh theo thời gian trở nên khó áp dụng. Việc đánh giá sự tác động thông thường chỉ được đề cập đến sau khi dự án đã đi vào hoạt động, vì thế việc so sánh theo không gian bằng PSM trở nên khả thi hơn so với so sánh theo thời gian.

            Theo Baker (2000) và Ravallion (2001), các bước cơ bản để thực hiện so sánh bằng PSM được tóm tắt như sau:

- Bước 1: Tiến hành điều tra chọn mẫu hai nhóm: nhóm người tham gia và nhóm người không tham gia. Cuộc điều tra này phải bảm bảo được tính tương đồng, chẳng hạn như cùng phiếu điều tra, cùng thời điểm, cùng ngƣời phỏng vấn, cùng địa bàn …

- Bước 2: Từ số liệu của cuộc điều tra, xây dựng mô hình logic trong đó biến phụ thuộc là 0 cho người không tham gia và 1 cho người tham gia, còn biến độc lập là những nhân tố có thể ảnh hưởng đến khả năng tham gia vào dự án của cả hai nhóm.

- Bước 3: Tiến hành hồi quy cho mô hình logic rồi tính giá trị dự đoán hay xác suất dự đoán (predicted propability) cho từng cá thể trong hai nhóm. Giá trị xác suất dự đoán được gọi là propesity score, giá trị này sẽ nằm trong khoảng từ 0 đến 1.

- Bước 4: Loại bớt những cá thể có xác suất dự đoán quá thấp hoặc quá cao so với cả mẫu. 

- Bước 5: Tương ứng với mỗi cá thể trong nhóm người tham gia, chúng ta tìm một hoặc một số cá thể trong nhóm người không tham gia mà có xác suất dự đoán gần giống nhau nhất rồi so sánh với nhau. Chẳng hạn, so sánh thu nhập của cá thể trong nhóm người tham gia với thu nhập bình quân của các cá thể trong nhóm người không tham gia mà có xác suất sự đoán gần giống nhau nhất. Kết quả của những so sánh này là tác động của dự án đối với mỗi cá thể tham gia dự án, gọi là “individual gains”.

- Bước 6: Cuối cùng tính trung bình của tất cả “individual gains” để được giá trị trung bình chung, giá trị trung bình trung này chính là tác động của dự án với những người tham gia.

Những bước cơ bản là như vậy, còn thực tế sẽ phức tạp hơn hay đơn giản hơn tùy từng dự án. Trong các bước trên, hai bước đầu tiên là quan trọng nhất và khó nhất. Nếu làm tốt hai bước này, việc tính toán còn lại chỉ đơn thuần là một bài tính trừ.

Phương pháp PSM đã được áp dụng để đánh giá tác động của một dự án phát triển đàn bò sữa đối với các hộ tham gia vào dự án tại huyện Củ Chi, TP. HCM năm 2003. Các bước tiến hành được tóm tắt như sau:

- Bước 1: Tiến hành điều tra chọn mẫu hai nhóm hộ: 150 hộ có tham gia dự án và 150 hộ không tham gia dự án. Cuộc điều tra này phải đảm bảo được tính tương đồng, chẳng hạn như cùng phiếu điều tra, cùng thời điểm, cùng người phỏng vấn, cùng địa bàn…

- Bước 2: Từ số liệu của cuộc điều tra, xây dựng mô hình logit trong đó biến phụ thuộc là 0 cho hộ không tham gia dự án và 1 cho hộ có tham gia dự án, còn biến độc lập là những nhân tố có thể ảnh hưởng đến khả năng tham gia vào dự án của cả hai nhóm, ví dụ: đặc điểm nhân khẩu học của hộ, đặc điểm về hoạt động chăn nuôi của hộ. 

- Bước 3: Tiến hành hồi quy cho mô hình logit rồi tính giá trị dự đoán hay xác suất dự đoán cho từng hộ ở cả hai nhóm.

- Bước 4: Loại bớt những hộ có xác suất dự đoán quá thấp hoặc quá cao so với cả mẫu/

- Bước 5: Tương ứng với mỗi hộ trong nhóm tham gia dự án, tìm một hoặc một số hộ trong nhóm không tham gia dự án có xác suất dự đoán gần giống nhau nhất rồi so sánh với nhau. Tổng cộng có 144 lượt so sánh được thực hiện, có 6 hộ tham gia bị loại khỏi so sánh vì có xác suất dự đoán quá cao so với mẫu. 

- Bước 6: Kết quả đánh giá tác động chung của dự án đối với thu nhập bình quân đầu người/tháng của những hộ tham gia là gần 200.000 đồng. Con số này có nghĩa là dự án đã có tác động tích cực đến thu nhập từ sữa của các hộ tham gia vào dự án, và xét trên tổng thể, thu nhập bình quân đầu người/tháng từ sữa của những hộ tham gia cao hơn những hộ không tham gia là gần 200.000 đồng.

 

            Để so sánh thu nhập giữa hai nhóm bất kỳ, người ta còn có thể áp dụng phương pháp so sánh giá trị trung bình giữa hai nhóm có kèm kiểm định T (Independent Sample T-test). Áp dụng phương pháp này vào dữ liệu khảo sát ở trên sẽ được kết quả như sau:

 

 

 

Giá trị chênh lệch thu nhập bình quân	Sai số chuẩn	Trung bình sai số chuẩn	t	Bậc tự do	Mức ý nghĩa thống kê ở 95%
324,514	937,525	76,548	-4,239	149	0,000

 

Bảng trên cho thấy kết quả so sánh bằng phương pháp thông thường cho ra kết quả thu thập bình quân đầu người của những hộ tham gia cao hơn những hộ không tham gia là gần 325.000 đồng, trong khi đó kết quả từ những phương pháp PSM là gần 200.000 đồng. Khoảng tin cậy cho giá trị tính toán về chênh lệch thu nhập giữa hai nhóm được tính toán từ công thức:

Kết quả khoảng tin cậy là (µ1-µ2) = 165.568 đến 483.461 đồng, nên cả hai kết quả tính toán về giá trị tác động của dự án đều có ý nghĩa về mặt thống kê, nhưng theo nhận xét của các chuyên gia trong lĩnh vực chăn nuôi bò sữa tại vùng nghiên cứu thì kết quả của phương pháp PSM có vẻ hợp lý hơn con số được tính theo cách so sánh thông thường. 

 

 

Phương pháp PSM giúp xác định và so sánh những đối tượng có nét tương đồng, vì vậy cần mẫu quan sát tương đối lớn. Ngoài ra, cần nhận diện tốt những nhân tố có thể tác động đến khả năng tham gia và không tham gia vào dự án của các đối tượng nghiên cứu, làm cơ sở cho mô hình logic. Với các dự án và chương trình phát triển, các chủ đầu tư đôi khi miễn cưỡng tiến hành đánh giá tác động đối với những đối tượng thụ hưởng vì quan ngại kết quả đánhg giá tác động có thể không như kỳ vọng, sẽ ảnh hưởng đến uy tín của chủ đầu tư. Thêm vào đó, hoạt động đánh giá tác động cũng có thể chiếm một khoản kinh phí không nhỏ đối với chủ đầu tư (khảo sát dữ liệu, xử lý dữ liệu, thuê chuyên gia…). Vì vậy, với một nguồn lực hạn chế, hoạt động đánh giá tác động thường bị bỏ qua trong tiến trình của một dự án. Tuy nhiên, nếu xét trong tương lai dài hạn, kết quả đánh giá tác đọng của dự án này sẽ là bài học kinh nghiệm quý giá cho những dự án tương tự sau đó, nhờ đó, hiệu quả của dự án sẽ được cải thiện và nâng cao.

Trong bối cảnh hiện nay khi hiệu quả của các dự án phát triển nhằm thực hiện mục tiêu phát triển kinh tế không cao và đang là một vấn đề quan tâm của chủ dự án – các tổ chức và chính quyền các địa phương. Phương pháp PSM này có thể sử dụng tốt trong đánh giá tính hiệu quả của các dự án phát triển khi triển khai thực hiện ở các địa phương trước khi được tiến hành đại trà trên diện rộng. Phương pháp này sẽ góp them một công cụ góp phần nâng cao hiệu quả các dự án qua đó góp phần phát triển kinh tế bền vững cho địa phương và được sử dụng bởi chính quyền các địa phương và các tổ chức tài trợ dự án.

 

 

[1] Baker, J.L. (2000) Direction in Development-Evaluating the Impact of Development Projects on Poverty-A Handbook for Practicioners, Ngân hàng Thế giới, Washington, D.C.

[2] http://www.worldbank.org/poverty/library/impact.pdf, ngày truy cập: 20/10/2002.

[3] Ravallion, M. (2001) „The Mystery of the Vanishing Benefits: An Introduction to Impact Evaluation‟, The World Bank Economic Review, quyển 15, số 1, từ trang 115 đến trang 140.

[4] Wonnacott, T.H. và Wonnacott, R.J. (1990) Introductory Statistics. New York: John Wiley&Son, tái bản lần thứ 5.