Đây là một trong những chỗ nghiên cứu sinh bị hội đồng hỏi nhiều nhất, và cũng là chỗ nhiều người trả lời không vững — vì họ biết cách chạy phần mềm nhưng chưa nắm chắc mình đang tính cái gì.
Những hiểu lầm phổ biến
Khác biệt có ý nghĩa thống kê không đồng nghĩa với khác biệt quan trọng. Với cỡ mẫu đủ lớn, một khác biệt rất nhỏ vẫn có thể đạt ngưỡng. Câu hỏi tiếp theo luôn phải là: khác biệt này lớn tới đâu, và nó có ý nghĩa thực tiễn không.
Không đạt ngưỡng không có nghĩa là không có khác biệt. Nó có thể chỉ nghĩa là dữ liệu của bạn chưa đủ để kết luận. Đây là hai điều khác nhau về bản chất và hay bị viết nhầm trong luận án.
Tương quan không phải nhân quả. Ai cũng biết câu này, nhưng nó vẫn bị vi phạm ở phần bàn luận, thường bằng những cách diễn đạt mập mờ.
Kiểm định nhiều lần làm tăng khả năng ra kết quả sai. Nếu bạn chạy hai mươi phép kiểm định, việc có một cái đạt ngưỡng do ngẫu nhiên là chuyện dễ xảy ra. Có các cách hiệu chỉnh cho tình huống này, và cần dùng khi phù hợp.
Những câu hỏi cần trả lời trước khi phân tích
- Câu hỏi nghiên cứu của tôi là gì — phát biểu bằng lời trước khi nghĩ tới phép tính nào.
- Dữ liệu của tôi thuộc loại nào — điều này quyết định phương pháp phù hợp.
- Các giả định của phương pháp tôi định dùng là gì, và dữ liệu của tôi có thoả mãn không.
- Cỡ mẫu có đủ không. Tính trước, đừng thu thập rồi mới hỏi.
- Tôi định xử lý dữ liệu thiếu thế nào.
Quyết định những điều này trước khi nhìn thấy dữ liệu là ranh giới giữa phân tích chặt chẽ và việc tìm kiếm kết quả đẹp.
Việc cần làm trước mọi phép kiểm định
Nhìn dữ liệu trước. Vẽ ra. Nhiều vấn đề lộ ra ngay khi bạn nhìn phân bố: giá trị bất thường, dữ liệu bị nhóm lại theo cách không mong đợi, hoặc một quan hệ hoàn toàn khác với giả định của bạn.
Chạy thẳng phép kiểm định mà chưa nhìn dữ liệu là cách bỏ sót những thứ quan trọng nhất.
Trình bày kết quả
- Báo cáo cả độ lớn của hiệu ứng, không chỉ việc có đạt ngưỡng hay không.
- Kèm khoảng tin cậy khi phù hợp — nó cho người đọc biết mức độ chắc chắn.
- Nêu rõ phương pháp, phần mềm và phiên bản đã dùng.
- Báo cáo mọi phân tích đã thực hiện, không chỉ những cái cho kết quả đẹp.
- Phân biệt rõ phân tích đã định trước với phân tích thăm dò nảy sinh sau khi nhìn dữ liệu. Cả hai đều hợp lệ, nhưng phải nói rõ cái nào là cái nào.
Khi bạn không chắc
Đây là lời khuyên thực tế nhất: hỏi người có chuyên môn thống kê trước khi thu thập dữ liệu, không phải sau.
Một chuyên gia thống kê nhìn thiết kế của bạn trước có thể chỉ ra vấn đề còn sửa được. Nhìn dữ liệu đã thu xong thì họ chỉ có thể nói cho bạn biết dữ liệu này không trả lời được câu hỏi kia.
Nhiều trường có bộ phận hỗ trợ thống kê. Nếu không, người trong nhóm nghiên cứu hoặc bộ môn khác thường sẵn lòng góp ý.
Chuẩn bị cho câu hỏi của hội đồng
Với mỗi phép phân tích trong luận án, hãy tự trả lời được ba câu: vì sao tôi chọn phương pháp này, các giả định của nó có được thoả mãn không, và kết quả này có ý nghĩa thực tiễn gì.
Nếu bạn trả lời được ba câu đó cho mọi phân tích, phần hỏi đáp về thống kê sẽ không làm khó bạn.
Câu hỏi thường gặp
Khác biệt có ý nghĩa thống kê có nghĩa là quan trọng không?
Không. Với cỡ mẫu đủ lớn, một khác biệt rất nhỏ vẫn có thể đạt ngưỡng. Cần hỏi thêm khác biệt đó lớn tới đâu và có ý nghĩa thực tiễn không.
Không đạt ngưỡng có nghĩa là không có khác biệt không?
Không. Nó có thể chỉ nghĩa là dữ liệu chưa đủ để kết luận. Đây là hai điều khác nhau về bản chất và hay bị viết nhầm trong luận án.
Nên làm gì trước khi chạy phép kiểm định?
Nhìn dữ liệu và vẽ ra trước. Nhiều vấn đề lộ ra ngay khi nhìn phân bố, như giá trị bất thường hoặc quan hệ khác hẳn giả định.
Khi nào nên hỏi chuyên gia thống kê?
Trước khi thu thập dữ liệu. Nhìn thiết kế trước thì họ chỉ ra được vấn đề còn sửa; nhìn dữ liệu đã thu xong thì chỉ nói được rằng nó không trả lời được câu hỏi.
Cần trình bày gì ngoài việc kết quả có đạt ngưỡng?
Độ lớn của hiệu ứng, khoảng tin cậy khi phù hợp, phương pháp và phần mềm đã dùng, và phân biệt rõ phân tích đã định trước với phân tích thăm dò.
