วันศุกร์ที่ 6 พฤศจิกายน พ.ศ. 2552

การพัฒนา "ตัวบ่งชี้" ...ตอน 1


กระบวนการพัฒนาตัวบ่งชี้มีขั้นตอนคล้ายกับขั้นตอนในกระบวนการวัดตัวแปร แต่มีขั้นตอนเพิ่มมากขึ้นในส่วนที่เกี่ยวกับการรวมตัวแปรเข้าเป็นตัวบ่งชี้ และการตรวจสอบคุณภาพของตัวบ่งชี้ที่พัฒนาขึ้น ขั้นตอนในกระบวนการพัฒนาตัวบ่งชี้ที่นักวิชาการกำหนดไว้มีลักษณะคล้ายคลึงกัน มีส่วนแตกต่างกันในบางขั้นตอน (Blank, 1993 ; Johnstone, 1981 ; Burstein, Oakes, and Guiton, 1992 ; Nardo, et al,2005 อ้างใน นงลักษณ์ วิรัชชัย. 2551 : 8-15) ซึ่งสามารถสรุปรวมเป็นขั้นตอนที่สำคัญในการพัฒนาตัวบ่งชี้ 6 ขั้นตอน คือ ขั้นการกำหนดวัตถุประสงค์ของการพัฒนาตัวบ่งชี้ การนิยามตัวบ่งชี้ การรวบรวมข้อมูล การสร้างตัวบ่งชี้ การตรวจสอบคุณภาพตัวบ่งชี้ และการนำเสนอรายงาน รายละเอียดแต่ละขั้นตอนมีดังต่อไปนี้

1. การกำหนดวัตถุประสงค์

ขั้นตอนแรกของการพัฒนาตัวบ่งชี้ คือ การกำหนดวัตถุประสงค์ของการพัฒนาตัวบ่งชี้ นักประเมินต้องกำหนดล่วงหน้าว่าจะนำตัวบ่งชี้ที่พัฒนาขึ้นไปใช้ประโยชน์ในเรื่องอะไร และอย่างไร วัตถุประสงค์สำคัญในการพัฒนาตัวบ่งชี้ คือ เพื่อพัฒนาและตรวจสอบคุณภาพตัวบ่งชี้ที่พัฒนาขึ้นให้ได้ตัวบ่งชี้ที่จะนำไปใช้ประโยชน์

โดยที่ตัวบ่งชี้ที่พัฒนาขึ้นเพื่อใช้ประโยชน์ต่างกัน มีลักษณะแตกต่างกัน เช่น ตัวบ่งชี้ที่พัฒนาขึ้นเพื่อประเมินคุณภาพการศึกษา ควรเป็นตัวบ่งชี้ประเภทอิงเกณฑ์ ตัวบ่งชี้เพื่อประเมินความก้าวหน้าในการดำเนินงาน ควรเป็นตัวบ่งชี้ประเภทอิงเกณฑ์ ตัวบ่งชี้เพื่อประเมินความก้าวหน้าในการดำเนินงาน ควรเป็นตัวบ่งชี้ประเภทอิงตน และตัวบ่งชี้เพื่อใช้จัดจำแนกระบบการศึกษาของประเทศต่าง ๆ หลายประเทศ ควรเป็นตัวบ่งชี้ประเภทอิงกลุ่ม เป็นต้น ด้วยเหตุนี้นักประเมินที่ต้องการพัฒนาตัวบ่งชี้จึงต้องกำหนดวัตถุประสงค์ในการพัฒนาตัวบ่งชี้ให้ชัดเจนว่าจะพัฒนาตัวบ่งชี้ไปใช้ประโยชน์ทำอะไร และเป็นประโยชน์ในการดำเนินงานอย่างไร การกำหนดวัตถุประสงค์ของการพัฒนาตัวบ่งชี้ที่ชัดเจนย่อมส่งผลให้ได้ตัวบ่งชี้ที่มีคุณภาพสูง และเป็นประโยชน์สมตามวัตถุประสงค์ที่ต้องการ

2. การนิยามตัวบ่งชี้

หลังจากการกำหนดวัตถุประสงค์ในการพัฒนาตัวบ่งชี้แล้ว งานสำคัญชิ้นแรกในกระบวนการพัฒนาตัวบ่งชี้ คือ การกำหนดนิยามตัวบ่งชี้ เพราะนิยามตัวบ่งชี้ที่กำหนดขึ้นนั้นจะเป็นตัวชี้นำวิธีการที่จะต้องใช้ในขั้นตอนต่อไปของกระบวนการพัฒนาตัวบ่งชี้ เนื่องจากตัวบ่งชี้ หมายถึง องค์ประกอบที่ประกอบด้วยตัวแปรย่อย ๆ รวมกันเพื่อแสดงสารสนเทศ หรือคุณลักษณะของสิ่งที่ต้องการบ่งชี้ ดังนั้นในขั้นตอนการนิยามตัวบ่งชี้นี้ นอกจากจะเป็นการกำหนดนิยามในลักษณะเดียวกับการนิยามตัวแปรในการวิจัยทั่วไปแล้ว นักประเมินต้องกำหนด้วยว่าตัวบ่งชี้ประกอบด้วยตัวแปรย่อยอะไร และรวมตัวแปรย่อยเป็นตัวบ่งชี้อย่างไร Burstein, Oakes and Guiton แยกการนิยามตัวบ่งชี้เป็น 2 ส่วน ส่วนแรก คือ การกำหนดกรอบความคิด หรือการสร้างสังกัป (conceptualization) เป็นการให้ความหมายคุณลักษณะของสิ่งที่ต้องการบ่งชี้โดยการกำหนด รูปแบบหรือโมเดลแนวคิด (conceptual model) ของสิ่งที่ต้องการบ่งชี้ก่อนว่ามีส่วนประกอบแยกย่อยเป็นกี่มิติ (dimension) และกำหนดว่าแต่ละมิติประกอบด้วยสังกัป (concept) อะไรบ้าง ส่วนที่สองยังแยกได้เป็นส่องส่วนย่อย คือ การพัฒนาตัวแปรส่วนประกอบ หรือตัวแปรย่อย (development of component measures) และการสร้างและกำหนดมาตร (construction and scaling) การนิยามในส่วนนี้ เป็นการกำหนดนิยามปฏิบัติการตัวแปรย่อยตามโมเดลแนวคิด และการกำหนดวิธีการรวมตัวแปรย่อยเข้าเป็นตัวบ่งชี้

จากการนิยามตัวบ่งชี้ นักประเมินจะได้ รูปแบบความสัมพันธ์โครงสร้าง (structural relationship model) ของตัวบ่งชี้ เนื่องจากรูปแบบความสัมพันธ์โครงสร้างของตัวบ่งชี้ คือ โครงสร้าง (structure) ที่อธิบายว่าตัวบ่งชี้ประกอบด้วยตัวแปรย่อยอะไร ตัวแปรย่อยมีความสัมพันธ์กับตัวบ่งชี้อย่างไร และตัวแปรย่อยแต่ละตัวมีน้ำหนักความสำคัญต่อตัวบ่งชี้ต่างกันอย่างไร ดังนั้นการกำหนดนิยามตัวบ่งชี้จึงประกอบด้วยการกำหนดรายละเอียด 3 ประการ ประการแรก คือ การกำหนดส่วนประกอบ (components) หรือตัวแปรย่อย (component variables) ของตัวบ่งชี้ นักประเมินต้องอาศัยความรู้จากทฤษฎี และประสบการณ์ศึกษาตัวแปรย่อยที่เกี่ยวข้องสัมพันธ์ (relate) และตรง (relevant) กับตัวบ่งชี้ แล้วตัดสินใจคัดเลือกตัวแปรย่อยเหล่านั้น ว่าจะใช้ตัวแปรย่อยจำนวนเท่าใด ใช้ตัวแปรย่อยประเภทใดในการพัฒนาตัวบ่งชี้ ประการที่สอง คือ การกำหนดวิธีการรวม (combination method) ตัวแปรย่อย นักประเมินต้องศึกษา และตัดสินใจเลือกวิธีการรวมตัวแปรย่อยให้ได้ตัวบ่งชี้ ซึ่งโดยทั่วไปทำได้เป็น 2 แบบ คือ การรวมตัวแปรย่อยด้วยการบวก (addition) และการคูณ (multiplication) ส่วนประการที่สาม คือ การกำหนดน้ำหนัก (weight) การรวมตัวแปรย่อยเข้าเป็นตัวบ่งชี้ นักประเมินต้องกำหนดน้ำหนักแทนความสำคัญของตัวแปรย่อยแต่ละตัวในการสร้างตัวบ่งชี้โดยอาจกำหนดให้ตัวแปรย่อยทุกตัวมีน้ำหนักเท่ากัน หรือต่างกันได้

การกำหนดรายละเอียดทั้งสามประกอบสำหรับการนิยามตัวบ่งชี้นั้น Johnstone อธิบายว่าทำได้ 3 วิธี แต่ละวิธีมีความเหมาะสมกับสถานการณ์ และมีวิธีการในการพัฒนาตัวบ่งชี้แตกต่างกัน ดังต่อไปนี้

2.1 การพัฒนาตัวบ่งชี้โดยใช้นิยามเชิงปฏิบัติการ (Pragmatic Definition)

นิยามเชิงปฏิบัติการ เป็นนิยามที่ใช้ในกรณีที่มีการรวบรวมข้อมูลเกี่ยวกับตัวแปรย่อยที่เกี่ยวข้องกับตัวบ่งชี้ไว้พร้อมแล้ว มีฐานข้อมูลแล้ว หรือมีการสร้างตัวแปรประกอบจากตัวแปรย่อย ๆ หลายตัวไว้แล้ว นักประเมินเพียงแต่ใช้วิจารณญาณคัดเลือกตัวแปรจากฐานข้อมูลที่มีอยู่และนำมาพัฒนาตัวบ่งชี้โดยกำหนดวิธีการรวมตัวแปรย่อย และกำหนดน้ำหนักความสำคัญของตัวแปรย่อย วิธีการกำหนดนิยามตัวบ่งชี้วิธีนี้อาศัยการตัดสินใจ และ ประสบการณ์ของนักประเมินเท่านั้น ซึ่งอาจทำให้ได้นิยามที่ลำเอียงเพราะไม่มีการอ้างอิงทฤษฎี หรือตรวจสอบความสัมพันธ์ระหว่างตัวแปรแต่อย่างไร จึงเป็นนิยามที่มีจุดอ่อนมากที่สุดเมื่อเทียบกับนิยามแบบอื่น และไม่ค่อยมีผู้นิยมใช้

2.2 การพัฒนาตัวบ่งชี้โดยใช้นิยามเชิงทฤษฎี (Theoretical Definition)

นิยามเชิงทฤษฎี เป็นยามที่นักประเมินใช้ทฤษฎีรองรับสนับสนุนการตัดสินใจของนักวิจัยโดยตลอด และใช้วิจารณญาณของนักวิจัยน้อยมากกว่าการนิยามแบบอื่น การนิยามตัวบ่งชี้โดยใช้การนิยามเชิงทฤษฎีนั้นอาจทำได้สองแบบ แบบแรกเป็นการใช้ทฤษฎี และเอกสารงานวิจัยเป็นพื้นฐานสนับสนุนทั้งหมดตั้งแต่การกำหนดตัวแปรย่อย การกำหนดวิธีการรวมตัวแปรย่อย และการกำหนดน้ำหนักตัวแปรย่อย โดยอาจใช้โมเดลหรือสูตรในการสร้างตัวบ่งชี้ตามที่มีผู้พัฒนาไว้แล้วทั้งหมด แบบที่สอง เป็นการใช้ทฤษฎี และเอกสารงานวิจัยเป็นพื้นฐานสนับสนุนในการคัดเลือกตัวแปรบ่อย และการกำหนดวิธีการรวมตัวแปรย่อยเท่านั้น ส่วนในขั้นตอนการกำหนดน้ำหนักตัวแปรย่อยแต่ละตัวนั้น เป็นการใช้ความคิดเห็นผู้ทรงคุณวุฒิหรือผู้เชี่ยวชาญประกอบในการตัดสินใจ วิธีแบบนี้ใช้ในกรณีที่ยังไม่มีผู้ใดกำหนดสูตรหรือโมเดลตัวบ่งชี้ไว้ก่อน

2.3 การพัฒนาตัวบ่งชี้โดยใช้นิยามเชิงประจักษ์ (Empirical Definition)

นิยามเชิงประจักษ์ เป็นนิยามที่มีลักษณะใกล้เคียงกับนิยามเชิงทฤษฎี เพราะเป็นนิยามกำหนดว่าตัวบ่งชี้ประกอบด้วยตัวแปรย่อยอะไร และกำหนดรูปแบบวิธีการรวมตัวแปรให้ได้ตัวบ่งชี้โดยมีทฤษฎี เอกสารวิชาการ หรืองานวิจัยเป็นพื้นฐาน แต่การกำหนดน้ำหนักของตัวแปรแต่ละตัวที่จะนำมารวมกันในการพัฒนาตัวบ่งชี้นั้นมิได้อาศัยแนวคิดทฤษฎีโดยตรง แต่อาศัยการวิเคราะห์ข้อมูลเชิงประจักษ์ การนิยามแบบนี้มีความเหมาะสม และเป็นที่นิยมใช้กันอยู่มาจนถึงทุกวันนี้

เมื่อพิจารณาวิธีการนิยามตัวบ่งชี้ทั้ง 3 วิธีของ Johnstone ที่กล่าวข้างต้นเปรียบเทียบกับวิธีการนิยามตัวแปร 2 วิธีที่ใช้ในการวิจัยทั่วไป จะเห็นได้ว่า Johnstone ให้ความสำคัญกับการนิยามระดับนามธรรมตามทฤษฎี หรือการนิยามโครงสร้างที่มีทฤษฎีและเอกสารงานวิจัยเป็นพื้นฐานในการนิยาม วิธีการนิยามตัวบ่งชี้ทั้ง 3 วิธี โดยเฉพาะสองวิธีหลังของ Johnstone ล้วนแต่ต้องมีทฤษฎีเป็นหลักทั้งสิ้น จึงกล่าวได้ว่าการนิยามทุกวิธีในส่วนของการกำหนดตัวแปรย่อย และการกำหนดวิธีการรวมตัวแปรเป็นนิยามโครงสร้างตามทฤษฎีทั้งสิ้น ส่วนการแบ่งประเภทวิธีการนิยามนั้นเป็นเพียงการแบ่งโดยใช้เกณฑ์มากำหนดว่าน้ำหนักตัวแปรย่อยจะใช้ทฤษฎี หรือข้อมูลเชิงประจักษ์เท่านั้น สรุปได้ว่านิยามเชิงประจักษ์มีลักษณะเทียบเคียงได้กับนิยามเชิงทฤษฎี ต่างกันที่การกำหนดน้ำหนักตัวแปรย่อยในวิธีแรกใช้ทฤษฎี ส่วนในวิธีหลังใช้ข้อมูลเชิงประจักษ์

ในจำนวนวิธีการกำหนดนิยามตัวบ่งชี้ทั้ง 3 วิธีของ Johnstone ที่กล่าวข้างต้นนั้น วิธีการนิยามเชิงประจักษ์ เป็นวิธีที่นิยมใช้กันมากที่สุด ประเด็นที่น่าสังเกตเกี่ยวกับการกำหนดนิยามเชิงประจักษ์ คือ การกำหนดน้ำหนักตัวแปรย่อยนั้น ในความเป็นจริงมิใช่การกำหนดนิยามจากการศึกษาเอกสารและทฤษฎี แต่เป็นการดำเนินการวิจัยโดยใช้ข้อมูลเชิงประจักษ์ และเมื่อเปรียบเทียบการกำหนดนิยามเชิงประจักษ์ซึ่งต้องใช้การวิจัยในการนิยาม กับการวิจัยที่มีการวิเคราะห์โมเดลความสัมพันธ์โครงสร้างเชิงเส้น หรือโมเดลลิสเรล (linear Structural relationship model or LISREL model) จะเห็นได้ว่ามีวิธีการสอดคล้องกัน เนื่องจากการกำหนดนิยามเชิงประจักษ์ของตัวบ่งชี้มีงานสำคัญสองส่วน

ส่วนแรก เป็นการกำหนดโมเดลโครงสร้างความสัมพันธ์ว่าตัวบ่งชี้ประกอบด้วยตัวแปรย่อยอะไร และอย่างไร โดยมีทฤษฎีเป็นพื้นฐานรองรับ โมเดลที่ได้เป็น โมเดลการวัด (measurement model) ที่แสดงความสัมพันธ์ระหว่างตัวแปรย่อยซึ่งเป็นตัวแปรสังเกตได้ (observed variables) กับตัวบ่งชี้ซึ่งเป็นตัวแปรแฝง (latent variables) นั่นเอง

งานส่วนที่สอง คือ การกำหนดน้ำหนักความสำคัญของตัวแปรย่อยจากข้อมูลเชิงประจักษ์โดยการวิจัย งานส่วนนี้เป็นงานวิจัยที่ใช้การวิเคราะห์โมเดลลิสเรลนั่นเอง กล่าวคือ นักวิจัยต้องรวบรวมข้อมูลได้แก่ตัวแปรย่อยทั้งหลายตามโมเดลที่พัฒนาขึ้น แล้วนำมาวิเคราะห์ให้ได้ค่าน้ำหนักตัวแปรย่อยที่จะใช้ในการสร้างตัวบ่งชี้ วิธีการวิเคราะห์ที่นิยมใช้กันมากที่สุด คือ การวิเคราะห์องค์ประกอบ (factor analysis) ใช้เมื่อมีทฤษฎีรองรับโมเดลแบบหนักแน่นเข้มแข็ง และสามารถตรวจสอบความตรงของโมเดลโดยพิจารณาจากความสอดคล้องระหว่างโมเดลตามทฤษฎีกับข้อมูล เมื่อพบว่าโมเดลมีความตรง จึงนำสมการแสดงความสัมพันธ์ระหว่างตัวแปรและค่าน้ำหนักความสำคัญของตัวแปรย่อยมาสร้างตัวแปรแฝง

Reference :

นงลักษณ์ วิรัชชัย. (2551). “การพัฒนาตัวบ่งชี้การประเมิน” การประชุมวิชาการ เปิดขอบฟ้าคุณธรรมจริยธรรม.วันที่ 29 สิงหาคม 2551. โรงแรมแอมบาสเดอร์

1 ความคิดเห็น:

  1. ไม่ระบุชื่อ22 มิถุนายน 2556 09:00

    ขอบคุณค่ะ สำหรับบทความดีๆ อ่านเข้าใจง่าย และมีประโยชน์มากค่ะ

    ตอบนำออก

Blog เพื่อน