วันศุกร์ที่ 6 พฤศจิกายน พ.ศ. 2552

การพัฒนา "ตัวบ่งชี้"... ตอน 2


3. การเก็บรวบรวมข้อมูล (Data Collection)

ขั้นตอนการรวบรวมข้อมูลในกระบวนการพัฒนาตัวบ่งชี้ คือ การดำเนินการวัดตัวแปรย่อย ได้แก่ การสร้างเครื่องมือสำหรับวัด การทดลองใช้และการปรับปรุงเครื่องมือ ตลอดจนการตรวจสอบคุณภาพเครื่องมือ การกำหนดกลุ่มประชากรและกลุ่มตัวอย่าง การออกภาคสนามเพื่อใช้เครื่องมือเก็บข้อมูล และการตรวจสอบคุณภาพของข้อมูลที่เป็นตัวแปรย่อยซึ่งจะนำมารวมเป็นตัวบ่งชี้ ในขั้นตอนนี้มีวิธีการดำเนินงานคล้ายกับกระบวนการวัดตัวแปรที่ได้กล่าวแล้ว

4. การสร้างตัวบ่งชี้

ในขั้นตอนนี้นักวิจัยสร้างสเกล (scaling) ตัวบ่งชี้โดยนำตัวแปรย่อยที่ได้จากการรวบรวมข้อมูลมาวิเคราะห์รวมให้ได้เป็นตัวบ่งชี้ โดยใช้วิธีการรวมตัวแปรย่อย และการกำหนดน้ำหนักตัวแปรย่อยตามที่ได้นิยามตัวบ่งชี้ไว้

5. การตรวจสอบคุณภาพ (Quality Check) ตัวบ่งชี้

การวิเคราะห์ข้อมูลเพื่อตรวจสอบคุณภาพของตัวบ่งชี้ที่พัฒนาขึ้นครอบคลุมถึงการตรวจสอบคุณภาพของตัวแปรย่อย และตัวบ่งชี้ด้วย โดยตรวจสอบทั้งเรื่องความเที่ยง (reliability) ความตรง (validity) ความเป็นไปได้ (feasibility) ความเป็นประโยชน์ (utility) ความเหมาะสม (appropriateness) และความเชื่อถือได้ (credibility)

ตัวบ่งชี้ที่มีคุณภาพซึ่งจะใช้เป็นสารสนเทศในการบริหารและการจัดการระบบการศึกษา ควรมีคุณสมบัติที่สำคัญ 4 ประการ (UNESCO. 1993, Johnstone.1981 อ้างใน นงลักษณ์ วิรัชชัย. 2551 : 15) ประการแรก ตัวบ่งชี้ควรมีความทันสมัย ทันเหตุการณ์ เหมาะสมกับเวลาและสถานที่ สารสนเทศที่ได้จากตัวบ่งชี้ต้องสามารถบอกถึงสถานะ และแนวโน้มการเปลี่ยนแปลง หรือสภาพปัญหาที่จะเกิดขึ้นในอนาคตได้ทันเวลาให้ผู้บริหารสามารถดำเนินการแก้ปัญหาได้ทันท่วงที ประการที่สอง ตัวบ่งชี้ควรตรงกับความต้องการหรือจุดมุ่งหมายของการใช้งาน ตัวบ่งชี้ที่สร้างขึ้นเพื่อใช้ในการกำหนดนโยบายการศึกษาไม่ควรจะมีลักษณะเป็นแบบเดียวกับตัวบ่งชี้ที่สร้างขึ้นมาเพื่อใช้ในการบรรยายสภาพของระบบการศึกษา แต่อาจจะมีตัวบ่งชี้ย่อยบางตัวเหมือนกันได้ ประการที่สาม ตัวบ่งชี้ควรมีคุณสมบัติตามคุณสมบัติของการวัด คือ มีความตรง ความเที่ยง ความเป็นปรนัย และใช้ปฏิบัติได้จริง คุณสมบัติข้อนี้มีความสำคัญมาก ในการสร้างหรือการพัฒนาตัวบ่งชี้จึงต้องมีการตรวจสอบคุณภาพของตัวบ่งชี้ทุกครั้ง ประการสุดท้าย ตัวบ่งชี้ควรมีกฎเกณฑ์การวัด (Measurement rules) ที่มีความเป็นกลาง มีความเป็นทั่วไป และให้สารสนเทศเชิงปริมาณที่ใช้เปรียบเทียบกันได้ไม่ว่าจะเป็นการเปรียบเทียบระหว่างจังหวัด ระหว่างเขตในประเทศใดประเทศหนึ่ง หรือการเปรียบเทียบระหว่างประเทศ

ในทางปฏิบัติ นักประเมินนิยมตรวจสอบความตรงเชิงโครงสร้าง (construct validity) ของตัวบ่งชี้ที่พัฒนาขึ้นโดยใช้การวิเคราะห์องค์ประกอบเชิงยืนยัน (confirmatory factor analysis) โดยมีทฤษฎีหรือนิยามตัวบ่งชี้รองรับโมเดลแบบหนักแน่นเข้มแข็ง และสามารถตรวจสอบความตรองของโมเดลโดยพิจารณาจากความสอดคล้องระหว่างโมเดลตามทฤษฎีกับข้อมูล ด้วยโปรแกรมการวิเคราะห์ข้อมูลลิสเรล (Linear Structural RELationship = LISREL) นอกจากนี้ยังนิยมตรวจสอบความตรงเชิงทำนาย (predictive validity) และความตรงร่วมสมัย (concurrent validity) โดยการใช้ผลการวัดด้วยเครื่องมือชนิดอื่นเป็นเกณฑ์ในการตรวจสอบ นักประเมินหลายคนนิยมตรวจสอบความตรงเชิงเนื้อหา (content validity) โดยผู้เชี่ยวชาญ

6. การจัดเข้าบริบท และการนำเสนอรายงาน (Contextualization and Presentation)

ขั้นตอนนี้เป็นขั้นตอนหนึ่งในการพัฒนาตัวบ่งชี้ที่มีความสำคัญมากเพราะเป็นการสื่อสาร (Communication) ระหว่างนักประเมินที่เป็นผู้พัฒนากับผู้ใช้ตัวบ่งชี้ หลังจากสร้างและตรวจสอบคุณภาพของตัวบ่งชี้แล้ว นักประเมินต้องวิเคราะห์ข้อมูลให้ได้ค่าของตัวบ่งชี้ที่เหมาะสมกับบริบท (context) โดยอาจวิเคราะห์ตีความแยกตามระดับเขตการศึกษา จังหวัด อำเภอ โรงเรียน หรือแยกตามประเภทของบุคลากร หรืออาจวิเคราะห์ตีความในระดับมหภาค แล้วจึงรายงานค่าของตัวบ่งชี้ ให้ผู้บริโภค/ผู้บริหาร/นักวางแผน/นักวิจัย ตลอดจนนักการศึกษาทั่วไปได้ทราบและใช้ประโยชน์จากตัวบ่งชี้ได้อย่างถูกต้องต่อไป

Reference :

นงลักษณ์ วิรัชชัย. (2551). “การพัฒนาตัวบ่งชี้การประเมิน” การประชุมวิชาการ เปิดขอบฟ้าคุณธรรมจริยธรรม.วันที่ 29 สิงหาคม 2551. โรงแรมแอมบาสเดอร์

1 ความคิดเห็น:

Blog เพื่อน