Evaluation of an efl coursebook through the lens of hess’ cognitive rigor matrix: An analysis of listening activities

Abstract

The purpose of the current study is to evaluate the presentation of listening activities in Mastermind, published by the Ministry of National Education as a coursebook for eighthgrade students. Moreover, it attempts to analyze the units of the coursebook to examine the extent to which they represent higher-order thinking skills by detecting cognitive levels and knowledge dimensions of listening questions in the corresponding listening activities. This mixed methods research study was conducted through the utilization of qualitative content analysis and descriptive statistics. To this end, first, the whole coursebook was scrutinized to gather all listening activities to reveal the kinds of listening students are expected to engage in. Secondly, all the listening activities were analyzed through a coding scheme, the Hess’ Cognitive Rigor Matrix, to see which levels of Bloom’s Revised Taxonomy and Webb’s Depth of Knowledge were emphasized. The findings showed that the majority of the listening activities represented in the coursebook facilitated lower-order thinking. The study emphasizes the necessity of including higher-order thinking and listening exercises. This study may also highlight the need for cognitively challenging listening activities to help language learners interact with authentic listening tasks and transfer acquired listening skills to new settings. Bu çalışmanın amacı, Millî Eğitim Bakanlığı tarafından sekizinci sınıf öğrencileri için hazırlanan Mastermind ders kitabının içerisindeki dinleme etkinliklerini değerlendirmektir. Ayrıca, kitapta geçen dinleme etkinliklerindeki soruların bilişsel ve bilgisel düzeylerine bakarak bu etkinliklerin ne derece yüksek düzeyde düşünme becerilerini geliştirdiğini incelemeyi amaçlamaktadır. Bu karma yöntem araştırma çalışması, araştırma metodolojisinin bileşenleri olarak betimleyici istatistikleri ve sistematik içerik analizini kullanılarak yürütülmüştür. Bu doğrultuda, ilk olarak, ders kitabındaki tüm dinleme etkinlikleri belirlenmiş ve dinleme türleri tespit edilmiştir. İkincil olarak, Bloom’un Taksonomisi ve Webb’in Bilgi Derinliği’ne göre hangi konumlarda olduğunun belirlenmesi amacıyla tüm dinleme etkinlikleri Hess’in Bilişsel Düzey Matrisi aracılığıyla analiz edilmiştir. Bulgular, ders kitabında yer alan dinleme etkinliklerinin çoğunluğunun daha düşük düzeyli bilişsel basamakta olduğu tespit edilmiştir. Çalışma, üst düzey düşünme ve dinleme egzersizlerinin de dâhil edilmesinin gerekliliğini vurgulamaktadır. Bu çalışma yabancı dil öğrenenlerin dinleme etkinlikleriyle etkileşime geçmelerine ve kazanılan dinleme becerilerini yeni ortamlara aktarmalarına yardımcı olmak için üst bilişsel basamakta olan etkinliklerinin kullanılması gerektiğini de ayrıca vurgulamaktadır.