Analisis Kualitas Butir Soal Pilihan Ganda PAI Berbasis Artificial Intelligence: Komparasi ChatGPT dan Gemini AI
DOI:
https://doi.org/10.31004/jpion.v5i3.1457Keywords:
Artificial Intelligence, ChatGPT, Gemini Ai, Item Analysis, Multiple Choice QuestionsAbstract
Penelitian ini bertujuan menganalisis dan membandingkan kualitas psikometrik butir soal pilihan ganda Pendidikan Agama Islam (PAI) yang dihasilkan ChatGPT dan Gemini AI ditinjau dari validitas, reliabilitas, tingkat kesukaran, dan daya pembeda. Desain penelitian kuantitatif deskriptif-komparatif dengan teknik analisis butir soal diujikan pada 54 siswa kelas VIII (kelas 8C dan 8G) SMP Negeri 1 Gandusari. Kedua platform diberi prompt terstruktur identik yang mensyaratkan komposisi 30% LOTS, 40% MOTS, dan 30% HOTS. Hasil menunjukkan 11 dari 20 butir ChatGPT (55%) dan 8 dari 20 butir Gemini (40%) dinyatakan valid, tanpa perbedaan proporsi yang signifikan (p = 0,527). Reliabilitas ChatGPT tergolong rendah (α = 0,416) sedangkan Gemini tidak reliabel (α = -0,217). Seluruh butir dari kedua platform berkategori mudah, dengan perbedaan signifikan pada tingkat kesukaran (p = 0,002). Daya pembeda kedua platform tidak berbeda signifikan (p = 0,174). Disimpulkan bahwa AI generatif dapat mempercepat penyusunan naskah soal, tetapi belum dapat menjamin kualitas psikometrik yang memadai tanpa telaah ahli dan uji coba empiris.
References
Aini, R., Karma, I. N., & Affandi, L. H. (2023). Kesulitan Guru dalam Menyusun Soal Evaluasi Berbasis Higher Order Thinking Skills dalam Pembelajaran Kurikulum 2013. Educatio, 9(4), 2062–2069. https://doi.org/10.31949/educatio.v9i4.6035
Amrina, Z. (2022). Evaluasi Pendidikan. In PT. Bumi Aksara. LPPM Universitas Bung Hatta.
Anshari, M. I., Nasution, R., Irsyad, M., Alifa, A. Z., & Zuhriyah, I. A. (2024). Analisis validitas dan reliabilitas butir soal sumatif akhir semester ganjil mata pelajaran PAI. EDUKATIF: Jurnal Ilmu Pendidikan, 06(01).
Anwar, Z. (2021). Belajar Psikologi Eksperimen. Psychology Forum.
Azizah, M. A., & Mansyur, J. (2024). Perbandingan Kapabilitas Respons Chatgpt Dan Gemini Terhadap Pertanyaan Konseptual Tentang Optik. Jurnal Pendidikan Fisika Tadulako Onlin, 12(April), 15–25.
Hilaliyah, T., Sultan, U., Tirtayasa, A., Sultan, U., Tirtayasa, A., & Guru, S. B. (n.d.). ASESMEN SUMATIF BUATAN GURU MELALUI SOAL UJI COBA PADA MATERI BAHASA INDONESIA KELAS V SEKOLAH. 7(2), 659–668.
Kurniawan, A. W., & Puspitaningtyas, Z. (2016). Metode penelitian kuantitatif. PANDIVA Buku.
Mulyatiningsih, E. (2011). Riset Terapan Bidang Pendidikan dan Teknik. UNY Press.
Nurhalimah, S., Hidayati, Y., Rosidi, I., & Hadi, W. P. (2022). Hubungan antara validitas item dengan daya pembeda dan tingkat kesukaran soal pilihan ganda pas. Natural Science Education Research, 4(3), 249–257.
Suharman, W. (2022). Pemanfaatan ChatGPT dalam Dunia Pendidikan. Education Journal : Journal Education Research and Development, 7(2), 158–166.
Suprapto, E., Sumiharsono, R., & Ramadhan, S. (2020). The Analysis of Instrument Quality to Measure the Students ’ Higher Order Thinking Skill in Physics Learning. Journal of TURKISH SCIENCE EDUCATION, 17(4), 520–527. https://doi.org/10.36681/tused.2020.42
Tavakol, M., & Dennick, R. (2011). Making sense of Cronbach’s alpha. International Journal of Medical Education, 2(1), 53–55. https://doi.org/10.5116/ijme.4dfb.8dfd
Widiyanto, J. (2018). Evaluasi Pembelajaran (Sesuai dengan Kurikulum 2013). UNIPMA PRESS.
Zakiah, L., & Lestari, I. (2019). Berpikir Kritis dalam Konteks Pembelajaran. ERZATAMA KARYA ABADI.
Zein, M. (2012). Evaluasi Pembelajaran Matematika. Daulat Riau.
Zuhri, N. Z. (2024). Analisis Validitas , Reliabilitas , dan Tingkat Kesukaran Soal Bahasa Arab Tingkat SMP Berbasis Artificial Intelligence ( AI ) melalui Platform QuestionWell. 4, 693–704.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2026 Muhammad Isa Anshari, Fauziah Qhotrun Nada, Mohammad Irsyad
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
