Setelah Ma’mun merasa jenuh dan putus asa membujuk Imam Ali Ridha as dengan kekuasaan, sementara beliau tetap teguh dan bersih dari kepentingan dunia, Ma’mun senantiasa mencari-cari kesempatan untuk membunuh beliau. Di Baghdad, orang-orang Abbasiyah mengumumkan pembangkangannya. Lalu mereka membaiat orang-orang kaya sebagai khalifah pengganti Ma’mun, karena kuatir akan berpindahnya kekuasaan dan kekhalifahan ke tangan orang-orang Alawiyah.

Untuk menarik simpati mereka di Baghdad dan tetap mengakuinya sebagai khalifah, Ma’mun merencanakan pembunuhan terhadap Imam. Ia bubuhkan racun ganas di sekitar anggur. Imam Ali Ridha as gugur syahid akibat racun itu dan kembali ke haribaan Allah dalam keadaan syahid dan teraniaya. Imam Ali Ridha as syahid pada 203 H dan dimakamkan di kota Thusi (Masyhad, Iran).

Sementara itu, Ma’mun menampakkan dirinya sedih di hadapan masyarakat dengan tujuan menepis kecurigaan dan tuduhan terhadapnya. Ia juga ikut mengantarkan jenazah suci Imam Ali Ridha as dan berjalan tanpa alas kaki sambil (pura-pura) menangis.