Ketika Imam Ali mencapai syahadah, anak-anaknya menguburkan jenazahnya pada malam hari secara sembunyi-sembunyi. Setelah itu selama beberapa lama tempat pemakaman beliau tersembunyi. Karena khawatir para musuh pendendam khususnya para khawarij dan bani Umayah yang pada masa hidupnya telah menunjukkan permusuhannya, akan melalukan ketidakhormatan pada kuburan Imam Ali. Sampai pada masa khilafah Harun Rasyid, karena ada kejadian aneh, tempat penguburan itu ditemukan.
Suatu hari Harun Rasyid penguasa Bagdad bersama para pembantu dan pasukkannya  keluar dari Kufah untuk berburu. Di pertengahan jalan, dia sampai pada sebuah bukit; sebuah bukit yang subur dan di sana ada beberapa kijang sedang bermain di antara rerumputan.
Harun Rasyid merasa gembira karena dengan segera dia akan merasakan lezatnya daging kijang. Dia memerintahkan agar anjing-anjing buruan dan burung-burung elangnya dilepaskan untuk memburu kijang-kijang itu. Anjing-anjing buruan menyerang kijang-kijang yang ada. Kijang-kijang yang ketakutan itu naik lari menuju bukit. Burung-burung elang itu juga turun pelan-pelan di lereng bukit dan anjing-anjing itu kembali dari arah bukit.
Harun dan para pendampingnya merasa takjub dan tidak percaya dengan pemandangan yang dilihatnya. Harun berkata, “Apa rahasianya, kijang-kijang itu berlindung ke bukit, namun burung-burung elang dan anjing-anjing kita tidak berani pergi ke sana?!”
Dia memandang yang lainnya barangkali ada yang menjawab pertanyaannya. Namun semuanya pada keheranan dan melihat ke bukit. Mereka melihat kijang-kijang turun dari bukit dan anjing-anjing itu kembali menyerang. Tapi kijang-kijang itu kembali lagi naik ke bukit dan burung-burung elang dan anjing-anjing tidak bisa naik ke atas bukit.
Kejadian itu terulang tiga kali. Harun menghadap kepada Abdullah dan berkata, “Segeralah mencari jawaban rahasia ini!”
Abdullah dan beberapa orang melakukan penelitian atas perintah sanga khalifah. Sampai akhrinya menemukan seorang lelaki tua yang tampaknya sebagai warga daerah itu. Lelaki tua itu dibawa ke Harun Rasyid. Harun menanyakan tentang asal usul keturunan lelaki tua ini. Begitu yakin bahwa dia mengatahui tentang daerah ini, dia ditanya, apa rahasianya teka teki ini?
Lelaki itu ragu apakah dia harus menyampaikan apa yang diketahuinya ataukah tidak. Akhirnya karena desakan Harun dan orang-orang sekitarnya, dia menyerah dan mengatakan, “Wahai Amir! Ayahku dari perkataan ayahnya mengatakan bahwa kuburan Sayidina Ali ada di bukit ini. dan tentunya Allah telah menjadikan tempat ini sebagai “Haram yang aman” dan siapa saja yang berlindung di sana, maka dia akan merasa aman.”
Lelaki tua paham atas kondisi pandangan Harun, dia melanjutkan pembicaraannya, “Hai Harun di sini adalah Haram Ilahi yang aman. Oleh karena itu bukan tanpa alasan kijang-kijang itu berlindung di sini dan anjing-anjing dan burung-burung elangmu tidak berani mendekatinya dan melanggar Haram suci Ali as...”
Harun Rasyid yang benar-benar terpengaruh oleh kejadian dan ucapan lelaki tua ini lantas turun dari kudanya dan minta air. Dia berwudhu dan pergi di sisi bukit dan mengerjakan salat di sana dan menjatuhkan dirinya ke tanah dan menangis.
Dengan demikian, makam suci Imam Ali as diketahui oleh semua orang setelah 130 tahun.