Al-Azhar Seni Bela Diri didirikan pada tanggal 20 April 1970 di Masjid Agung Al-Azhar, Jakarta Indonesia. Al-Azhar Seni Bela Diri didirikan oleh almarhum Muhammad Sufiyono (Kak Yon) dan Djauharul Abidin Bakir. Pada tahap awal sekolah pencak silat ini belum memiliki nama. Namun, atas permintaan Buya Hamka selaku ulama di Masjid Agung Al-Azhar Jakarta, perguruan ini diresmikan dan menjadi organisasi resmi. Buya Hamka meminta untuk mencantumkan kata “Al-Azhar” pada nama perguruan. Kak Yon akhirnya menamakan Perguruan Pencak Silat tersebut sebagai Al-Azhar Seni Bela Diri. Salah satu ciri khas Pencak Silat Al-Azhar dari segi spiritualitas adalah bersih dan bebas dari sihir atau takhayul. Sedangkan Dari segi teknik, asal-usul Pencak Silat Al-Azhar berasal dari Pencak Silat Jawa Timur. Pencak silat Jawa Timur memang tidak sepopuler Pencak Silat Jawa Barat. Namun, gaya pencak silat ini merupakan salah satu gaya tertua dan telah memberikan kontribusi yang signifikan bagi perkembangan pencak silat nasional.
Akar pencak silat Al-Azhar berawal dari seorang pendekar (master) pencak silat yang disegani bernama Syahirudin, yang hidup pada akhir abad ke-18 di Situbondo, Jawa Timur. Syahirudin memiliki dua murid: Ismail Fadhilah dan Mat Jami. Secara tradisional, Para pendekar tidak akan memberikan semua ilmu (pengetahuan) mereka kepada satu siswa. Ismail Fadillah diberi ilmu bela diri dan Mat Jami diberi ilmu tenaga dalam. Gaya pencak silat Jawa Timur sering dicemooh karena kurangnya ritme dan kekakuan, tetapi menjadi lebih artistik dengan pengaruh Pak Ismail Fadhilah.
Ismail Fadhilah kemudian memiliki dua murid, Muhammad Sufiyono (Kak Yon) dan Djauharul Abidin Bakir. Muhammad Sufiyono lahir 16 Desember 1954. Di antara semua murid Ismail Fadhilah, dua yang terbaik adalah Muhammad Sufiyono dan Djauharul Abidin Bakir. Keduanya mulai berlatih bersama Ismail Fadhilah sejak usia 10 hingga 18 tahun. Setelah itu, mereka pergi ke Jakarta dan mendirikan perguruan pencak silat yang diberi nama Al-Azhar Seni Bela Diri. Kebetulan saat itu Djauharul Abidin Bakir harus kembali ke Situbondo, sedangkan Muhammad Sufiyono tetap di Jakarta dan mengembangkan Al-Azhar Seni Bela Diri.
Muhammad Sufiyono tidak hanya belajar dari satu guru, tetapi ia juga belajar dari gaya dan master seni bela diri lainnya. Beberapa pengaruhnya antara lain Perisai Diri, Karate, Wushu, Kempo, dll. Ia adalah seorang komunikator yang ulung, dan dengan kepemimpinan itu ia mampu melobi semua pihak yang terkait dengan sekolah pencak silat, baik dari pemerintah maupun orang-orang di sekitarnya. Dengan kemampuan komunikasi yang baik, ia mendapat dukungan yang luar biasa dan banyak pendekar dari pencak silat lain yang juga bersedia bergabung dengan perguruan pencak silat Al-Azhar Seni Bela Diri. Jika ada muridnya yang ingin membuka cabang (jika sudah siap), dia akan segera membuat surat penunjukan dan menyetujui murid tersebut untuk menjadi pelatih. Dalam waktu singkat, Al-Azhar Seni Bela Diri telah membuka cabang di seluruh Indonesia (Bengkulu, Tasik, Malang, dan Jambi) dan luar negeri (Australia, Jerman, Afrika Selatan, dan Amerika Serikat). Ia memimpikan Al-Azhar Seni Bela Diri bisa tersebar ke seluruh dunia dan mampu menggelar ajang kejuaraan dunia.
Muhammad Sufiyono wafat pada 15 Mei 1991.
Dalam hal pengembangan keilmuan untuk perguruannya, Muhammad Sufiyono tidak segan-segan mengundang pendekar-pendekar dari bela diri lain untuk mengajar dan berlatih bersama dengan murid-muridnya atau bahkan mengajak mereka untuk bergabung dengan sekolah Al-Azhar Seni Bela Diri.