Nama Pondok Pesantren Al-Zaytun menjadi sorotan publik setelah pernyataan kontroversial Panji Gumilang. Berbagai tuduhan mulai muncul, salah satunya menyebut bahwa Al-Zaytun mengajarkan aliran sesat. Namun, pengacara Panji Gumilang, Alvin Lim, setelah mengunjungi ponpes tersebut menyatakan bahwa tuduhan tersebut tidak benar.
Menurut Alvin, Al-Zaytun bukanlah tempat yang mengajarkan hal-hal negatif. Selain sebagai pusat pendidikan, ponpes ini juga merupakan lokasi wirausaha dengan berbagai usaha seperti peternakan ayam, pengolahan daging ayam, perkebunan pisang, dan lain sebagainya yang menunjukkan semangat kemandirian pangan. Alvin juga mengungkapkan bahwa saat berkunjung ke pesantren, dia, yang beragama Kristen, disambut baik oleh para santri dan diberikan kesempatan untuk menyampaikan sambutan.
Dari kunjungannya, Alvin meminta agar penilaian negatif terhadap Al-Zaytun ditinjau ulang. Ia juga menyoroti pernyataan negatif terhadap Al-Zaytun oleh Mahfud MD, yang menurut Alvin tidak sepenuhnya benar. Menurut kuasa hukum Panji Gumilang lainnya, Hamdani, tidak ada hal sesat yang diajarkan di ponpes tersebut, hanya pendidikan dengan kurikulum normal dan masyarakat sekitar ponpes sangat terbantu dengan kehadiran Al-Zaytun.
Namun, meskipun memiliki kontribusi positif, Al-Zaytun menghadapi kendala dari pemerintah daerah setempat. Perizinan ponpes dipersulit, pajak bangunan dinaikkan secara drastis, dan berbagai aspek lainnya membuat kondisi Al-Zaytun semakin sulit. Hamdani mengaku sedih dengan kondisi tersebut dan berharap agar pemerintah setempat memberikan dukungan yang lebih baik kepada ponpes tersebut.