Mahyeldi menjalani masa kecil dan sekolahnya di Gadut, Tilatang Kamang, Agam, Provinsi Sumatera Barat, sebuah nagari yang berbatasan langsung dengan Kota Bukittinggi. Ia lahir dari pasangan suami istri Mardanis St. Tanameh dan Nurmi.
Ia adalah kakak bagi enam adiknya. Lahir dari keluarga sederhana dengan seorang ayah yang bekerja sebagai buruh angkat di Pasar Atas Bukittinggi, ia harus bekerja keras membantu ayahnya untuk mendapatkan uang sejak masih kelas tiga SD.
Seusai membantu ayahnya, ia bergegas ke sekolah dan tidak pernah terlambat. Tak heran, ia selalu menjadi juara kelas.
Saat Mahyeldi kelas lima SD, ayahnya membawa ia dan keluarganya merantau ke Kota Dumai. Setelah berada di Dumai, tanggung jawab Mahyeldi semakin besar.
Waktunya habis oleh belajar dan bekerja. Usai salat subuh, ia berjualan ikan yang didapatnya dari nelayan asal Pariaman yang akrab disapa Ajo. Ajo ini sering memberi potongan harga kepadanya.
Setelah berjualan ikan, Mahyeldi juga menjadi loper koran. Ia direkrut oleh pemuda asal Aceh, pemilik kios buku dan koran terkemuka di Dumai.
Dengan berjualan koran, ia banyak tahu informasi yang sedang terjadi. Saat korannya habis, ia berlari kembali ke toko bosnya untuk menghabiskan waktu melahap buku dan majalah terbaru sembari menunggu jam sekolahnya yang masuk pada waktu siang hari.
Alhasil, pengetahuannya di atas rata-rata murid di sekolahnya. Bahkan, gurunya yang enggan membeli koran sering menanyakan kepadanya mengenai berita aktual.
Mahyeldi rajin dan gemar membaca buku, terutama buku-buku Islam. Saat gurunya memberi esai tentang tokoh idola, ia langsung menulis kisah Nabi Muhammad S.A.W.. Ia juga menjadi kolektor buku. Sampai saat ini ia mengaku sudah mengoleksi lebih dari lima ribu buku.
Sepulang sekolah, berbeda dengan teman-temannya yang memilih bermain, ia menjajakan kue buatan ibunya berkeliling kampung. Kuenya sering terjual habis. Dari hasil jerih payahnya itulah, ia menabung sedikit demi sedikit di celengan kaleng yang ia buat sendiri.
Mahyeldi rutin menghadiri kegiatan pembinaan keislaman di lingkungan tempat tinggalnya ketika SMP. Bahkan, ia terpilih sebagai ketua penyelenggaraan hari besar Islam, baik di sekolah maupun tempat tinggalnya.
Mahyeldi juga membentuk kelompok diskusi-diskusi agama yang ia adakan di masjid tempat tinggalnya. Saat ia tengah semangat dalam menjalani kehidupannya itu, ia harus berpisah dengan teman-temannya. Ia dibawa kembali orang tuanya yang memutuskan untuk kembali ke kampung halaman.
SMA Negeri 1 Bukittinggi
Mengawali sekolah di SMA Negeri 1 Bukittinggi, ia cepat membaur dengan teman-temannya. Ia terpilih menjadi ketua kelas.
Ia juga aktif dalam kegiatan keagamaan di sekolahnya ini. Ia telah mengenal aktivis dakwah Islam seperti Hidayat Nur Wahid dan Irwan Prayitno.
Ia juga meraih banyak prestasi seperti juara satu menulis di sekolahnya. Guru sekolahnya mencium bakat menulis pada dirinya, sehingga ia ditugaskan untuk membuat majalah sekolah.
Meski sudah duduk di kelas dua SMA, ia masih berjualan koran di pagi hari dan menjual kue di sore hari. Malam hari, ia memperdalam ilmu agama dengan menjadi tukang bawa tas pak ustaz. Sebelum ustaz berceramah, ia diminta untuk memberi mukadimah.
Di sisi ekonomi, Mahyeldi mencoba usaha baru yakni beternak kerbau. Dari usaha ternak kerbau inilah Mahyeldi bisa meneruskan pendidikannya.
Setamat SMA, ia diterima di Fakultas Pertanian Universitas Andalas. Di sini, jiwa kepemimpinannya semakin berkembang.
Selama kuliah di Universitas Andalas, ia terus ikut menggerakan kegiatan dakwah kampus. Aktivitasnya di bidang dakwah mengantarnya bergabung dengan Partai Keadilan Sejahtera, partai yang dimotori oleh aktivis dakwah di kampus-kampus.
Pada pemilihan umum legislatif 2004, Mahyeldi diusung oleh PKS sebagai calon anggota legislatif untuk DPRD Sumatra Barat.
Pada saat yang sama, ia adalah Ketua Dewan Perwakilan Wilayah (DPW) PKS Sumatra Barat sejak 2002 sampai tahun 2005.
Hasil perolehan suara menempatkan PKS sebagai pemenang di Padang. Ia duduk sebagai Wakil Ketua DPRD Sumatra Barat periode 2004–2009, tetapi mengundurkan diri setelah dilantik sebagai Wakil Wali Kota Padang pada 2009. ***