Büyük devlet adamı ilk kez yaşamını sürdürdüğü bölgede bulunan Gazne devleti için çalışmıştır. Horasan valisinin yanında çalışmış ve sonraki dönemde Horasan valisi olarak görev yapmıştır. Bu dönem sonrasında Selçuklu Devleti için çalışmaya başlamış ve görevine Belh'de devam etmiştir. 

Nizam-ül Mülk, 1064 yılında Selçuklu Devleti veziri olarak görev yapmaya başlamıştır. Alp Arslan ve Melikşah dönemlerinde vezir olarak görev yapmıştır. Bu dönemlerde ortaya çıkardığı işler dolayısıyla Abbasi Halifesi tarafından memleket nizamı kurucusu anlamına gelen, Nizam-ül Mülk ismi kendisine verilmiştir. Büyük devlet adamı 1092 yılında bir haşhaşi süikastçisi tarafından şehid edilmiştir.