Rahmani werd vanuit een auto beschoten nadat hij zijn woning had verlaten. Hij was volgens zegslieden een sleutelfiguur in gesprekken met de extremistische Taliban. Rahmani was minister tijdens het regime van de Taliban.

De Taliban zijn overwegend Pathaanse strijders die op de macht azen en daar een op de soennitische islam geïnspireerd extremisme voor aanvoeren. Ze voerden een schrikbewind in bijna heel het land van halverwege de jaren '90 tot de Amerikaanse invasie van eind 2001.

Een enorme buitenlandse troepenmacht staat de pro-westerse regering in Kabul bij om te verhinderen dat de Taliban, vooral vanuit Pakistan, de macht heroveren.

Rahmani was lid van de Hoge Vredesraad en had recent contact gelegd met belangrijke voormannen van de Taliban. Zijn dood wordt gezien als een enorme tegenslag voor de Afghaanse president Hamid Karzai om de slepende oorlog via onderhandelingen te stoppen.

Rahmani wendde zich na de vlucht van de Taliban eind 2001 tot de nieuwe machthebbers. Hij was tijdens het schrikbewind minister van Onderwijs geweest, een functie die haaks leek te staan op de doeleinden van de Taliban. In 2001 zouden zeker 300.000 schoolkinderen, vooral meisjes, in ondergrondse schooltjes of heimelijk thuis worden onderwezen als gevolg van de Talibanterreur die ook het onderwijs ruïneerde.