اختلفوا فيمن وزر للسفاح فقيل أبو الجهم وقيل عبد الرحمن، فأما أبو الجهم فوزر للسفاح مدة، فلما أفضت الخلافة إلى المنصور كان في نفسه منه أمور فسمه في سويق اللوز، فلما أحس بالسم قام ليذهب، فقال له المنصور: إلى أين؟ قال: إلى حيث بعثتني يا أمير المؤمنين .

وأما الصولي فقال: إن السفاح استوزر بعد أبي سلمة خالد بن برمك.

وزارة خالد بن برمك وشيء من سيرته:

 هذا خالد هو جد البرامكة. وفي تلك الأيام نبغت الدولة البرمكية وامتدت إلى أن انقضت في أيام الرشيد وكان خالد بن برمك من رجال الدولة العباسية فاضلاً جليلاً كريماً حازماً يقظاً، استوزر السفاح وخف على قلبه، وكان يسمى وزيراً، وقيل: إن كل من استوزره بعد أبي سلمة كان يتجنب أن يسمى وزيراً تطيراً مما جرى على أبي سلمة ولقول من قال:

إن الوزير وزير آل محمد ... أودى فمن يشناك كان وزيرا

قالوا فكان خالد بن برمك يعمل عمل الوزراء ولا يسمى وزيراً.

كان خالد عظيم المنزلة عند الخلفاء. قيل إن السفاح قال له يوماً: يا خالد ما رضيت حتى استخدمتني. ففزع خالد وقال: كيف يا أمير المؤمنين، وأنا عبدك وخادمك! فضحك وقال: إن ريطة ابنتي تنام مع ابنتك في مكان واحد، فأقوم بالليل فأجدهما قد سرح الغطاء عنهما فأرده عليهما. فقبل خالد يده وقال: مولى يكتسب الأجر في عبده وأمته.

وكثر الوافدون على باب خالد بن برمك، ومدحه الشعراء وانتجعه الناس. وكان الوافدون قبل ذلك يسمون سؤالاً. فقال خالد: إني أستقبح هذا الاسم لمثل هؤلاء، وفيهم الأشراف والأكابر، فسماهم الزوار، وكان خالد أول من سماهم بذلك. فقال له بعضهم: والله ما ندري أي أياديك عندنا أجل أصلتنا أم تسميتنا؟ وقيل: إن أول من فعل ذلك المساور بن النعمان في دولة بني أمية.

ولما بنى المنصور مدينة بغداد عظمت النفقة عليه، فأشار عليه أبو أيوب المورياني بهدم إيوان كسرى واستعمال أنقاضه، فاستشار المنصور خالد بن برمك في ذلك، فقال: لا تفعل يا أمير المؤمنين فإنه آية الإسلام، فإذا رآه الناس علموا أن مثل هذا البناء لا يزيله إلا أمر سماوي، وهو مع ذلك مصلى علي بن أبي طالب، عليه السلام، والمؤنة في نقضه أكثر من نفعه. فقال له المنصور: أبيت يا خالد إلا ميلاً إلى العجمية! ثم أمر المنصور بهدمه فهدمت منه ثلمة فبلغت النفقة عليها أكثر مما حصل منها، فأمسك المنصور عن هدمه وقال: يا خالد قد صرنا إلى رأيك وتركنا هدم الإيوان. قال: يا أمير المؤمنين أنا الآن أشير بهدمه لئلا يتحدث الناس أنك عجزت عن هدم ما بناه غيرك. فأعرض عنه وأمسك عن هدمه.

كتب بعض الشعراء إلى خالد بن برمك في يوم نوروز، وقد أهدى الناس إلى خالد هدايا فيها جامات من فضة وذهب:

ليــــت شعـري أما لنا منك حظ *** يا هدايـا الوزير فـي النوروز

ما على خالد بن برمك في الجو *** د نــــــوال ينيلــــــــه بعزيز

ليت لـــي جـــام فضةٍ من هدايا *** ه سوى ما به الأمير مجيزي

إنمـــــا أبتغيـــــه للعســـل المم *** زوج بالمال لا لبـول العجوز

فأمر له بجميع ما كان حاضراً بين يديه من الجامات والأواني الفضية والذهبية فبلغت مالاً جليلاً.

ولما تولى المنصور الخلافة أقره على وزارته وأكرمه واستشاره.