تأسست مكتبة المسجد النبوي عام 1352 هـ باقتراح من مدير الأوقاف في المدينة المنورة -آنذاك- السيد عبيد مدني، وكان أول مدير لها هو السيد أحمد ياسين الخياري. وبالمكتبة بعض الكتب التي يعود تاريخ وقفها على المسجد النبوي قبل تاريخ إنشاء المكتبة، مثل مكتبة الشيخ محمد العزيز الوزير التي أوقفت عام 1320هـ، وهي من الكتب التي أدخلت في المكتبة بعد تأسيسها، وكانت هناك كتب في الروضة الشريفة على بعضها تاريخ متقدم عن تاريخ تأسيس المكتبة.
وقد ذكر صاحب كتاب "خزائن الكتب العربية" أن مكتبة المسجد النبوي الشريف تكونت قبل حريق المسجد النبوي في 13 رمضان عام 886 هـ ، حيث احترقت خزائن المصاحف والكتب في ذلك الحريق ، وكانت تضم الخزائن كتباً نفيسة ومصاحف عظيمة.
وموقع المكتبة حالياً داخل المسجد النبوي الشريف حيث يسمح لجميع زوار المسجد النبوي الشريف بالاستفادة من المكتبة والخدمات المقدمة فيها
أقسام المكتبة
1- قاعات المطالعة :
مكتبة المسجد النبوي تضم قاعات مطالعة للرجال وأخرى للنساء وأخرى للأطفال .
2- قسم المخطوطات :
ويقع في الدور الثاني من باب عثمان بن عفان رضي الله عنه نهاية التوسعة السعودية الأولى .
3- قسم المكتبة الصوتية :
يقوم بحفظ ما يلقى في المسجد النبوي الشريف من الدروس والخطب والصلوات.
يقع بباب رقم (17)
4-القسم الفني :
ويقوم بتجليد وترميم وتعقيم المخطوطات
ويقع بباب رقم (22 ) بتوسعة خادم الحرمين الشريفين الملك فهد بن عبدالعزيز
5- أقسام الفهرسة والتصنيف ، والتزويد ، والدوريات والمستودع :
وتقع في باب رقم (22)
6- قسم الكتب النادرة :
ويقوم بحفظ الكتب النادرة من حيث قدم تاريخ الطبع أو الزخرفة أو الأشكال والصور ...الخ.
7 - المكتبة الرقمية :
الموقع باب (12)
8- وهناك أقسام أخرى مثل :
البحث والترجمة وقسم الأمن والسلامة وقسم الإهداء والتبادل وقسم الإعارة .موقع مكتبة الحرمين الشريفين: lib.alharamain.gov.sa