فكرة إنشاء المكتبة ليست جديدة بل هي قديمة رسخت في ذهن مؤسسها وهو في سن العاشرة من عمره.ومنذ ذلك التاريخ وهو يجمع الكتاب تلو الكتاب،ويسعى في شراء الكثير من الكتب واقتناء ما يهدى إليه من كثير من مؤسسات الدولة ومكتباتها،ومراكز الدعوة الإسلامية الداخلية والخارجية وغيرها من الهيئات والمنظمات والمراكز في شتى البلدان الإسلامية والعربية.
تأسست المكتبة عام 1408هـ-1988م، كانت في بداية الأمر مكتبة خاصة ملحقة بمنزل مؤسسها ينتفع بها هو وأولاده،ومن يقوم بزيارته لهذا الغرض،وبعد ذلك طرأت فكرة إنشاء مكتبة عامة يؤمها أهل الحي ومن يرغب من العلماء والمثقفين دون حرج ودون تكلف الزيارة من أجل تحصيل العلم والمعرفة،وبالفعل تم نقلها إلى مكان أرحب وأوسع .ففي عام 1409هـ-1989م تم إنشاء مبنى حديث بجوار مسجد الامام البخاري في منطقة النعيمية والذي لا يبعد عن جامعة عجمان للعلوم والتكنولوجيا سوى بضعة أمتار.وبعد ذلك تم توجيه الدعوة إلى صاحب السمو الشيخ حميد بن راشد النعيمي عضو المجلس الأعلى حاكم إمارة عجمان لزيارة المكتبة وافتتاحها رسميا في 16/08/1410هـ الموافق 13/03/1990م.ثم انتقلت بعد عدة سنوات إلى منطقة الجرف بعد أن أهداها صاحب السمو الحاكم قطعة أرض أقيمت عليها المكتبة الحالية.
تتكون المكتبة من أربع قاعات رئيسية هي:
1. قاعة الشيخ حميد بن راشد النعيمي.
2. قاعة الشيخ حمدان بن محمد آل مكتوم
3. قاعة الشيخ حمدان بن راشد آل مكتوم-مخصصة للنساء-.
4. قاعة عبدالله بن حميد آل حميد.
كما يضم فناء المكتبة الخارجي مرافق تابعة أساسية وهي:
1. مسجد للرجال.
2. مصلى للنساء.
3. مركز خيري لتحفيظ القرآن الكريم وعلومه ملحق به مكتبة صوتية ومكتبة خاصة بالأطفال