في العام 665 هجريا، اشترى الحاج أحمد الفليحي قطعة أرض من إحدى النساء في صنعاء القديمة، في الحارة التي أصبحت فيما بعد تسمى بحارة الفليحي، وبنى عليها المسجد الذي عرف باسمه فيما بعد، ليصبح ثاني أشهر جوامع صنعاء بعد الجامع الكبير.

واشتهر الجامع في فترة من الفترات بجامع "الأربعين حلقة"، حيث كانت تقام في الجامع عشرات الحلقات والتي وصل عددها لأربعين حلقة، تُدَرس فيها معظم علوم الدين والعقيدة واللغة، ويقوم عليها علماء أجلاء في صنعاء، ويحضرها مئات الطلاب قبل دخول العملية التعليمية في البلاد بشكل رسمي.

ويتكون الجامع من 3 أقسام رئيسية، ساحة الصلاة، وهي الجزء الرئيسي في الجامع، والقبة البيضاء، وهي عبارة عن مصلى صغير، كان عامراً قبل أن يكثر السكان المحيطون بالجامع، ثم المدرسة، والتي كانت تسمى قديماً "المعلامة"، وكانت تقوم قديماً مقام المدارس الحكومية، ومنها تخرج عدد كبير من العلماء وطلاب العلم، وتحولت الآن لمدرسة حكومية لتعليم البنات من طلاب المرحلة الابتدائية.

وبحسب القاضي العلامة محمد بن أحمد الحجري، في كتابه "مساجد صنعاء.. عامرها وموفيها"، فقد شهد الجامع توسعات عدة، أهمها ما قام به الإمام المتوكل على الله شرف الدين بن يحيى (912 - 965 هـ/ 1507 – 1558م)، في الجهة الغربية والقبلية للجامع، في النصف الأول من القرن العاشر الهجري، وهو الذي بنى الحمامات وحفر البئر التابعة للجامع.

ثم شهد الجامع توسعتين يسيرتين، مطلع القرن الثاني عشر الهجري، ثم سنة 1170 هجريا، قبل أن تأتي توسعة السيد محسن بن محمد فايع، في العام 1194 للهجرة، وتاريخ التوسعة مكتوب بالجص في مقدمة الجامع، وهي توسعة نافعة أنفق عليها الكثير من المال.

وبجوار القبة، يقع ضريح الحاج الفليحي باني الجامع، إضافة لضريح الإمام محمد بن علي الشوكاني (1759 - 1834م)، وثلاثة آخرين.

ويقول عبد الخالق عكارس، موظف متقاعد وأحد سكان الحارة، إن "الجامع كان منارة للعلم إلى نهاية الثمانينيات من القرن الماضي، حيث تدخلت السياسة والأحزاب وقضت على دور الجوامع التعليمي".

ويضيف عكارس للأناضول، أن "أبرز العلماء الذين كانوا يدرسون في الجامع مفتي الجمهورية اليمنية أحمد زبارة (1325هـ - 1421هـ)، أول مفت بعد الثورة (1962م)، والقاضي عبد الله السرحي (ت 1989م)، الملقب بـ"سيبويه اليمن"، بالإضافة للقاضي محمد بن إسماعيل العمراني، مفتي الجمهورية، والذي كان يتجاوز الجوامع القريبة منه ويأتي لـ"الفليحي" ليدرس لطلابه فيه لما للجامع من مكانة خاصة في نفوس طلاب العلم".

وفي صنعاء القديمة، يقولون "كُمُل الفليحي"، بمعنى تم واكتمل بناؤه، وهو أحد الأمثال المتداولة باللهجة الشعبية في العاصمة اليمنية، ويضرب المثل للإشارة إلى اكتمال الشيء وانتهائه، وأصل المثل أنه عندما تمت توسعة جامع الفليحي بشكلها القائم الآن، قال أهل المدينة بلهجهتم الشعبية "كُمُل الفليحي"، حتى أصبح مثلاً شائعاً، وهناك قصص أخرى مرتبطة بالجامع تنسب المثل للمرحلة الأولى من بنائه على يد مؤسسه الأول.

ورغم تراجع دور الجوامع، لازال لجامع الفليحي مكانة كبيرة في نفوس أبناء صنعاء القديمة، خصوصاً من كبار السن الذين درسوا في الجامع، وتتلمذوا على يد العلماء الذين احتضنهم في جوانبه في يوم من الأيام، وتمنوا أن يواصل أبناؤهم الدراسة في الجامع قبل أن تختطفهم المدارس والجامعات، وتغزو المدينة قلب صنعاء القديمة.