東漢建安五年(200年)，漢壽亭侯關羽掛印封金，護衛著甘、糜二夫人離開曹營，過關斬將，進發河北。路經汜水關時，守將卞善欲借鎮國寺宴請關羽之機，擊箋為號，加害於他。寺僧普凈與關羽為蒲州同鄉，不忍義友罹難，遂將此凶訊及時告知關羽，方得脫險。關羽走後，普凈自知當地難留，便收抬衣缽，雲游至玉泉山，辟荒拓野，築茅而居，這便是玉泉寺最初的雛形。
普凈和尚在此坐禪修道十餘載。蜀主劉備為酬謝其救弟之恩，敕令撥款建寺，取名「普凈庵」。
建安十四年(219年)，關羽失守荊州，敗走麥城，被呂蒙所害，安葬於普凈庵東20餘里處(今當陽縣城西北關陵廟內)。據說，關羽雖軀身被斬，陰魂卻聚結不散，隨著一陣輕風悠悠蕩蕩飄至玉泉山普凈庵上空，顫聲大呼：「還我頭來!」
這日，普凈正在庵中打坐，聽上空有陰魂作響，仰面諦視，見雲端立一紅面長髯的大漢，腿跨赤兔馬，手握偃月刀，兩側站著白臉、黑臉二虎將，知是關羽前來，遂對空中喊道：「雲長兄安在?」
關羽馳馬乘風而下，落於庵外，叉手詢問：「尊師為何人?願求法號。」
普凈說：「老僧普凈，昔日汜水關鎮國寺中，曾與君侯相會，今日豈可忘記哩?」
關羽見恩公在此，伏頭納拜，道：「向蒙相救，銘記不忘。今關某已遇禍而死.願求指點迷津。」
普凈道：「世間是非，何求論斷，前因後果，生死輪回。今將軍已被呂蒙所害，大呼還我頭來，然則顏良、文丑、五關六將，又向誰索頭耶?」
關羽一經點化，天機頓悟，稽首皈歸而去。那赤兔馬亦受感動，四蹄刨土，掘成大坑，噴出一泓碧澈泉水，飛濤濺沫，急湍奔流。這就是「珍珠泉」，位於今玉泉寺左側，又名「馬跑泉」。泉流附近，豎立著一塊明萬曆年間製作的石望表，上刻「關雲長顯聖處」。傳說，關羽曾多次在玉泉山顯聖護民，深受愛戴，人們便以「關公」、「關聖」相稱，奉祀他的關帝廟遍及全國各地。
玉泉寺的正式命名始於隋開皇十二年(582年)。當時，被晉王楊廣封為「智者大師」的高僧智顗，自天台山參訪此地，暫居普凈庵內傳法。楊廣與智顗私交甚深，便下令在普凈庵舊址大興土木，建成一座頗具規模的寺院，取名「玉泉寺」，並親書「智者道場」匾額懸於寺內大雄寶殿上。
智顗大師在玉泉寺舉行盛大法會，為關公父子受菩薩戒，超度忠魂。他還廣開佛緣，宣講《法華經》，傳經佈道達三年之久。當時，天下僧俗聞風踵至，玉泉寺聲名日振。
