大師從小愛學習，13歲時，就跟隨舅父到許昌洛陽一帶游訪參學。由於大師博學六經，融匯貫通，尤其精通老莊之學，因而儒門宗匠，達官顯貴，沒有不佩服大師的。21歲那年，大師本想南渡長江，拜當時的大學問家范寧為師，不料正趕上石虎暴死，天下大亂，去南方的路阻塞不通，大師求學之志未能如願。當時有一佛門大德釋道安，在太恆山上建剎立寺，於像法時代弘揚佛法，聲名遠揚。大師有一胞弟，出家後法名慧持，從小沉默寡言，而胸襟遠大，那年他18歲。於是兄弟二人改南下的志願為北上，到受都寺，進入了到岸法師的門牆。在聽聞道安法師講解《般若經》之後，大師豁然開悟，感嘆道：「九流門派不同，學說眾多，今日方知都是糠皮和秕子。」於是大師和胞弟，取下發簪，削發為僧，在道安法師坐下，歸命於佛門。
既然有幸得聞大道，大師嚴肅認真的學風與眾不同。常常想著，以弘揚大法為己任，因為精勤思維，讀誦，受持，夜以繼日。因為家窮，出門所帶的錢財有限，山中又供養不足，常常缺被少衣，而兄弟二人謹慎恭敬，從不懈怠。有一僧人曇翼，經常資助他們。道安法師贊嘆說：「曇翼確是知人善助。」
24歲時，大師就開始講經說法。曾經有一位居士，在聽講時，提出對「實相」的疑義。大師與他凡夫討論，不能明白。大師於是引用莊子的學說相比類，使那個疑惑的人頓時曉然。從此以後，道安法師特地允許大師讀世俗的書。道安法師另有弟子法遇和曇徽，作風才幹光照四方，志願言行清徹敏捷，對於大師都非常佩服。
當時正是東晉時期，中原動亂，如水沸騰。大師隨從道安法師不得已遷流於他方。到新野時，為躲避亂兵，道安法師不得已遷流於他方。到新野時，為躲避亂兵，道安法師讓大家疏散，各自找尋修行場所。臨上路前，道安法師對各位弟子都諄諄教誨，唯獨對大師沒有一句贈言。大師跪請於師前說：「師父對他們都有訓誨唯獨對我沒有訓導，勉勵，莫非是弟子不堪教訓嗎？」道安法師說：「對你，我還有什麼可憂慮的呢。」於是道安法師與弟子道理等人上長安，大師及慧持，曇邕去荊州，在上明寺留居5年。因想起與慧永通往羅浮的約定，大師又沿著揚子江南下。經過潯陽，見廬山幽雅清凈，正可安心修道，誰想卻與慧永不期而遇。
原來在太元年間，會用路過潯陽，被善信陶翻留住，並為他在廬山建造西林寺。他聽說大師也到了廬山，極力挽留，邀請同住廬山，共修道業。大師看了山形地勢，走到廬山東麓，用錫杖拄在地上說：「如果此處可以居住，當從土中噴出泉水。」山泉果然應手而出，涌流直下而成為小溪。大師便砍伐茅竹，建庵居住，命名為龍泉寺。這年證實東晉太元9年，大師51歲。
大師德業馨香，流布四方，追隨大師的人也日益眾多。大師為眾人開講《涅槃經》，感應山地，當時慧永對前來禮拜的江州刺史桓伊說：「遠公正當弘揚大道，如今徒屬眾多，而四方聞名而來的仍然不斷。貧僧所居住的西林寺，地方太小，住不下這許多人，怎麼辦呢？」桓伊聽說山神的事後，對大師產生敬仰之心，上書朝廷批准建造了東林寺，命名大殿為神運殿。這年大師53歲。於是造西方三聖像，開鑿水池，種植蓮華，並在水面上造立十二葉蓮華鍾，指針隨波而轉，指示時刻，方便修道。四方息歇狂心的出家僧侶，超塵絕俗的在家善信，聞風而至的共計123人。大家選定齋日，共結蓮社，又令劉遺民作《發願文》，刻石立碑。從此晝夜六時，念佛行道，一意西方凈土。
當時王喬之等幾人，作《念佛三昧詩》以明志。大師為此作序如下：「夫稱三昧者何？專思寂想之謂也。思專，則志一不分；想寂，則氣虛神朗。氣虛，則智悟其照；神朗，則無幽不徹。是二者，自然之玄符，會一而致用也。又諸三昧。其名甚眾。功高易進，念佛為先。何者？窮玄極寂，尊號如來；體神合變，應不以方。故令入斯定者，昧然忘知，即所緣以成鑒。鑒明，則內照交映，而萬象生焉。非耳目之所暨，而聞見行焉。於是靈相湛一，清明自然，母音叩心，滯情融朗。非天下之至妙，孰能於此哉！所以奉法諸賢，咸思一揆（音魁，掌管，道理）之契。感寸音之將頹，懼來儲之為積，洗心法堂，整襟清向，夜分忘寢，夙興唯勤。庶夫貞詣之功以通三乘之志。仰援超步，拔茅之興。俯引弱進，乘策其後。以此覽眾篇之揮翰，豈徒文詠而已哉！
大師自從進入廬山以來，共計32年，從不出山。凡送客都以虎溪為界。虎溪源於上方峰頂。大師與蓮社到有經常在峰頂上遊憩，只是苦於水源太遠。一天，有人看見老虎在山頂上跑石，從此就水流不斷。人們因而把它叫虎跑泉，虎溪。大師曾親送陶淵明，陸修靜二人，因時遇知己，話語相投，不知不覺過了虎溪，三人相視大笑。後世因而有一幅名畫，叫虎溪三笑圖。
大師神情嚴肅恭敬，儀容方正有威嚴，凡是頭一次見到大師的人，沒有不心驚膽戰的。曾經有一位僧人，手持一個竹製如意，想要奉獻於大師。進山住了一夜，竟然不敢呈獻，悄悄地留在大師座角而去。還有以為慧義法師，性情剛強，從不知懼怕。在拜訪大師臨上山前，對弟子慧寶說：「以前那些拜見遠公的人都不過是庸才罷了，所以才望風推服，你們今天看我的。」上山後，正逢大師講《妙法蓮華經》，慧義師幾次想質問，都戰戰兢兢，汗流浹背，竟然問不出口。出山後他對慧寶說：「遠公真令人驚訝，他降伏萬法，卓超大眾，原來是這樣的。」
當世大文豪殷仲堪擔任荊州刺史，上任時路過廬山，專程上山禮敬，與大師一同到廬山北澗迎客松下，二人共談《易經》，探求大道，整整一天，不知疲倦。殷仲堪感嘆地說：「大師智慧深明，實在是難以比量！」大師也對他說：「使君的才辯，就好比山中的流泉。」後人因而把這個地方叫做聰明泉。後來桓玄征討殷仲堪，大軍路過廬山，桓玄邀請大師出虎溪相見，大師以老人說：「以前殷仲堪進山禮敬遠公，您就別禮敬他了。」桓玄答道：「豈有不禮敬之理，殷仲堪不過是個死人罷了。」等到見到大師，桓玄不自覺的屈膝禮敬。桓玄請問大師：「聖人說，父母遺賜的身體不應毀傷，為何您卻削去頭發？」大師答道：「為的是立身行道」。桓玄只得說對。桓玄本來還有幾個問題想質問大師，卻不敢再開口，只得說說征討之事，大師不作回答。桓玄又問大師有何心願，大師說：「願施主安穩，願殷仲堪也安穩無事。」桓玄出山後對於手下人說：「遠公真實平生所未見。」
桓玄後來以挾天子以令諸侯時威勢，苦苦逼請大師出山入朝，致信於大師，勸令作官。大師回信言辭正大堅定，志向牢不可拔，超逾丹石，桓玄終究沒有請動大師。接著桓玄又欲淘汰眾僧，教令還俗。他對手下官僚說：「出家人能夠講解經文、闡述義理的，能夠遵循戒律、有秩序的，能夠宣揚荷擔大法的，可以留下。於此相違背的，全部還俗。唯有廬山是道德之人所居，不在搜減之列」。大師為此專門致書於桓玄，講述我佛玄妙的戒律條文，及如何遵照執行，桓玄都一一聽從。
成帝年幼的時候，由庾冰輔政，認為出家人應當禮拜帝王，而尚書令何充，僕射褚翌、諸葛恢等，向皇帝報告不應禮拜。朝廷大臣都贊同何充的意見、可是門下省卻按照庾冰的指令予以駁回。議論紛紛，難以決定。等到桓玄到姑蘇後，與庾冰的意見一樣，欲令出家人禮拜帝王，並致書於大師。大師回信說：「袈裟並非朝堂之衣服，缽盂也不是廟廊的器物，出家是塵外之客，不應禮拜帝王。」於是著《出家人不應禮拜帝王論》5篇。桓玄開始時非常固執，讀了大師的書信後，就改變了注意。後來桓玄篡位為帝，劉裕起兵討伐，桓玄向西逃奔，東晉安帝司馬德宗從江陵回駕京師，路過廬山。輔國大臣何無忌勸大師迎接皇帝車駕，大師仍以老病為由不下山。安帝派遣使臣慰問大師，大師上書致謝並申明老病，安帝又下詔慰問作答。
廬循佔據江州城時，進山拜訪大師。大師因與他的父親少年時同為書生，所以見到廬循後，十分高興地談論往事，從早晨到傍晚。有的僧人提醒大師說：「廬循是國家的賊寇，和他交往友好，不怕別人起疑嗎？」大師說：「我佛法中，無取無舍。有智之人自然能覺察到這一點，不值得害怕。」等到宋武征討廬循時，他手下有人說：「遠公一直在廬山，與廬循相交很厚。」宋武說：「遠公是一世楷模，肯定對誰都不分彼此。」因而派遣使者，馳馬送書向大師致敬，並留下銀錢米面。至此，大家方才嘆服大師的高明遠見。
大師因為江東經藏極缺，便派遣弟子翻越蔥嶺，購清梵文原本，並廣傳關中。此後經律出自廬山將近百卷。大師曾著《法性論》14篇，法名佛陀泥洹常住之旨。與大師同時代的漢傳佛教大翻譯家鳩摩羅什大師，見到文章後感嘆的說：「遠方的邊地，沒有見過佛陀大經，卻能如此與經文暗合道妙。佛經說，末代東方有護法菩薩，正是這位值得尊敬的仁者啊！」所以後世佛門弟子，都尊稱大師為東方護法菩薩。
大師自入廬山以來，共計32年，足跡不入塵世。專志於西方凈土，以澄凈之心，觀想極了世界依正庄嚴之境。開始11年間，共有三次見到阿彌陀佛，而深沉厚道，不與人言。到義熙12年7月30日傍晚，大師在般若台東龕，剛剛出定，就見阿彌陀佛身滿虛空，圓光之中，有諸化佛，觀音、勢至左右侍立。又見水流光明，分十四支，流註上下，演說苦、空、無常、無我之音，如《十六觀經》所說。佛對大師說：「我以本願力故，來慰告汝，汝後七日，當生我國。」又見蓮社中先已往生的佛陀耶舍、慧持、慧永、劉遺民等，都在佛的兩側，上前與大師作揖，對大師說：「師父發願在我們之前，來西方卻為何這麼遲。」
大師對弟子法凈、慧寶說：「我從開始居住在廬山，前11年中三見佛相。今天又見到，我往生西方必定無疑了。」又說：「七日為期不算急，迫。」於是卧床實現疾病，並親自起草遺囑如下：
「吾昔以知命之年，托業此山，自審有畢盡之期，便欲絕跡外緣，以求其志，良由性弱於斷，遂令同趣相引，時賢過眷，情以類感，不覺形與運頹，今年已八十三矣！仰尋遠離之誨，俯慨自負之心，徒令此生虛謝，以悼往疾之深，於今時到，露骸松林之下，即嶺為墳，與土木同狀，此乃古今之禮，汝等勿違，苟神理不昧，庶還其誠，大哀世尊，亦當佑之以道。」
弟子們慟哭不停，猶如父母過世。大師知道他們世情難以割捨，只得允許七日致哀，到期將隨緣入滅。年對大的弟子，請大師用豆豉酒治病，大師說：「戒律沒有明文可以通融。」不同意。又請大師飲用米汁，大師說：「日已過午」，也不同意。最後用蜜水請大師飲用，大師就讓他們查閱律文。沒到一半，大師就溘然而逝。留下遺囑，讓弟子們將屍骨暴露存放於松林樹下，以嶺為墳。就象樹木倒下一樣，自然風化為土。弟子們不忍心如此，未能遵照大師的遺命。而與潯陽太守阮侃一道，將大師遺體葬於西嶺，並砌石為塔。這年大師83歲。大文學家謝靈運，為大師作文紀念並立塔碑下。
