唐龍朔元年（公元661年）慧能離開家鄉北上湖北黃梅拜五祖弘忍為師，途經韶州曲江時，遇見劉志略，兩人相談甚歡，於是結拜為兄弟，慧能暫住劉志略家。劉志略有個姑姑，是出家人，法名叫無盡藏，喜歡讀《涅槃經》。慧能白天與劉志略一起勞動，晚上就聽無盡藏尼讀經。有一天，無盡藏尼拿著經書向慧能問字。慧能說，我不識字，您問字我是不能回答的，問佛理還可以說一下。無盡藏尼說，你字都不認得，怎能說佛理呢？慧能說：“諸佛妙理，非關文字”。即是說，佛教那些理論與文字是沒有什麼關係的。無盡藏尼一聽，覺得慧能是個大智慧，於是對鄉親們說，我們這裡來了一個能人，大家都來看慧能，並要大家動手修葺一下附近的寶林寺，讓慧能住在這裡修行。（有些文獻說慧能在這裡住了三年）但慧能想到自己是要去拜五祖學佛的，住在這裡是學不到佛法的。於是，他就離開了曲江繼續北上。

這裡的“諸佛妙理，非關文字”確實體現了慧能的大慧根，因為禪宗的最大特色是“不立文字，以心傳心”。可見慧能還未見到五祖就能說出那麼精闢的話來。

關於慧能與無盡藏的這段經歷，有些文獻說是慧能北上黃梅途中的事，有些則說是慧能在黃梅接衣缽成為六祖返回嶺南途中的事。

為了紀念這段經歷，今南華寺內有無盡藏尼的刻像，旁邊有無盡藏庵。