不到几年，唐伯虎在佛学方面，由于自己勤修布施、持戒、忍辱、精进、禅定和般若六度，道行逐渐提高，没过多久，就大名在外，一些老道就亲自找上门来跟他合作。
据史料记载，在当时有就有着名的老道，他写了一份非常时髦，而且装帧得在当时美得不能再美的商业计划书，亲自上门来找唐伯虎给他投资。
在唐伯虎见到这位老道时，见他穿着的却是破烂得不能再破烂的道袍，他就用眼光扫了一眼老道递给他的商业计划书，他见老道的目的就是要求他投资数百两黄金，两人合伙经营炼丹，炼出金子来大家一起发财。
唐伯虎在明白了老的来意后，他一言不发，却顺手从办公桌上拿起一支毛笔，在醺足了墨汁后，就在老道的商业计划书上作了批示：
破布衫中破布裙，逢人便说会烧银。
如何不自烧些用，担水河头卖与人。
唐伯虎这段批示的意思是说：你既然有烧炼金丹的本事，何必还要找合伙人？像你这种骗子，最多也就拿这些东西去忽悠王阳明就行了，想要拿这些东西来忽悠我唐伯虎，你还是太嫩了，还差着许多火候呢！
唐伯虎的这种行为，无论是什么样的行文，他都不放过王阳明，但也从另一个侧面呈现出了我们这个时代影视剧中的那种幽默风趣的调侃个性，他的这种风趣性格，就像他在给一本专门写神仙故事的《列仙传》中的题诗一样，又是幽默风趣地针对王阳明作了嘲讽。
诗曰：
但闻白日升天去，不见青天走下来。
忽然一日天破了，大家都叫阿。
唐伯虎的这首诗的意思是说：王阳明啊，你的脑子好像被灌了水，你的神经也出现了短路，导致你这个缺心眼儿的人啊，一天正事不干，成天都是往深山老林里去钻，劲搞些什么求仙访道的愚蠢事，梦想着有一天能够飞天成道，成为圣贤，你就别在哪儿忽悠了。很多人都把你这些事都当作是瞎掰，什么成仙呀，什么得道啊，如果真的有这些事，你去找几个成仙得道的人，把他们拉过来让我们大家瞧瞧不就行了吗？然而，你却拉不出来一个来，这有谁会信你呢。所以我唐伯虎要说：王阳明，你就给我们放开牛皮去吹吧，如果等到哪一天，你把牛皮吹上了天，“嘣”的一声巨响，你吹的牛皮把天都撑破了，我看你到时候怎么向人家解释，当大家看着你闷不着声的样子，也只能无奈地发出“啊”的声音了。
由此可见，当时的唐伯虎无论干什么事，都要带上王阳明，王阳明也深知唐伯虎跟他对干的目的，也只不过是想借助他的名声让自己成名而已，他写的这些诗，哪怕对他王阳明进行了嘲讽，进行了挖苦，王阳明也只是把唐伯虎当作是他生命中的克星，竟然毫不辩解。
也正是王阳明的这种放纵，让京城里的官老爷们对王阳明有了不良的看法和评价，他们都在逢人就说：“王阳明这个人啊，整天放着正儿八经的工作不好好干，却一天到晚地往原始森林跑，当他回来的时候，一会儿忽悠我们说，他在某个破庙里遇到一个成仙的蔡蓬头，一会儿又瞎掰说，他在原始森林里遇到了一个身上长满了鞭毛孢子的原始人。王阳明整天搞的这些荒诞无稽的事，会有谁信他呀？”
这些评论都是源于唐伯虎所写的这首诗，因为唐伯虎在这首诗里的“阿”字，是江南儿语。江南一带的小朋友遇到害羞丢脸的事情，都会齐齐拍着手掌在嘴里叫道：“阿，阿……”
唐伯虎能把诗写成这样，看来就是在捣毁王阳明，如果王阳明在此之前就能站出来杜绝唐伯虎的这种行为，估计当时就算是打死他，唐伯虎也绝对不敢这样写，因为哪里的王阳明是官，而唐伯虎却什么也不是。
对于这首诗，很多人都认为唐伯虎不是针对王阳明写的，但事实就是事实，唐伯虎的这首诗，实际上就是针对王阳明写的。
历史现实时，这首诗当时是唐伯虎为《列仙传》专门题的诗，不明究里的人都认为唐伯虎毕竟跟王阳明无冤无仇，这不是写给王阳明本人的，因为诗里就没有提到王阳明，这怎能说是唐伯虎写王阳明的。
但唐伯虎心里明白，他为了要出名，必须借助王阳明才能让自己达到目的，而他要达的目的，就要写王阳明正在干的哪些不务正业的事情。
《列仙传》在京城出版后不久，王阳明就发现官场中的很多人看他的眼神不对。又过了一段时间，他总是觉得他的上级领导和身边的同事都在处处为难他，他感觉做起事来非常的吃力，自己点儿混不下去了，最后只好谎称自己有病了，就向上级部门打了辞职报告。
其实王阳明打这份辞职报告，他是不想辞职的，就是想让上级领导意识到他王阳明是有自知之明的。
但出乎王阳明意料的事情发生了，在他的辞职报告打上去不久，就被上级领导第一时间批准了。
这不明摆着嘛！由于王阳明整日正事不做，只想着求道成仙，大家都受不了他了，包括他的上级领导，见王阳明不务正业，而且现在又假借为名辞职给了他机会，也就毫不留情面地，甚至说看都没有仔细看，就答应了他的要求，就签了字，而且在辞职报告上签完字后，他的上级领导还说：“这个刺头终于走了！”
上级领导心里是说出不出的哪个痛快呀！
王阳明在接到批复后，郁闷地说了一句：“我靠，这也太不近人情了，竟然连一句挽留的话都不说，难道我王阳明的人缘就这么差吗？就这样批准了，这也太不给我王阳明面子了。”
然而，王阳明哪怕内心非常地痛苦，也只能自己品尝了，毕竟辞职报告是他主动写的，也是他主动向上级部门递交的，没有人拉着他这么干，他只能在心里自叹道：“我王阳明真是自作孽，不可活呀！早知如此，何必当初呢？”
王阳明说完这句话后，他倒是想得开，就心安理得地接受了这个残酷的现实，哪怕心里非常郁闷，他还带着他的书童，挑起一些书籍就回到了老家余姚。
在王阳明回到余姚老家后，他还是整天什么事都不干，学着他的三世祖王与准的花样，在四明山找了个洞，于是钻进人们当时所谓的老鼠洞里去打坐了，却把娶的六个老婆扔在家里独守空房，这也太没有担当了。
在当时，当地人所称谓的这个老鼠洞，在王阳明得道后，才被改称为阳明洞，这是后话了。
但也就从这时起，他才正式把自己称为王阳明，而王守仁这个法定认可的名字，却被他抛在了脑后。
王阳明在这个洞里的时候，他整天满脑子都在想着如何成仙得道，但同时又害怕他在这个洞里待的时间长了，会被人们遗忘，他就开始大肆炒作自己，就吩咐仆人到处去宣传说，他已经能够未卜先知了，他已经真的得道了。
他的一些朋友在听了他的这些宣传后，就来找他占卜，他却说道：“虽然我已经与空虚为体，已经天人合一了，已经能够前知五百年后知八百年了，但由于我们是朋友，我怎么能干对不起的朋友的事，毕竟天机不可泄露，对于你们来找我占卜，我已经是大师了，真正懂易的是不占卜的，我怎么能为你们占卜呢，我王阳明从来不干预知未来这种没意义的事，这样会遭受天谴不说，我的心也会太累，而且我还感觉到非常的太无聊。所以你们想让我算一卦来证明我是不是真的已经未卜先知了，是不是已经真的得到了，我觉得没有什么必要，我只能对你们说一声抱歉了。”
王阳明说完，就闭目养起神来，默不作声了。
他的朋友们见王阳明如此，只能闷哼：“嘿！”
朋友们的这一声闷哼，不知是在惊叹王阳明真的得道了，还是在说：“这王阳明，他还真不笨。”
如果从后面这一句作为出发点，那王阳明真的还不笨，如果他笨，怎能成为后来的心学大师，怎能比唐伯虎过得潇洒和任性。
那时的王阳明就因主动辞职入居阳明洞后，可以说是他的大名已经传遍京城了，更不用说老家余姚了，而他唐伯虎却被几个老婆打得半死不活的辇出了门，从此流落江湖，到处乞求他人给口饭吃。