可这份痛快在崇祯元年（1628年）被彻底打破。
那年夏天，郑芝龙收到了福建巡抚熊文灿的招安文书，决定带着大部分弟兄归顺朝廷。
消息传到胡大的船舱时，他正在跟弟兄们喝着劣质的米酒，吃着咸鱼干。
当听到“招安”二字时，他手里的酒碗“啪”地摔在地上，酒水和碎碗片溅了一地。
“归顺朝廷？”他猛地站起身，眼睛红得像要滴血。
“那王怀仁害死我爹娘，朝廷何曾为我伸过半分冤屈？现在让我归顺，我做不到！”
彼时，郑芝龙麾下的大头目李魁奇也坚决反对招安。
李魁奇是个性格暴躁、野心勃勃的人，他找到胡大，拍着他的肩膀说：“胡兄弟，郑芝龙软骨头，要去当朝廷的狗，咱们可不能跟他走！我打算盗走他的战船，自立门户，你带着弟兄跟我干，以后闽海就是咱们的天下！”
胡大本就不愿招安，又觉得李魁奇是条汉子，便答应了他。
七月十五那天夜里，月黑风高，李魁奇率领不愿招安的弟兄，趁着郑芝龙的船队防备松懈，悄悄盗走了四百多艘战船，胡大带着自己的三四十个弟兄，驾着三艘战船跟在后面。
离开厦门港时，胡大回头望了一眼那片熟悉的海域，心里五味杂陈，他虽然舍不得郑芝龙的知遇之恩，却更放不下心中的仇恨。
可跟着李魁奇没多久，胡大就发现两人根本不是一路人。
李魁奇为人虽有勇力，却心狠手辣，毫无底线。
他不仅劫掠富商的商船，连载着百姓的渔船也不放过，抢完货物还纵火烧船。
一次，李魁奇下令洗劫台湾北部的一个小渔村，胡大亲眼看到弟兄们抢走渔民仅有的粮食和衣物，还把反抗的老人绑在柱子上烧死。
他当场就跟李魁奇吵了起来：“李大哥，咱们当海盗是为了活命，不是为了残害无辜百姓！你这样做，跟那些贪官污吏有什么区别？”
李魁奇冷笑一声：“胡大，你少在这里装好人！咱们是海盗，不是善男信女！不抢他们，咱们吃什么喝什么？”
两人的矛盾越来越深，李魁奇开始处处排挤胡大，不仅克扣他手下的粮饷，还故意把最危险的任务派给他。
胡大知道，再跟着李魁奇，迟早会落得个身败名裂的下场。
一天夜里，胡大召集自己的弟兄，在船舱里开了个会。
他看着眼前这些跟自己出生入死的弟兄，说道：“弟兄们，李魁奇不仁不义，咱们不能跟着他继续错下去。闽海虽大，却没有咱们容身之地。我听说台湾南部的麻豆湾，地处偏僻，荷兰人还没来得及占领，那里有天然的避风港，还有大片荒地，咱们去那里安身怎么样？”
“丑话先说在前面，咱们只劫那些为富不仁的商人和欺压百姓的官船，当然还有那些洋人，绝不骚扰渔民和百姓，谁敢对百姓和渔民动手，我胡大绝不会放过他！”
弟兄们早就对李魁奇的做法不满，听胡大这么一说，纷纷响应。
“大哥去哪，咱们就去哪！”
“对，咱们不能做伤天害理的事！”
当天夜里，他们趁着李魁奇的船队停靠在澎湖列岛补给，悄悄装上粮食、淡水和武器，驾着三艘战船，朝着台湾麻豆湾驶去。
经过三天三夜的航行，他们终于抵达了麻豆湾。
这里的海域平静无波，湾内的避风港能容纳数十艘战船，岸边是大片肥沃的荒地，远处还有原住民居住的部落。
胡大带着弟兄们登岸，在避风港旁搭建了简易的营地，又派人跟附近的原住民沟通。
原住民见他们不像其他海盗那样烧杀抢掠，还主动拿出一些粮食和布匹跟他们交换，便也对他们友善起来。
就此，胡大就带着弟兄们在麻豆湾扎下了根。
他们平日里在营地附近开垦荒地，种些粮食和蔬柴，偶尔驾着战船出去，只找那些西班牙还有荷兰人的商船和为富不仁的富商船队下手。
抢到的财物，除了留作船队的补给，很多都分给了附近的原住民。
渐渐地，“三脚大爷”胡大的名号在麻豆湾一带传开了，有人说他是劫富济贫的义盗，也有人说他是啸聚山林的悍匪。
但胡大不在乎，他只想带着弟兄们在这片远离纷争的海域，安安稳稳地活下去，守住自己心里那点仅存的道义。
这日清晨，放哨的弟兄匆匆来报：“大哥，发现一艘荷兰商船，正朝着麻豆湾方向驶来，看船上的旗号，像是热兰遮城总督科恩的船！”
胡大眼前一亮，荷兰人的商船大多载着从大明各地买来的物资，说不定会有不少的粮食。
他立刻召集弟兄们：“都打起精神来！咱们去会会这荷兰船，要是载着粮食，就给它‘借’过来！记住，只抢货物，不许伤人！”
弟兄们一听有行动，顿时精神抖擞，纷纷抄起家伙，跟着胡大登上三艘战船，朝着荷兰商船的方向驶去。
那艘荷兰商船体型不小，船身两侧架设着几门火炮，却没想到会在麻豆湾遇到海盗。
胡大指挥战船呈三角阵型，迅速包抄过去。
“开炮警示！”随着他一声令下，战船上的火炮“轰”地一声响，炮弹落在荷兰商船前方的海面上，溅起巨大的水花。
荷兰商船的船长顿时慌了神，连忙下令停船，船上的荷兰士兵也慌乱地举起火枪，却没人敢先开枪。
胡大带着十几个弟兄，驾着小船登上荷兰商船。
荷兰船长哆哆嗦嗦地用生硬的汉语问道：“你们……想干什么？这是科恩总督的船，你们敢抢？”
胡大冷笑一声，拍了拍腰间的鬼头刀：“少废话！我们只要货物，不伤你们性命！”
说着，他指挥弟兄们打开船舱，里面果然堆满了箱子。
弟兄们七手八脚地将船舱里所有的箱子都搬到自己的战船上，胡大则盯着荷兰船长，防止他耍花招。
等所有箱子都搬完，他挥了挥手：“把他们的船帆收起来，让他们在这漂着，咱们走！”
弟兄们照做后，驾着战船满载而归，只留下一脸沮丧的荷兰人在海上打转。
回到麻豆湾的据点，胡大迫不及待地让人打开箱子。
可当箱子被打开时，他的脸色却越来越沉。
第一个箱子里装的是五颜六色的玻璃制品，有花瓶、酒杯，虽然晶莹剔透，却不能当饭吃；第二个箱子里还是玻璃制品，只是样式不同；一连打开后面的五个箱子，发现除了琉璃就是一些瓷器什么的，他看向角落里堆放的一些袋装的粮食，可数量远不及玻璃制品多。
“他娘的！”
胡大忍不住破口大骂，一脚踢翻身边的木凳。
“老子缺的是粮食！抢这些中看不中用的东西有屁用！”
弟兄们也都泄了气，原本以为能满载粮食回来，没想到大部分都是些不能吃的玩意儿。
一个弟兄小声说道：“大哥，这些玻璃看着挺值钱的，要不咱们拿去跟附近的部落换点东西吃？”
胡大深吸一口气，压下心头的怒火。
他看着箱子里的玻璃制品，又看了看弟兄们饥饿的眼神，点了点头：“也只能这样了。你带上几个人，拿些东西去跟附近部落的首领换粮食，尽量多换些，咱们快断粮了。”
弟兄们连忙应下，拿着玻璃制品匆匆离去。
胡大坐在营地的石头上，望着远处的海面，眉头紧锁——粮食的问题不解决，弟兄们在麻豆湾根本待不长久，可荷兰人的商船难遇，官船又防卫严密，下一次能抢到粮食，还不知道要等到什么时候。