光阴荏苒，此时的刘秀已到了及冠之年，长得一表人才，史称他：“身长七尺三寸，美须眉，大口，隆准，日角。”就在这一年，他忽然决定，要游学京都，让家人大吃一惊。这时刘秀的哥哥刘縯已经成家，虽然娇妻惹人怜爱，但他自王莽篡汉，常愤愤不平，胸怀“光复社稷之志，不事家人居业，倾身破产，好侠美士，交结天下雄俊”。
刘秀与哥哥不同，他从小想以种田为生，到舂陵后，因为家计所迫，更是早晚不辍。当时叔父刘良已经结束了官宦生涯，虽然按当时的制度，有资格享受朝廷的退休津贴，无奈级别太低，朝廷发的那一点碎银根本不够一大家人操持吃喝的。就算刘良不说，刘家三兄弟心里也是明白的，叔父对他们已经够照顾的了，总不能靠叔父一辈子。
父亲不在了，作为长子的刘縯理应挑起生活的重担，但刘縯生来有着远大的志向，他对于农活没有半点兴趣，最大的爱好是结交天下豪杰，喜欢畅谈天下大事。家中所有的农活便只能由二弟刘仲和三弟刘秀来承担。刘秀知道大哥的性格，他了解大哥的远大志向，只好和二哥一起，默默地挑起生活的重担，供着大哥在外面风光。刘仲是个老实巴交的人，只会埋头种田，其他的一概不管。
刘秀从小就对农活用心，很会照顾、打理田地，他家的田即使在大旱的年景也能有个好收成。关于刘秀种田，还有许多传说。一年春上，刘秀跟村里娃子们一路，带着干粮到山里放牛，晌午，刮起西北风，人冻得直打哆嗦，刘秀跟娃子们一起，躲在一个山洞里吃干粮，刘秀说：“要是这儿有个锅灶，把馍馍热热吃，那该多美呀！”
洞里原本没有锅灶的，刘秀一说，不晓得从哪冒出来一台灶、一口锅，一伙毛猴子高高兴兴没法说，拾柴的拾柴，生火的生火，三下五去二，把馍馍炕热了。娃子们看到刘秀说话算话，都听他的。
刘秀每天放牛，总要带一本书，牛吃草，他看他的书。这一天，他正在看书，忽然下起了雨，娃子们衣裳都打湿了，刘秀的书也直滴水，他生气地说：“鬼老天爷，紧下个啥，把我的书也打湿了，你晴下不行？”刚说罢，雨停了，太阳出来了，娃子们跑去晒太阳，刘秀把书摊在一块石板上，不一会就晒干了。
后来，在枣阳皇村附近的山上，就一直留有刘秀当年的煮饭屋和晒书台。当地吴店皇村东边有座小山，山虽不高，却有些怪异，平地突兀，似锥形，乱石堆积，杂草丛生。传说当年刘秀曾在这里磨过剑，故名“磨剑山”。
刘秀九岁那年，父亲去世，兄妹六人随母亲樊氏回到老家舂陵白水村，依靠叔父刘良，种地为生。刘秀还未成人，就会耕田，精耕细作，勤于管理，所以，年年庄稼长得特别好。每到收获时节，满田谷子穗大粒壮，沉甸甸、金灿灿的，十分喜人，惹得左邻右舍羡慕不已，都夸刘秀是个好后生。
每当此时，刘秀心里总在想，要是大伙儿的庄稼都像这样就好了。再看看周围邻居的庄田，庄稼不是稀疏零落，便是杂草丛生，大片土地荒芜，好一派凄凉景象。刘秀常想，民不聊生所为何故，苛政之患也。有朝一日，定要铲除王莽奸贼，还我汉室江山，让百姓过上安稳的日子。
那年头，舂陵一带有个恶霸，名叫韩虎，此人游手好闲，好吃懒做，仗着自己会一点拳脚，在当地专干一些欺男霸女、抢人钱财之事。三乡五邻，无不恨之入骨，却又无可奈何。
一日，韩虎和一帮狐朋狗友游逛到白水村，看到一片金黄的谷子，十分眼馋，就勾结了一帮歹徒前来哄抢。时值刘秀和家人刘稷正在田里劳作，准备收割，忽见有人来抢自家的谷子，便上前制止。这帮歹徒非但不听劝阻，反而大打出手，主仆二人哪里是这帮人的对手呢。
刘秀一点儿功夫也没有，被打得不能动弹，刘稷虽会一点武功，也被打得鼻青脸肿，眼看到手的谷子被人抢走，刘秀气得直跺脚，却又无济于事。
就在这时，忽然从南边来了一位白衣女子，那女子气的个头不高，身材瘦小，皮肤白皙，龙眉凤眼，十分精神，着一身白衣，脚穿白鞋，头扎白绫，腰间佩带一把银色短剑，骑一匹白色大马，论个头和她骑的那匹骏马极不协调。但看这女子的一身打扮，便知她是江湖侠女，路见不平，拔刀相助。
说时迟，那时快，只见那女子像飘一样地来到田间，翻身下马，三拳两脚便把那帮地痞打翻在地，一个个屁滚尿流不能动弹。为首的韩虎见状，很是不服，手持一把寒光闪闪的利剑向那女子刺来，面对来势汹汹的韩虎，白衣女子不闪不避，更不胆怯，反而迎着利剑伸手轻轻一抓，那利剑就到了她手里，随即又轻轻一弹，那利剑刺向韩虎右臀。韩虎哪见过这阵势，惊恐万状，心想今天算是遇到克星了，慌忙捂着屁股连忙逃跑，其余的流氓地痞也逃之夭夭。
此景此情，刘秀看得真真切切，心中暗自佩服，但又不知所措。那白衣女子走到刘秀面前，轻言细语道：“你可是刘文叔吗？”
刘秀慌忙起身道：“正是在下，多谢姑娘搭救之恩，敢问姑娘尊姓大名？怎么知道小可？”
姑娘道：“小女子杜静，久闻文叔不但胸怀大志，侠肝义胆，知书达理，一表人才，而且做得一手好农活，今日路过此地一见，果然名不虚传。因见歹徒抢谷子，又见你被打，心想，必定是你刘文叔了，故而冒昧相问，没想到竟在这里相遇。”
刘秀道：“姑娘见笑了，刘秀区区小民，无惊人之处，不值得姑娘如此夸奖。我连自己的庄稼田都保护不了，谈何大志？”
姑娘含笑接着道：“自古立大业、成大事者心胸开阔，志向远大，还需有一身硬功夫，才有号召力。像你这样怎能号召人马，又怎能成大事，岂不空有大志？”
一席话说得刘秀面红耳赤，无地自容，自愧不已，心想，这女子深明大义，精于世道，武功高强，绝非一般女子。片刻，那女子试探性地问道：“文叔若不嫌弃，小女子愿献雕虫小技。”
刘秀一听，要教自己剑法，连忙躬身说：“姑娘若亲授在下武艺，实乃三生有幸，苍天造化，在下先行拜师礼了。”
却说那白衣女子杜静，传授给刘秀的剑法叫“人剑五式”，共有五招：第一招叫“人微言轻”，第二招叫“人面兽心”，第三招叫“人老珠黄”，第四招叫“人仰马翻”，第五招叫“人定胜天”。
这五招剑法要求习者在练习时心无杂念，否则，练不出上乘功夫。但如果练成这五招剑法，在武林中从此也是一代豪杰。
刘秀自从得了杜静密传剑法以后，便冬练三九，夏练三伏，一有空闲，就跑到村东边小山村旁的一块平地上练习。
他对于“人剑五式”的一招一式，一个细小的动作，甚至一个很小很小的细节都一丝不苟地反复琢磨练习，练了一遍又一遍，演了一招又一招，渴了，喝一口河水，累了，坐在水边上休息一下再练。
如此这般寒来暑往，花开花落，不知练坏了多少剑，磨剑石用了多少块！功夫不负有心人，经过数年的苦练，他的剑法已练到炉火纯青、出神入化的境界，剑技已不在杜静之下。
一日，他又来到这块小平地上，想试一下自己的武功究竟如何。他先把“人剑五式”剑招从头到尾仔细地演练了一遍，最后，攒足了劲儿，手持长剑，大喝一声向那座山头劈去，只见手起剑落，寒光闪闪，火花四溅，只听“咔嚓”一声，一座小山被劈成了两半，一半与原来的山脉相连，另一半则成了一座小山，后来，人们就叫那座山为“磨剑山”。
“磨剑山”的传说虽然当不得真，却反映出少年刘秀并不是只会种田，这从他后来率领千军万马，驰骋沙场也能看得出来，他年轻的时候一定有过练武的经历。
另外，刘秀还有非常好的生意头脑，每次打完粮后，留下家里吃的，就赶着牛拉着粮食到周边市镇贩卖。在当时的年景下，粮食十分金贵，来时局动荡造成粮食比较紧缺，加上刘秀为人忠厚和善，做买卖诚实守信、价格公道，所以刘家的粮食销路非常好。很快，刘秀就为家里攒下了一笔很丰厚的积蓄，刘家也慢慢从父亲逝世的阴影中走了出来。
刘秀不仅会做买卖，更重要的是他非常会做人，平时乐于助人，乡里乡亲的谁家有困难，都会尽力帮忙，从不说二话。刘秀“品行纯美，有君子之风”，在当地赢得了非常好的口碑，乡亲们一提刘家老三，个个都是赞不绝口。那位“性刚毅，慷慨有大节”的大哥刘縯，却从不管家计问题，只知道用仅有的一点家当去招待各路豪杰，即使家里早就入不敷出，他也从不顾及。
刘縯的志向非常宏大，他从心里瞧不起做农活的营生，自认为是汉高祖刘邦的后人，天生龙种，应该出将入相、钟鼎玉食，如今落到这个下场，心里怎么能平衡？刘縯每天都在幻想，有朝一日，他率领各路江湖豪杰，冲进长安城，灭掉该死的王莽，重建大汉天下，也不枉费自己身上流淌着的皇族血脉。
刘縯整天呼朋唤友，而结交是需要花钱的。刘縯不事生产还常常大手大脚地花钱，这样一来，只好找两个弟弟要钱花。刘仲和刘秀对大哥非常尊敬，只要大哥开口，从来不拒绝。刘縯白花着弟弟们辛苦挣来的钱，却半点也不心疼，不仅如此，他还非常瞧不起这两个“胸无大志”的弟弟，经常数落弟弟。面对这个近乎无赖的大哥，刘秀从来都是尊敬的，无论他说什么，刘秀只是笑笑。
除了种地放牛，年轻的刘秀还有一个爱好，那就是读书学习，这似乎与他的内向型性格有一定关系。每当夜阑人静，哥哥们在村子里舞枪弄棒，姊妹们在家里纺线聊天的时候，刘秀却一个人在灯下读书。那时候的他，正在以有别于大哥刘縯的方式，积蓄改变命运的力量。
刘秀和刘縯虽然是同父同母的弟兄，但是两人的人生观念和生活态度有着巨大差别。虽然他们都立志干一番大事业，但刘縯更多地体现在口头上，几乎路人皆知；而刘秀却是深藏在内心中，像早期怀孕的人，外人根本看不出来，正因为如此，一向以刘邦为榜样的大哥刘縯对三弟刘秀的行径是颇有一些看不起的。刘縯看不起刘秀，主要有两点：一是嫌他是个书呆子，认为读书没用；二是怪他种地太认真，再怎么种也不可能种出金元宝来。
对这两个方面，身为大哥的刘縯曾经当面嘲笑过刘秀。有一次，刘縯和几个兄弟朋友聚在一起，纵论天下大事，畅谈修身治国齐天下的远大抱负。当谈到治国安邦的实现途径时，年龄最小的刘秀说：“我认为当务之急是要多读书。”刘縯听了，根本不以为然，他讥笑弟弟说：“大丈夫靠武功闯天下，你只知道读书，最多当个经学博士，能成什么大器？”
刘秀听了哥哥的话，默然不语，依旧读书耕田。刘縯见弟弟的思想似乎有所动摇，于是想再激他一次。一天，正当刘秀在地里锄草时，刘縯率领宗室兄弟与宾客侠士，一大群人呼啦啦全围了过来。
刘縯指着刘秀，问众人道：“我这个弟弟，只知道埋头种地，是个种地高人，比诸高祖兄刘仲如何？”刘仲是汉高祖刘邦的二哥，因为一心种地，受到刘邦的嘲笑。众人一听刘縯将刘秀比作刘仲，哗然大笑。笑声未停，刘縯又说：“不过，我想他再怎么种，也种不出未来。将来大家发达了，当他要饭要到门口的时候，可不要装作不认识他。”众人七嘴八舌，尽是嘲讽之意。
刘秀胸无大志吗？当然不是，只是他心机比较深，不轻易让人知道他在想什么。刘秀也是汉家子孙，眼瞅着王莽倒行逆施，朝野上下，一片乌烟瘴气，百姓受苦受难，他何尝不想恢复大汉天下，让刘氏继续站在历史的顶端？只是刘秀看问题的角度和刘縯不一样，他不仅关心国家大事，还非常关心如何让一家人吃上饱饭，如果都像大哥这样整日不事生产，只是广纳宾客，自己家恐怕早就贫困不堪，母亲、姐姐和妹妹也都被饿死了。
虽然刘秀看起来整日侍弄庄稼，胸无大志的样子，其实他的心中并不平静，他何尝不想做一番事业？他在操持农业、贩卖粮食的同时，一直都留意着当地的吏治、政策等，甚至也刻意去结交一些有势力的人。
而且，刘縯想的那些事情，刘秀也不止一次想过，但他认为，现在还不是时候，他们手上无一兵一卒，拿什么去反抗王莽，现在还需要积累，于是刘秀想出了一个人生计划，那就是到京城长安去求学。
刘秀在舂陵乡间耕读十年，非常明白学习方法的重要性。人生不仅要读万卷书，还要行万里路，孔子的游学思想深深激励着他，他想到繁华的都城长安去看一看，到梦想中的太学去看一看。
此时的官富子弟不少都是走的这条路线，学习经学，进入太学，学满后便有机会从政了，这是一条很好的做官途径。刘秀不想永远做一个农夫、粮食贩子，他毕竟也同样有着刘氏皇族的骄傲。
然而，在古代落后的自然条件下，远出游学绝非易事。虽然刘秀思谋已久，但是因为要照顾家庭，再加上人都有消极懒惰思想，如果没有合适的机会激发，很难一下子做出这个决定。
现在，哥哥刘縯给他提供了这个机会。在众人的嘲笑声中，刘秀脸涨通红，慨然作色说：“如今天下大乱，醉心于田园牧歌从事耕作，并不是长久之计。大丈夫立于天地之间，你们能建功立业，我亦能名载史册，我早就想好了，我要到京城去求学！”
就这样，刘秀将自己的京都求学计划提了出来。弟弟求学，哥哥刘縯其实并不看重，但是弟弟能够出去走走，见见世面，在刘縯看来还是应该支持的，而且，刘縯还有另外的一些想法，那就是借助弟弟到京城求学的机会，了解一下长安的政治形势，联络各地反莽的豪杰之士。因此在弟弟走之前，刘縯特别叮嘱弟弟多次。
