前207年（秦二世三年）七月，刘邦率兵攻占颍川。韩王和张良便与刘邦会合了。[13]刘邦请韩王留守阳翟（韩故都，今河南禹州市），而让张良随军南下。九月，军队抵达南阳郡（今河南南阳市）。南阳郡守奇退入宛城（河南南阳）固守。刘邦灭秦心切，见宛城一时难以攻取，打算绕过宛城继续西进。
张良认为不妥，劝道：“您虽然急于进关，但这一路上秦兵还很多，而且都扼据着险要的地势。现在不拿下宛城，一旦宛城的秦兵从后面追杀过来，那时，强秦在前，追兵在后，就很危险了。”刘邦采纳了他的建议，立即更换旗帜，率兵乘夜间抄小路悄悄返回。拂晓时分，刘邦的军队已把宛城重重围住。
接着，刘邦又采纳了陈恢的意见，以攻心之术，招抚南阳太守，赦免全城吏民，兵不血刃地轻取了宛城。解除了刘邦西进的后顾之忧，刘邦兵威大振，南阳郡的其它城池见太守已降，纷纷起而效之，望风而降。
随后刘邦率军抵达峣关（今陕西商州西北）。峣关是古代南阳与关中的交通要隘，易守难攻，是通往秦都咸阳的咽喉要塞，也是拱卫咸阳的最后一道关隘，秦有重兵扼守此地。
刘邦赶到关前，想要亲率所部两万余众，强行攻取。张良劝谏道：“目前秦守关的兵力还很强大，不可轻举妄动。”刘邦惟恐项羽大军先入关中，因而心急如焚，忙向张良问计。
张良向刘邦献了一个智取的妙计。他说：“我听说峣关的守将是个屠夫的儿子，这种市侩小人，只要用点财币就可以打动他的心了。您可以派先遣部队，预备5万人的粮饷，并在四周山间上增设大量军队的旗号，虚张声势，作为疑兵。
然后再派郦食其多带珍宝财物去劝诱秦将，事情就可能成功了。”刘邦依计而行，峣关守将果然献关投降，并表示愿意和刘邦联合进攻咸阳。
刘邦欲听之，张良却认为不可，道：“这只不过是峣关的守将想叛秦，他部下的士卒未必服从。如果士卒不从，后果将不堪设想。不如乘秦兵懈怠之机消灭他们。”于是，刘邦率兵向峣关突然发起攻击，结果秦军大败，弃关退守蓝田（今陕西蓝田县西）。
刘邦乘胜追击，引兵绕过峣关，穿越蒉[à]山，大败秦军于蓝田。大军继续西进，于公元前207年十月（秦以十月为岁首汉初未改）抵达霸上（今西安市东25里）。
这时，秦二世已被赵高杀死，仅仅做了46天秦王的子婴眼见义军兵临城下，大势已去，只好以绳系颈，乘素车白马，捧着御玺符节，开城出降。至此，雄霸四方、威振海内的大秦帝国灭亡了。
刘邦从奉楚怀王之命西进到进入关中，历时仅一年，由于他采纳了张良的计谋，保证了军事上的顺利进展，从而赢得了时间，比项羽抢先一步进入关中。
刘邦大军进入咸阳，看到那豪华的宫殿、美貌的宫女和珍宝异藏，使许多人忘乎所以，以为可以尽享天下。连刘邦也情不自禁，想留居宫中。武将樊哙冒死犯颜强谏，直斥刘邦“要做富家翁”。刘邦根本不予理睬。
在这关键时刻，张良向刘邦分析利害，劝道：“秦王多做不义的事，所以，您才能推翻他而进入咸阳。既然您已经为天下人铲除了祸害，就应该布衣素食，以示节俭。大军刚入秦地，您就沉溺在享乐中，这就是所谓助桀为虐了。况且良药苦口利于病，忠言逆耳利于行，愿沛公听从樊哙等人的话。”
张良语气平和，但软中有硬，尤其是话中对古今成败的揭示以及“无道秦”、“助桀为虐”等苛刻字眼，隐隐地刺疼了刘邦近乎沉醉的心。这种紧打慢唱的手法，果然奏效。刘邦接受了这卓有远见的规劝，下令封存秦朝宫宝、府库、财物，还军于霸上，以待项羽等路起义军。
在此期间，刘邦还采纳张良建议，召集诸县父老豪杰，与之约法三章：“杀人者死，伤人及盗抵罪。”
并通告四方：“余悉除去秦法。诸吏人皆安诸如故。凡吾所以来，非有所侵暴，勿恐。”另外，还派人与秦吏一起巡行各地，晓谕此意。结果，博得了秦民的一致拥戴，争先恐后用牛羊酒食慰劳军士。
刘邦见状，又命令军士不要接受，传出话去：“军中粮食充足，不要劳民破费了。”秦地百姓听罢此言，越发高兴，惟恐刘邦不为秦地之王。
刘邦采纳张良的建议，采取一系列安民措施，争得了民心，为他日后经营关中，并以此为根据地与项羽争雄天下，奠定了良好的政治基础。
前206年（汉高祖元年）二月，项羽率诸侯兵抵达函谷关（今河南灵宝东北）。刘邦命令守军紧闭关门，阻止诸侯兵进关。
项羽得知刘邦已攻下咸阳，十分恼怒，正赶上刘邦部下曹无伤密告项羽，说：“沛公要在关中称王。”项羽立即命令英布督军强攻。同年十二月，项羽大军攻破函谷关，进驻新丰、鸿门（今陕西临潼东北），要与刘邦决一死战。
幸亏项羽的叔父项伯与张良曾有旧交。在项羽大军决定进攻刘邦的前夜，项伯悄悄骑马来到刘邦军中私见张良，把消息告诉了张良，并邀他一同潜逃。张良说：“我奉韩王之命，送沛公入关，而今沛公身处危难之中，我悄悄逃走，是不合道义的。我必须去向他辞行再走。”随即，张良来到刘邦的营帐中，把项伯所说的一五一十地告诉了刘邦。
刘邦听后大惊问：“这可怎么办？”张良反问刘邦：“您估计我们的军队能抵挡住项羽的进攻吗？”刘邦默然良久，说：“确实不能。现在该如何是好？”张良审时度势，张良给刘邦出了个釜底抽薪的主意：“请您去告诉项伯，说您不敢背叛项王。”刘邦问：“项伯和你，谁的年龄大？”张良说：“项伯长我几岁。”于是，刘邦对张良说：“你替我把项伯请进来，我要像对待兄长一样对待他。”张良出去，再三邀请项伯入帐见刘邦。