接下来，杨威要做的就是等待。在夺金劲敌美国的保罗·汉姆稳稳落地的一瞬间，杨威心里的全能梦再次遭遇彻底的粉碎。一次又一次狭路相逢，一次又一次失之毫厘，几乎就要到手的金牌再度为他人摘走，坚强的杨威当场掉泪，没有太多的委屈，只是觉得付出没回报，只是觉得没能证明好自己。应该好好调整一下了，从赛场归来，杨威选择了去旅游，给自己一个短暂的假期，为了来年的雅典能够站上冠军领奖台。
2003年，杨威的所有世界冠军都来自团体项目，从没有拿过一次个人金牌。他做梦都想拿到一块属于自己的个人金牌。
2003年春节后的一天，黄玉斌总教练对自己组里的所有队员说，如果谁最先在个人上取得突破，他就把一个纯金的小护掌还有自己的金链子一起送给那个人。
这个纯金的小护掌是有来历的：1994年，中国男子体操队在多特蒙德夺得男团冠军，这是他们13年后再次成功登顶。率队夺冠后，总教练黄玉斌在瑞士打造了这个纯金的小护掌，上面还刻着黄导名字的缩写：HYB。同样的护掌除了黄导有之外，当时男队的几名世界冠军以及另外两位教练也都有，而且每个上面都有自己名字的缩写--这件礼物可能值不了多少钱，但是非常珍贵，这是黄玉斌对爱徒们的激励，也是中国体操历史的传承。杨威他们都想得到这份礼物，所以对2003年的个人项目金牌更加重视。
个人项目夺冠，杨威只有寄希望于全能项目，当他再次屈居亚军的时候，他知道自己丢掉的不仅仅是一块金牌，还有那个本应该属于自己的"小护掌"，他的内心百感交集。
结果，滕海滨在这次世锦赛上一举夺得了鞍马冠军，虽然他是师兄弟中最小的一个，却获得了这个珍贵的礼物；而杨威则不得不再次感叹："个人项目的金牌真的就这么难拿吗？！"
十年磨一剑，问鼎最高峰
所谓十年磨一剑也不过如此，面对别人的成功，面对世界顶级对手的"虎视眈眈"，杨威知道，自己除了苦练基本功外，没有其他的捷径。于是，在此后的几年里，他把训练馆当家，把所有的精力都扑在练习上。对于一年才回两次家的杨威，看在眼里的人都说："古有勾践卧薪尝胆，今有杨威尝胆卧薪。"因为长期见不到男友，杨云有一次甚至无限辛酸地对杨威的妈妈说："每次看到小区里那些牵着手一起散步的情侣，我的眼泪就刷刷刷地直往下掉。"
而此时，在训练场上挥汗如雨的杨威心里正在默默发力，他一定要拿下这块全能金牌，献给所有爱他的人以及他爱的人。
可是，谁也没能想到，2004年的雅典之战却几乎成了杨威个人运动生涯的滑铁卢。杨威自己也说不清楚，为什么一向顺畅的体操之路会突然间变得坎坷起来，或许是内向的他背负了太多人的希望，忽然间有些承受不起……经过了2003年阿纳海姆的波折，杨威心里有了一个结，他对全能冠军的渴望超过了以往的每一次赛事，但他却万万没有想到，在雅典，他竟然遭遇了最为彻底的失败。
参赛前，杨威把自己的心理素质及身体素质都调节到了最佳状态，对于全能冠军，他志在必得。可在此时，命运却偏偏给他开了一个很无奈的玩笑，在比赛中，身经百战的杨威居然在表演单杠项目时，侧身翻转720度时一时失手，几乎整个人掉落在地--全能冠军之梦再度破碎，而谁又会理解原因却是连训练时都极少出错的失误……那一次，杨威的自信心遭遇严重的挫败，他把自己关在家中，茶饭不思，第一次萌生了退意。这是自然而然流露出来的想法，他觉得，自己既然在最高峰上都难以问鼎，也许真到该离开的时候了。