显而易见，府兵制最大的好处就是：国家不用养兵，可以省却一大笔国防开支。但是，最大的弊端也在这里。按规定，府兵出征时的武器、装备、粮食、日常用品等等，一切均需自备。这固然减轻了国家的财政负担，可对于个人却是一种难以承受的重负。为国家卖命打仗，还要花自己的钱，这在今天的人看来无异于天方夜谭，可在当时却是天经地义的。
唐朝初年，国力强盛，社会稳定，制度比较健全，府兵虽然负担重，但他们可以在均田制的基础上分配到足够的农田，本人还可免除租赋徭役，而且无论是出征还是宿卫，都有严格的制度保障，兵役一结束便可回家务农，因此经济相对比较优裕。然而，到了高宗末年和武曌时代，豪强兼并之风大起，均田制逐渐破坏，府兵很难分配到足额的田产，加之国家连年征战，府兵家属承担的租赋徭役日重，而府兵出征戍边的时间又严重逾期，往往是壮年应征而白首未归，导致家中田地经年抛荒，府兵及其家属普遍陷入贫困，甚至濒临破产边缘。
在此情况下，无论是在役的府兵还是即将服役的适龄青年，要想让自己和家人活下去的唯一办法，就只有一个字——逃！
只有带上妻儿老小，逃离他们的户籍所在地，跑到别的地方垦殖开荒，他们才能活命。就算日子依然困窘，但至少不会战死，不会饿死，而且一家人还可以在一起，不用承受生离死别之痛。
从武周时代起，户口逃亡现象已经非常严重，府兵制渐趋衰败。及至玄宗开元初年，逃亡人口有增无减，府兵制更是名存实亡，根本抽调不出足够的兵力来宿卫京师。（《资治通鉴》卷二一二）
正是在这样的背景下，张说向玄宗提出了改革兵役制度的建议。他采取的办法是：面向全国的所有青壮年公开招募，不问背景，不问资历，不追查过去，并提供优厚待遇。张说相信，只要采取这种新的兵役制度，已经逃亡的府兵必定会争先恐后地前来应征。
开元十年（公元722年）九月，玄宗采纳了张说的建议，开始实行募兵制。果然不出张说所料，短短旬日之间，朝廷便招募了足足十三万精兵。
至此，已经在西魏、北周、隋、唐四朝实行了一百七十余年的府兵制，正式退出历史舞台，被募兵制所取代。
“兵农之分，从此始矣”。（《资治通鉴》卷二一二）
张说的这项改革，不仅使国家的兵源得以恢复，使军队实现了职业化，大幅提高了兵员的专业素质，而且彻底消除了老百姓的兵役负担，让大量的青壮劳力回到了田间地头，稳定了社会秩序，促进了农业生产和经济繁荣。因此，此举跟裁军一样，其意义绝不仅限于军事领域，而是一项于国于民都有极大利益的德政。
自古以来，中国就有盛世修书（修史）的传统。
无论哪朝哪代，帝王和士大夫们总是把此举视为政治昌明、文化繁荣的象征，并以此作为衡量盛世的主要标准之一。远的暂且不说，仅以唐初的贞观时代而论，在唐太宗治下的短短二十余年间，官方修纂的前代正史就多达八种，占了《二十四史》的三分之一，堪称规模空前的一大文化盛举。唐代以后，每逢国力较为强盛的时候，官方就会适时启动庞大的修书计划，而且往往一代比一代范围更广，力度更大，种类更多，卷帙更繁。比如宋之《册府元龟》《太平御览》，明之《永乐大典》，清之《四库全书》等，无不是当时的统治者为了彰显其盛世气象而倾力为之的重大文化成果。
而唐玄宗之所以起用张说，其主要目的之一，当然也是为了让这个“一代文宗”能够在“文治”上作出贡献。开元十一年（公元723年），玄宗创办了丽正书院（两年后更名为集贤殿书院），由张说领衔，担任“修书使”主持院事，然后汇聚当时的文学英才（其中就有著名诗人贺知章），以四部分类法对古籍进行全面的编校整理，同时承担为皇帝讲解经史的职能。书院成立后，玄宗特意交代有关部门，一定要为书院提供最好的设施和条件，并为院士们提供最优厚的待遇。
由张说领导的这个书院，既是当时最具权威的文化机构和思想库，也是皇帝的决策咨询机构和智囊团，同时更是推进文治，铺排盛世风光的主阵地。说白了，其政治宣传的功能并不亚于文化建设的功能，甚至前者的色彩远比后者更浓。
史称张说“善用己长，引文儒之士，佐佑王化，当承平岁久，志在粉饰盛时”（《旧唐书·张说传》）。这“粉饰盛时”四个字，就是玄宗赋予集贤院的主要政治使命。
不过，并不是所有人都能领会玄宗的意图。
当时，有个别政治嗅觉比较迟钝的朝臣，对书院的创办就持否定态度。尤其是看到那些院士们一个个既尊贵，又清闲，还能享受高额津贴，有人就更是眼红得要命。比如一个叫陆坚的中书舍人，就曾经在朝会上公开发牢骚，说这些院士都是吃干饭的，对国家并没有什么好处，徒然浪费国家资源而已，还说他一定要上疏，奏请皇帝撤销书院。
张说听说后，亲自去找陆坚，当面给他上了一堂政治课：“自古帝王于国家无事之时，莫不崇宫室，广声色。今天子独延礼文儒，发挥典籍，所益者大，所损者微。陆子之言，何不达也！”（《资治通鉴》卷二一二）
这段话的意思是：自古以来的帝王，在国家太平无事之时，通常都会大兴土木，纵情声色。可惟独当今天子能够尊崇儒学，延揽文士，研究古籍，阐扬经典，这么做对国家大有裨益，相应的花费实在算不上什么。可见陆先生您说的那些话，是何其无知、何其狭隘啊！很显然，张说这番话，表面上是说给陆坚听的，其实是说给玄宗听的。
玄宗得知此事后，当然对张说非常满意，也对他越发倚重。而那个毫无政治头脑的陆坚，则引起了玄宗的强烈反感，这辈子要想再升官，估计是比登天还难了。
张说自从取代张嘉贞成为中书令后，就成了帝国的首席宰相，然而在他看来，自己在行使权力的时候还是受到了很多无形的制约，难以放开手脚。
让他感到掣肘的，并不是具体的哪个部门或官员，而是唐朝的宰相制度本身。
唐代实行的是集体宰相制，大多数时候，宰相都在六至十人之间。这些宰相本身都是三省或六部的长官，上午在“政事堂”集中议政，下午各回本省或本部办公，所以都是兼职宰相。而政事堂也只是举行联席会议的场所，并不是凌驾于三省六部的决策机构。之所以会有这样的制度安排，一方面固然是为了集思广益，另一方面也是为了避免个别宰相大权独揽。此外，从机构职能来看，中书省负责决策，门下省负责驳议，尚书省负责执行，三省之间既分工合作又相互制约，也能有效防止宰相专权。
尽管到了玄宗时代，宰相名额已缩减为二至三人，首席宰相的权力也已远远大于初唐时期，但是制度的惯性力量仍在，所以就算是首席宰相，在具体工作中也还是会受到很多限制。
为此，张说极具针对性地提出了一个改革计划。
开元十一年十二月，在得到玄宗的批准后，“政事堂”被取消，改为“中书门下”，同时下设吏房、枢机房、兵房、户房、刑礼房，分管各项政务。
这是大唐立国以来最大的一次行政制度改革。