司马光是个品操高洁、志向远大的人，仕途上得不到晋升，就在做学问上下大功夫，力求有所长进。大约就在这个时候，他写成了《古文孝经指解》一书，并亲自作序，上表报告皇帝。在中国古代，孝为人伦之本，只有为子而孝，才能为臣而忠，孝亲尊老与忠君爱国是一致的。北宋中期，理学正在形成，《孝经》首当其冲受到重视。司马光既是孝子，也是忠臣，着力研读《孝经》便是理所当然的了。《孝经》是儒家的经典之一，传说为孔子与曾参论孝时，由门人记录整理而成。北宋以前，注《孝经》者不下50余家，但宫廷秘阁所藏只剩下汉代郑玄注、唐代玄宗注的《古文孝经》3种版本。这本《古文孝经》传说是西汉鲁恭王刘余在拆孔府旧宅时，与古文《尚书》等先秦古籍一起被发现的，全是用大篆写成，西汉时人能读懂的已是凤毛麟角了。后由孔子后代孔安国用汉朝通行的隶书重新抄写，被称为隶体《古文孝经》。司马光认为，其它版本经过各种流派学者的篡改增删，有许多不可为据的地方，旧书“传注遗逸，孤学堙微，不绝如浅”。他以隶书体写成的《古文孝经》为底本，据己所闻为之指解，“其今文旧注有未尽者引而申之，其不合者易而去之”。他说，对于书中某些是非、真伪有争议的地方，可以经为“的”，与其一人射，不若众人射，其中“的”而获真谤者肯定会有很多。
司马光读书、著文、研究学问特别强调学以致用、有的放矢，反对高谈阔论、哗众取宠。秘阁有位名叫陈充秘的校书，对司马光的德才十分敬重，致信大加赞誉，并表示愿意与他一块讨论学问。司马光给这位陈校书复信说，你对我“推褒责望，皆非光所敢当，惶恐累日，无以自处。”他问道：我不知道你的志趣在于学古之文，还是学古之道？若学古之文，我生平不能为文，“不敢强为之对以欺足下”；若学古之道，“则光与足下并肩以学于圣人”。司马光劝这位陈校书：“足下必欲求道之真，则莫若以孔子为‘的’”。他说：“射者必志于‘的’”对的放矢不中者有之，但从来没有不对的放矢而能中者。你我同为射者，你距的近，我距的远，我若学无目的，则距的就会更远。这些道理只是我平日所闻，也不一定能正确运用，说出来请“足下试熟察而审处”。
就在这个时期，司马光还撰成了《知人论》和《功名论》两篇论文，前者论述人主如何识别贤才，后者论述人主如何使用贤才，两文可以称作是姊妹篇。在《知人论》中，他把“选贤而进之，量能而任之；成功者赏，败官者诛”，视为“人君之职”。他举例说，齐桓公、魏灵公这两个国君的个人品质都不怎么样，但是，由于他们能知人善任，重用贤臣，却使国家出现了“主昏于上，政清于下”的局面。在《功名论》中司马光指出：若圣明之君而用贤良之臣，犹如“王良之御六骥，逢蒙之关繁弱，孟贲之挥干将，何适而不达，何射而不中，何击而不断哉！”对于忠正贤良之臣，人主若“知之不明，用之不固，信之不专”，则人臣“虽有才智而不得施，虽有忠信而不敢效”，人主“徒劳于上，欲治而愈乱，欲安而愈危，欲荣而愈辱。”知贤而不能用等于不知。燕之乐毅、赵之廉颇、楚之范增，这些都是有名的贤能之臣，后来皆因为奸邪攻击，受到人主怀疑而不用，以致断送了人主的事业。他说：“凡忠直之臣，行其道于国家，则必与天下之奸邪为怨敌。”并非他们喜欢与奸邪为怨，若不与其为怨，“则君不尊，国不治，功不立也。”他认为人主听信谗言是最可怕的。“奸邪愈炽，忠良愈恐，政治愈乱，国家愈危”，用贤不能专与不用是相同的。这两篇文章读者粗看似乎是在颂扬人主，而实际上都是在责君。司马光此时发此议论，恐怕与刚刚结束的麟州事件不无关系。
在这段时间堕，司马光认真地思考和研究了人的品德与道德修养问题，他强调自我约束、自我改造，主张不惜疼痛，知错就改。这一年，司马光将自己以往所写的41篇文章加以整理后组合成集，定名《迂书》。他在自写的序言中说，我生性昏愚，进步不快，然而却十分勤谨，因而能时有所获。现在把这本书献给读者，由大家去评说。“论高者则日子之书庸而无奇，众人所同知；论卑者则日子之书迂而难用，于世无益。”这大概就是他定名《迂书》的由来吧。司马光又说，我尽自己的最大努力来探求古之道义，力所能及，得到的就是这些“庸与迂”的东西。《迂书》中有一篇题为《回心》的文章，别人不大理解，问他何谓回心？司马光回答说：“去恶而从善，舍非而从是。”有的人知恶、知非而不能改，就如同制悍马、斡番石一样难。静而思之，这完全在自己没有决心。若下定决心，则回心“如转户枢”，何难之有！
嘉佑三年，朝廷迁司马光为开封府推官，赐五品服。开封府设左、右厅推官各一员，分日轮流审判案件，他与另一名推官钱公辅干的就是这个差事。在司马光看来，前一段时间任州府幕僚已很受委屈，现在又安排他当推官审理案件，是“夺其性所乐，强以所不能”，因而总想乞差外任，在吏部南曹任上，因为就职时间太短，没敢冒昧提出。他一接到迁为开封府推官的任命，便立即上疏，以为官十多年来“守官未尝得近乡里，省展坟墓”以及“不闲吏事，临繁处剧，实非所长”为由，请求派他到离家乡较近的虢州或庆成军任职。这一恳乞没有被批准，他只得勉强上任视事。公堂论诉，各执一辞，当事人吵吵闹闹，衙役们进进出出。他仿佛像个醉汉似的，在如同秋蝇乱飞、烦剧鼎沸的氛围中工作，真讨厌死人了。晚上在家里倒是很安静的，清灯为伴，读书撰文，心明神净，发愁的是天一亮又要前往衙门，陷进“颂诉答辩”的牢笼之中了。一天清晨，司马光骑马到监狱查询囚犯的管理情况，从景灵宫门前路过，看到“窈窕清官深，仓琅朱门闭；广殿肃层阴，虚庭蔼佳气；长杨委嫩绿，老柏净新翠”，心神豁然开朗。马未停蹄已前行好远，他还不时回眸张望，恋恋不舍这美好的早春景色。他在一首《旬虑十七韵呈同舍》诗中发牢骚说：“虽非久安逸，幸得少顷适；讼庭只敲朴，咫尺异喧寂；明朝不能然，顾盼愁月夕”，希望能够“形骸尽我有，不复为物役”。他的好朋友梅尧臣读后觉得他的牢骚发得有点过头了，弄得不好又要成为不怀好心的人攻击的口实，在和诗中劝诫他“愿言保兢慎，切勿厌此役。”
他的同事钱公辅也不满意推官这份差事，曾在诗作中流露出想回归故乡的心意。司马光与钱公辅是世交，他们的父辈同为景德年间进士，二人又先后在崇文院、吏部南曹共事；现在则同命相怜，因而无话不谈，无所讳忌。司马光在一首很长的赠和诗中说：
吴越为君土，崤函是我家。
劳歌尽乡思，旅梦各天涯。
诚厌簪绅累，难堪狱讼哗。
然后他极赞江南、崤函的风物之美：
梅林连雨熟，梨味得霜佳；
秋色城临水，春风路入花；
稻肥初断蟹，桑密不通鸦；
风物随乡乐，山川苦道遐。
（《温国文正司马公集》卷三）
他和钱公辅都想调离推官岗位，各自回到距家乡较近的地方任职。
这年秋天，交趾国给宋进贡了一只异兽，称之为麒麒。麒麟本是古代传说中的一种兽类，其实谁也没有见到过它是什么模样，习惯中人们把它视为吉祥的象征。皇帝喜得祥瑞兽物，朝臣们纷纷上表庆贺。司马光却反其道而行之，进奏了一篇赋表加以讽讥。他说，麒麟是个什么样子，谁也没有见过，真伪难辨。“假使其真，非自然而至，不足为瑞；若伪，徒为远夷所笑”，建议“厚赐其使而还其兽”。他又进一步借题发挥说，要“发扬圣朝之光，补益治平之实”，应该“不贵异物”而“贱用民物”，劝朝廷不可再作“无益害有益”的蠢事。
[今用]：有才无德之人，尽可能不用或少用。而有德无才之人，不可委以重任，正如李嘉诚当时所说：如果你用一个才能平庸之人，可能会很平谈无奇，虽对企业不能带来很大的变化和发展但不至于毁掉整个企业，但如果用的是一个有才无德之人，就可能把整个公司搞垮。的确，没有良好的道德情操，就不可能有为国为民服务的观念，有时还会带来更大的害处。
4．举贤劾恶
为国家荐举贤能，阻止那些思想品质不好而又缺乏为政能力的不肖之臣被提拔重用，是言事之官的主要职责，司马光在5年谏官的生涯中对进贤退不肖，不仅发表了许多论述，而且对人才的任用和罢黜也敢于仗义执言，敢于表态，做了大量的实际工作。能把他认为德才兼备、能直言极谏的人荐举给皇帝；对那些不学无术，毫无办事能力，或者贪赃枉法，投机钻营，搬弄是非的奸邪之徒揭发、批评则是无所畏惧，丝毫不留情面，以至5年之后，他在请求调离谏职的报告中，不无后怕地说：“臣唯知竭力报国，与人立敌甚众，四海之内处处相逢，常恐异日身及无容足之地。”
嘉佐六年八月，仁宗在崇政殿策试贤良方正能直言极谏者，司马光与范镇同被派去担任复考官。苏轼、苏辙兄弟参加了这次策试，轼被编为国号，辙被编为毡号。司马光在批阅臣、毡两个考号的试卷时，十分赞赏，觉得考生的对策“词理俱高，绝出伦辈”。特别是毡号那位，以为国家自与西夏讲和20年来，朝廷已忘记了边患，对宫廷的赏赐随心所欲，臣下不敢谏，三司不敢争。国家的开支很大，每年还要向辽国和西夏支付财帛，宫禁内的无度赏赐又开了一个大的花钱口子。提醒朝廷不要以为“好色于内，不害外事”。话说得最为切直，范镇对毡号试卷的看法则与司马光不同，以为“命秩之差，所出差舛”。司马光与范镇商量，两人统一认识，最后达成一致的意见，将臣号判为第三等，毡号判为第四等。他们的意见得到评定官的肯定，却遭到初考官的反对。两种意见报告给仁宗，仁宗差官重定，同意了初考官的意见，毡号为不入等。司马光对此十分气愤，上书仁宗据理力争。他说，国家本欲通过考试选取才识高远之士，决不能“以文词华靡、记诵杂博”为贤，毡号试卷文词如何，我不敢说，但“其指陈朝廷得失，无所顾虑，于四人之中最为切直”。如果以此为理由不予人等，臣恐天下士人皆以为朝廷的直言极谏之科是虚设的。直言反而被黜，日后将以直言为讳。司马光终于说服了仁宗，皇帝发话，以为不可以“求直言而以直弃之”，才将毡号定为第四等。
以后，司马光谢世，苏辙在挽诗中说：“少年狷浅，射策本粗疏。欲广忠言地，先收众弃馀。”指的就是这件事。
司马光在任谏官期间，先后向朝廷荐举了两个人：一个是并州盂县主簿郑扬庭，一个是并州乡贡进士刘雍。郑扬庭是位学者，对《易经》有很深的研究，撰写成《易测》6卷。司马光读了这本书后，认为郑扬庭在研究易道时“不泥阴阳，不涉怪妄，专用人事指明六爻”，是“求之等伦，诚难多得”的好书。他将这本书推荐给仁宗，希望朝廷能“贵使”这位学者，让其能够为治国安邦有所“劝慕”。刘雍是位只参加过乡试的进士，没有担任过任何官职。此人对西北边境的情况非常熟悉，且见多识广，博学多才，撰成《边议》10卷。他“援据古今，指陈得失，用意甚勤，论理颇多”。司马光将刘雍及其著作推荐给朝廷。他说，自从与西夏交战以来，在野的学士上书谈兵机、献边策的很多，其中有不少意见“夸诞迂阔，不切实情，鄙陋肤浅”而不可采纳。这是因为“边鄙之事，非土著之人，耳目习熟则不能究明利病；非古学之士，历观成败，则不能坚定是非”。刘雍的《边议》如有可取之处，请朝廷对其略加甄奖。
在用人问题上司马光历来主张破格选贤，不求全责备。北宋有一项传统规定，国子监直讲必须是九经出身，年龄要在40岁以上。司马光认为这是一种“苛法”，于嘉佐七年向朝廷上《乞直讲不限年及出身札子》，要求将其废除。
治平元年十一月，司马光专门就举官问题上书英宗，提出把荐举贤能制度化、规范化。他说，政治之本，在于得贤。而天下之广，群臣至众，皇帝不可能全都了解，必然要借助荐举这个办法。若荐举不得其实，则邪巧并进，危害国家，因而设连坐之法惩治那些出于私心，荐非其人的人，这是百代不易的规矩。对于被荐举的人量才使用，文者从政，武者领兵，“此乃前世之令典，当今之切务”。现在的问题是被荐举的人不少，未见朝廷有所擢升，这岂不是徒饰虚名而无求贤之实吗？为了保证被荐举者的质量，建议朝廷进一步完善并严格执行连坐法，又对连坐法提出了具体的意见。最后他说：若如此，“则群臣莫敢不尽公择人，天下贤才皆可得而官使”。
司马光在竭力尽心为国家举荐贤才的同时，对那些贪赃枉法，渎职误国的官吏深恶痛绝，屡屡上书朝廷予以揭露，建议严加惩处。一般说来，建设性的谏议好提，弹劾性的谏议难办，特别是对那些权势很大，后台很硬的官吏的错误敢不敢弹劾，是对一个谏官是否尽职的严峻考验。司马光是经得起考验的，无论对谁他都不讲情面。
司马光上书弹劾的第一个官员是秦凤路经略安抚使张方平。《宋史》说张方平出身贫寒，聪颖绝伦，读书过目不忘，文章写得很好，被人誉为“天下奇才”。景佑元年举茂材异等科，授昆山知县；后又中贤良方正科，迁陆州通判。宋与西夏战争爆发，方平上《平戎十策》，主张在西夏出兵延、渭时，官军屯兵河东，抄其后路。他曾出使辽国，为辽主所欣赏，称“有臣如此，佳哉！”他先后任过直集贤院、知谏院、知益州、滑州、杭州等官，后调京师任三司使，主管财政，提出免横赋、减铁钱、疏漕运等14项主张，深得宰相富弼的赞赏，说他的奏疏不比寻常，是“国计大本”。就在三司使任上，张方平却利用职权，乘酒场业主刘保衡欠官曲巨款之机，低价买其邸舍，被御史中丞包拯弹劾，以端明殿学士出知秦州。嘉佑七年八月，张方平欲诱邈川少数民族首领栋戬入贡，许诺封其为防御使。此事被御史吴中复劾奏，说他“擅以官爵许戎狄，启其贪心”。栋戬和辽国联婚结盟，与西夏为敌，两家经常发生战争。恰在此时，西夏又举兵攻打栋戬，屯兵于古渭州。渭州与秦州接壤，张方平见夏兵压境，十分恐慌，在未侦得夏兵真实意图的情况下，就以秦凤路经略使的名义尽调永兴军以西的兵马前往秦州，又奏乞朝廷发京畿禁军开赴本路，一时间搞得关西震耸，人心惶惶。不久，夏人引兵西去，宋军远道奔波，徒耗费用，百姓们则受了一场虚惊。