众人、贤人、圣人三个层次的不同，在扬雄看来具体表现主要有两点。第一，是众人、贤人、圣人道德伦理的影响有大小的不同。《法言·修身》说：“天下有三检，众人用家检，贤人用国检，圣人用天下检。”这个说法显然同《大学》讲的修身、齐家、治国、平天下有些关联。但二者又有根本的不同，《大学》讲的修齐治平是讲一个人的德行修养的不同层次，扬雄这里是就众人、贤人、圣人德行影响大小的不同而言的。圣人德行能影响天下，贤人的德行只能普及一国，众人只能以其德行治家，因而，扬雄讲众人用家检，贤人用国检，圣人用天下检。按照这种说法，一个人是属于众人、贤人，还是圣人，就看他的德行是能齐家、治国，还是平天下了。
第二，是众人、贤人、圣人践履伦理的自觉性程度的不同。《法言·修身》说：“圣人耳不顺乎非，口不肆乎善，贤者耳择，口择，众人无择焉。”据汪荣宝《法言义疏》，“肆”当作“违”，因隶书形近而误，违与顺相反为义。这是说圣人言行自然合于礼义，所以不违善，不顺作，贤人能自觉地选择善的行为，众人则不能自觉选择礼义，因而说贤人有择，众人无择。在这段后面，扬雄接着说：“或问：‘众人？’曰：‘富贵生。’‘贤者？’曰：‘义。’圣人？’曰：‘神。’……天下有三好：众人好己从，贤人好己正，圣人好己师。”这也是讲的同一层意思。圣人伦理自然合于礼义，故说是神，只能以己为师；贤人能自觉选择礼义，故说是义，自觉选择礼义就能自正，所以说贤人好己正；众人不能自觉选择礼义，容易沉于富贵，故说是富贵生，不能自觉选择礼义就免不了从己私欲，故说好己从。
先儒论人虽重伦理，但像扬雄这样明确地把伦理的高低作为划分众人、贤人、圣人的唯一标准，并依德行的影响大小，道德践履自觉程度的差别，来说明人的这三个等次，在儒学发展史上，这还是第一次。因此，众人、贤人、圣人完全作为伦理的不同等级人格形象，是在扬雄的《法言》中第一次明确化的。
三、君子和小人
扬雄更多地是把人分为君子和小人，在《法言》中每每以君子、小人对称，视为两种对立的人格。
这种观念在儒家先师那里已经多有论述。十三经中有关君子的明文不下五百条，关于小人的明文亦有上百处。此外，《荀子》一书言君子更是触目可见，《春秋繁露》也多言君子与小人的对立。先儒讲君子有多种含义，有泛指统治者的，有指伦理的优秀者，有指政治上的明达者，有指世事通达者，有指大智大勇者，有指学识广博者等；小人同样有多种含义，有时泛指被统治者，有时指道德的败坏者，有指政治上的好狡者，有指贪利忘义、愚昧无知者等。总之，先儒无不把君子与小人视为两种不相容的人格。而尤以孔子的“君子喻以义，小人喻以利”（《论语·里仁》。）这一说法最有影响。君子、小人的对立即义、利之分，成为儒家关于君子和小人最重要的观念。
扬雄承继孔子的方向加以发展，将君子和小人完全视为伦理的对立人格。他讲二者的对立，主要有如下方面：
第一，在义、利关系上，君子重道义，小人贪财利。《法言·学行》说：“大人之学也，为道；小人之学也，为利。”又说：“先生相与言，则以仁与义，市井相与言，则以财与利。”扬雄所谓大人、先生皆为君子的别称，市井则与小人同义。君子学习和交谈都离不开道义，而小人只关心财利。
第二，在德与力的关系上，君子绝德，小人绝力。《太玄》“强”首说：“君子强梁以德，小人强梁以力”，君子以德强健，小人靠力气凶暴。《法言·渊骞》中，列举了秦悼公、乌获、任鄙诸人，作为“小人绝力”的例子，而以舜、禹、皋陶作为“君子绝德”的榜样。
第三，在人、己关系上，君子重人不重己，小人重己不重人。《法言·君子》说：“君子忠人，况己乎？小人欺己，况人乎？”又说：“君子好人之好，而忘己之好；小人好己之恶，而忘人之好。”君子处处关心、看重他人，却忽略自己；小人只看重自己，而不惜处处损人利己。
扬雄关于君子、小人之分，同圣人、贤人和众人之分一样，都完全是以伦理为判定标准的。但是，又有一个明显的不同，这就是扬雄讲圣人、贤人、众人之分，是以承认三者都是人、都具有并且能实行礼义为前提的，而君子与小人之分，却恰好没有这样的前提。从小人与君子处处对立，只贪财利，重力不讲德，损人利己来看，扬雄讲的小人恰恰是不依礼义，完全违背道德的人。根据他的人禽之分，小人只能是有人之名，而无人之实的禽兽。因此，小人和众人在扬雄的人论中是两个不同的概念，众人具有伦理并且能实行之，小人则处处违反礼义，众人经过德性修养，可跻身于君子之列，小人则是与君子对立的一极。由于这种不同，扬雄讲小人完全是一派否定、贬斥的口气，而讲众人则是中性的口气。
在区分众人、贤人、圣人之外，扬雄特别强调君子与小人的对立，是有目的的。扬雄论人是要给人指出做人的榜样和模范。就他所讲的圣人而论，要具有平天下的德性，一言一行自然合于礼义，这样的人格实际上是玄虚的，而他所列举的尧、舜、孔、周等圣人，又无一不是作古之人。贤人虽较圣人次一等，但贤是“为人所不能”（《法言·重黎》。），其德性能治一国，如颜渊、闵子骞、仲弓、伯牛、汉初四皓之类，也是很难做到的。因此，扬雄分人为三等，现实生活中的人却几乎都难以列入圣人、贤人之列，而绝大多数属于众人之列。众人之为人，既不及圣贤，又高于禽兽，存在能遵循礼义与往往又违背礼义的两种对立倾向，扬雄的君子、小人之分，可以说是对众人这两种对立倾向的两极人化。而就众人中具体的人讲，不是较多地遵循礼义，就是较多地违反伦理，从而，众人又可分为两类，君子可以说是对能较多遵守礼义的人的抽象美化，而小人则是对相反一类人的抽象贬斥。因此，扬雄的君子、小人之分，具有广泛的现实社会基础。他是要通过君子的肯定和对小人的否定，来给社会上的绝大多数人指出可以感知的做人的榜样。
由于这个原因，扬雄论人不仅特重君子、小人之分，而且特重君子人格形象的论述。《法言》一书论君子不下五十处，是扬雄论述得最多的概念。因此，要理解扬雄关于君子的人格还须考察他关于君子的其他论述。从这些论述中，可以增加对扬雄君子观的如下认识：
第一，君子是圣人之徒。《法言·学行》说：“君子贵迁善，迁善者，圣人之徒与。”《寡见》又说：“好尽其心于圣人之道者，君子也。”君子是皈依圣人之道，向善去恶的圣人之徒。
第二，君子的起居言行皆合于礼义的规范要求。扬雄对此论述最多，《法言·问明》说：“君子以礼动，以义止，合则进，否则止”；《五百》说：“君子仕则欲行其义，居则欲彰其道”；《寡见》说：“君子惟正之听”；《君子》说：君子“进以礼，退以义”；《孝至》说：“君子动则疑诸事，事则疑诸义。”君子无论是做官，还是居家；是进，还是退；是动，还是止，都无不合于礼义。因此，《法言·君子》讲：“君子不言，言必有中也；不行，行必有称也。”
第三，君子之言验而不忘。《法言·问神》：“君子之言幽必有验乎明，远必有验乎近，大必有验乎小，微必有验乎着。无验而言之谓忘。君子妄乎？不妄。”验有两层含义，一是有所依据，二是可以验证。这是说君子讲的话，总是有根据，并且能够得到验证的。
第四，君子是努力全德之人。《法言·君子》说：“牛玄骅白，卒而角，其升诸庙乎？是以君子全其德。”这是借祭祀祖宗要用纯色不杂的牛为比喻，说明君子应该是全德之人。因此，扬雄认为君子应“进于道，慕于德，殷之以仁义，进而进，退而退，日孳孳而不自知倦者也。”（《法言·君子》。）君子应是努力不断追求道德完善的人。
扬雄的这些论述和上面的君子、小人之分一样，都是把君子视为伦理的理想人格。可以说，君子作为完全的伦理人格，在扬雄的人论中得以形成。
通过上面的分析可见，扬雄的人论具有鲜明的儒学伦理主义色彩，以伦理为唯一的判定人之为人的标准，并以伦理程度的高低区分人的品级以及强调道德实践的意义，是扬雄人论的显著特点。这些特点，使扬雄的人论把儒家关于人的理论推到一个新境界，从而使扬雄的人论具有相当的意义。
这可以从两个方面来看，一方面由于扬雄特重人的道德实践，以能履行礼义为人的本质特点，这就不仅看到了人具有伦理的社会性，而且更看到了道德实践的决定意义。道德实践是以一定观念指导的有目的活动，尽管扬雄的道德实践，是封建伦理纲常的践履，但却是人类主观能动性、实践性的一种表现，因而，扬雄的人论代表着人类认识史上，人对自身认识的深化。
另一方面，由于扬雄完全依伦理来划定圣人、贤人、众人、君子和小人，这就使这些观念成为完全的伦理人格形象。这对于儒学发展史意义极大。因为从先秦到近代，伦理总是儒学发展的主线，而扬雄的人论，可以说是第一次自觉地完全从伦理来认识人的儒家理论。这个方向实际上是后来宋明理学的中心，难怪司马光称道扬雄是孟子、荀子也无法比拟的大儒。