在《论语•阳货》篇中，孔子说：“唯上知与下愚不移。”认为只有上等的智者和下等的愚人是改变不了的。何谓“上知”？何谓“下愚”？孔子看到了人的差异性，提出了“上智”与“下愚”不移的主张，至于“上知”与“下愚”为何“不移”，却没有明说。

及至孟子，则在与梁惠王的一段对话中，似乎从侧面回答了这一问题。《孟子•梁惠王上》记载：挟太山以超北海，语人曰“我不能”，是诚不能也。为长者折枝，语人曰“我不能”，是不为也，非不能也。在孟子看来，“不能”与“不为”是两种截然不同的状态。一个是能力不够，非当下之人力所能左右；一个是主观上不愿为，非能力之不足。

明代心学大儒王阳明先生在继承孔孟儒学的基础上，继续开拓创新，独树一帜。他曾在与弟子的问答中，提出了对这句话的理解。《传习录•薛侃录》中记载，弟子薛侃问：“上知下愚，如何不可移？”先生曰：“不是不可移，只是不肯移。”一句“不肯”道出了阳明的心声。在阳明先生看来，人人都有成为圣人的潜质，只要力行，都能达成这一理想。在《传习录•钱德洪录》中记载，一日，王汝止出游归。先生问曰：“游何见？”对曰：“见满街都是圣人。”先生曰：“你看满街人是圣人，满街人到看你是圣人在。”又一日，董萝石出游而归。见先生曰：“今日见一异事。”先生曰：“何异？”对曰：“见满街人都是圣人。”先生曰：“此亦常事耳，何足为异。”阳明先生说这句话时，是从“良知”之本体的角度而言，现实生活中众人之所以没有体现出圣人之质，在于“致良知”的功夫不够，也就是缺乏“力行”实践。因此，阳明先生在《教条示龙场诸生》中提出“立志、勤学、改过、责善”的告诫，号召诸弟子恭行实践，知行合一。按照阳明先生的理解，上知与下愚只要肯移，都能成为圣人，何况是普通的大众呢？正所谓“世上无难事，只要肯登攀”，“山再高，往上攀就能登顶；路再远，走下去就能抵达”。怕的就是众人裹足不前，不肯力行。