小学数学课本中的用字母表示数及方程等内容都属于代数学的范畴。“代数学”一词来自拉丁文algebra，而拉丁文又是从阿拉伯文来的。
公元825年左右，阿拉伯数学家阿勒·花剌子模写了一本书，名为《代数学》或《方程的科学》。作者认为他在这本小小的著作里所选的材料是数学中最容易和最有用处的，同时也是人们在处理日常事情时经常需要的。这本书的阿拉伯文版已经失传，但12世纪的一册拉丁文译本却流传至今。在这个译本中，把“代数学”译成拉丁语Algebra，并作为一门学科。后来英语中也用Algebra。
“代数学”这个名称，在我国是1859年才正式使用的。这一年，我国清代数学家李善兰和英国人伟烈亚力合作翻译英国数学家棣么甘所著的《Elements of Algebra》，正式定名为《代数学》。后来清代学者华蘅芳和英国人傅兰雅合译英国学者瓦里斯的《代数术》，卷首有：“代数之法，无论何数，皆可以任何记号代之。”说明了所谓代数，就是用符号来代表数字的一种方法。