简单说，计算机程序就是计算机执行指令的一个串行。它既可以只是几条执行某个简单任务的指令，也可能是可能要操作巨大数据量的复杂指令队列。许多计算机程序包含有百万计的指令，而其中很多指令可能被反复执行。在2005年，一部典型的个人电脑可以每秒执行大约30亿条指令。计算机通常并不会执行一些很复杂的指令来获得额外的机能，更多地它们是在按照程序员的排列来运行那些较简单但为数众多的短指令。

一般情况下，程序员们是不会直接用机器语言来为计算机写入指令的。那么做的结果只能是费时费力、效率低下而且漏洞百出。所以，程序员一般通过“高级”一些的语言来写程序，然后再由某些特别的计算机程序，如解释器或编译器将之翻译成机器语言。一些编程语言看起来很接近机器语言，如汇编程序，被认为是低级语言。而另一些语言，如即如抽象原则的Prolog，则完全无视计算机实际运行的操作细节，可谓是高级语言。对于一项特定任务，应该根据其事务特点，程序员技能，可用工具和客户需求来选择相应的语言，其中又以客户需求最为重要（美国和中国军队的工程项目通常被要求使用Ada语言）。

计算机软件是与计算机程序并不相等的另一个词汇。计算机软件一个较为包容性较强的技术术语，它包含了用于完成任务的各种程序以及所有相关材料。举例说，一个视频游戏不但只包含程序本身，也包括图片、声音以及其他创造虚拟游戏环境的数据内容。在零售市场，在一部计算机上的某个应用程序只是一个面向大量用户的软件的一个副本。这里老生常谈的例子当然还是微软的office软件组，它包括一系列互相关联的、面向一般办公需求的程序。

利用那些极其简单的机器语言指令来实现无数功能强大的应用软件意味着其编程规模注定不小。Windows XP这个操作系统程序包含的C++高级语言源代码达到了4000万行。当然这还不是最大的。如此庞大的软件规模也显示了管理在开发过程中的重要性。实际编程时，程序会被细分到每一个程序员都可以在一个可接受的时长内完成的规模。

即便如此，软件开发的过程仍然进程缓慢，不可预见且遗漏多多。应运而生的软件工程学就重点面向如何加快作业进度和提高效率与质量。

函数库与操作系统

在计算机诞生后不久，人们发现某些特定作业在许多不同的程序中都要被实施，比如说计算某些标准数学函数。出于效率考量，这些程序的标准版本就被收集到一个“库”中以供各程序调用。许多任务经常要去额外处理种类繁多的输入输出接口，这时，用于连接的库就能派上用场。

20世纪60年代，随着计算机工业化普及，计算机越来越多地被用作一个组织内不同作业的处理。很快，能够自动安排作业时续和执行的特殊软件出现了。这些既控制硬件又负责作业时序安排的软件被称为“操作系统”。一个早期操作系统的例子是IBM的OS/360。

在不断地完善中，操作系统又引入了时间共享机制——并发。这使得多个不同用户可以“同时”地使用机器执行他们自己的程序，看起来就像是每个人都有一部自己的计算机。为此，操作系统需要像每个用户提供一部“虚拟机”来分离各个不同的程序。由于需要操作系统控制的设备也在不断增加，其中之一便是硬盘。因之，操作系统又引入了文件管理和目录管理（文件夹），大大简化了这类永久储存性设备的应用。此外，操作系统也负责安全控制，确保用户只能访问那些已获得允许的文件。

当然，到目前为止操作系统发展历程中最后一个重要步骤就是为程序提供标准图形用户界面（GUI）。尽管没有什么技术原因表明操作系统必须得提供这些界面，但操作系统供应商们总是希望并鼓励那些运行在其系统上的软件能够在外观和行为特征上与操作系统保持一致或相似。

除了以上这些核心功能，操作系统还封装了一系列其他常用工具。其中一些虽然对计算机管理并无重大意义，但是于用户而言很是有用。比如，苹果公司的Mac OS X就包含视频剪辑应用程序。

一些用于更小规模的计算机的操作系统可能没用如此众多的功能。早期的微型计算机由于记忆体和处理能力有限而不会提供额外功能，而嵌入式计算机则使用特定化了的操作系统或者干脆没有，它们往往通过应用程序直接代理操作系统的某些功能。