最近的生理学趋势能让我们理解这些“知觉相互作用的结构”的身体基础。近些年来，生理学开始将视觉当作视觉模态的拼凑物（patchwork ofvisual modalities）进行研究，它们至少包括形式（形状、大小、硬度）、表面属性（颜色、质地、镜面反射率、透明度）、三维空间关系（相对位置、空间的三维方向、距离）和三维运动（轨迹、旋转）。很明显，这些不同的视觉模态是并发的次级网络（concurrent subnetwork）的涌现属性，它们有一定程度的独立性，甚至在解剖学上是可分离的，但它们跨-关联（cross‐correlated）并一起作用，以便在几乎每个时刻视知觉对象都是一致的。（这种体系结构让人再一次地深深想起明斯基的行动者社会（societies of agents）。）在各种模态中，颜色似乎是其中更简单的一种，因为颜色指示器能在亮度和对比层次的基础上独自得到。然而，这一简单性违背了这一同样重要的事实，即颜色始终在一个更广泛的视觉皮层中被知觉。所有的次级网络一起协同作用，我们从没有把颜色看作一个孤立的事项。
此外，视知觉与其他的感觉模态发生着积极的交换。例如，颜色和声音的关联，以及颜色与水平知觉（包括方位感和平衡感）的关联，尽管神经生物学家对此研究得较少，但对艺术家来说却是很熟悉的。在这些跨模态（intermodal）关系之外，当然还有种种认知期待和记忆。这种“自上而下”的依赖性将被期待。
颜色知觉既带有其他的视觉模态也带有感觉模态，为了更清楚地理解这一点，让我们考虑一个更生动的例子：颜色知觉的彻底丧失。在最近的一篇论文中，奥利弗·萨克斯（Oliver Sacks）和罗伯特·沃瑟曼（Robert Wasserman）对一例因事故而导致彻底色盲的病人给出了说明。这一所谓获得性脑色盲的特别例子很有吸引力，因为它恰恰发生在一位以色彩极为华丽和抽象的油画而闻名的艺术家身上。此人——我们称之为“I先生”——因为一场车祸导致再也无法知觉任何颜色：他活在一个类似于黑白电视机那样的视觉世界中。
在I先生发生车祸后几周的描述中，我们清楚地看到颜色知觉参与了其他经验模态。由于颜色的缺失，他全部的经验特征都发生了戏剧性的变化：
他所看到的一切东西都“有一个让人讨厌的、‘肮脏的’外观，白色的极其耀眼，却是脱色和去白（off‐white）的，而黑色的东西则犹如巨大的洞穴——一切事情都是错乱的、不自然的、退色的和不纯的”。结果他发现食物是恶心的，性生活也变得不可能了。他无法在视觉上想象颜色，也不能做有颜色的梦（dream in color）。他欣赏音乐的能力也大不如前了，他无法经验到音调，因为他无法通过感觉关联将音调转换成色彩表演（plays of color）。最后，I先生变得似乎彻底忘记了他以前的颜色世界了。随着他日益变为“夜人”（night person），他的习惯、行为和行动都改变了。用他的话说：“我喜欢夜晚的时光……我常常想象在黑夜工作的人。他们看不见阳光。他们偏爱这样……这是一个不一样的世界：它的空间非常大——你不会被街道、人流所包围……它是一个全新的世界。渐渐地我成为一个夜人。曾经我对颜色感觉非常亲切，非常愉快。起初，我觉很糟，因为失去了它。但现在我甚至不知道还有这玩意儿存在了——它甚至不是幻象。”
这番描述让我们罕见地洞察到，我们知觉到的世界——通常这对我们是习以为常的——是如何通过复杂精巧的感觉运动活动模式建立起来的。
我们五彩缤纷的世界是由结构耦合的复杂过程生成的。当这些过程被改变，某些行为形式就不再可能了。当一个人学会处理新的条件和情形时，他的行为就改变了。而且，当他的行动（action）改变了，他对世界的感知也会改变。如果这样的改变足够戏剧性——有如I先生丧失颜色——那么就会生成一个不同的被感知的世界。
上述例子已经向我们表明，作为一种属性的颜色如何与我们知觉世界的其他属性密切联系在一起的。至此，我们的考察表明，如果我们把颜色定位在一个独立于我们知觉能力的世界，那么我们将不能解释颜色。反之，我们必须把颜色定位于一个知觉的或经验的世界之中，它是由我们结构耦合的历史生成的。的确，当我们把颜色作为一个经验的范畴时，这一点就变得愈加明显了。然而，在我们转向颜色的讨论的第三阶段之前，让我们先暂停一下来考虑一个反对意见。
颜色在哪里？
假如有人在回应我们的讨论时提出要求：“如果不补偿照明（illumination）中的变化并恢复对象的某些稳定特征，那么这些复杂的神经过程的要点是什么呢？例如，考虑某个对象的表面反射率。这一属性对应于对象所反射的各波长的入射光的百分比。这个百分比或比率描述了一个物体因其物理构造而改变了周围的光线的方式。因此它是一个稳定的属性，一个在照明情况改变时仍然保持不变的属性。那么，为什么不说：尽管我们必须通过出自神经元活动的涌现模式而来的构造来解释了我们的颜色经验，但这个经验却是一个必须解决恢复表面反射率的信息加工问题的结果呢？”
最近的颜色视觉的计算模型似乎支持这一论证路线。我们周围世界的物体表面反射率，例如砖块、草地、建筑物等，可由相当有限的（三维的）一组原型功能来表达。因此好像视觉系统所做的一切就是，用它的三色通道对场景采样，并因此从这些通道的活动来重构表面反射率。根据这些模型，一些视觉科学家和某些哲学家主张，不仅颜色视觉的功能是表面反射率的恢复，而且颜色本身就是表面反射率的属性。
这个客观主义的意见引起了一些值得思考的问题，它们适合用来加强我们的观点，即我们所看到的颜色一定不是定位在预先给予的世界中，而是定位在由我们的结构耦合所生成的知觉的世界中。先考虑颜色仅仅是表面反射率这一观念。我们已经看到，各种颜色都有其特定的属性，并且彼此之间具有特定的关系：颜色随着色调、饱和度以及亮度这三个维度的不同而变化；色调或者是唯一的或者是二元的，且以对立的搭配组织起来。现在如果颜色仅是表面反射率，那么我们应当能将这些颜色的特征与相应的表面反射率特征匹配起来。但是并不存在这样对应的特征。表面反射率可以根据它们是否反射光谱区域中更多或更少的短波、中波和/或长波来进行分类，但它们既不能被归类为唯一的或二元的，也不能被归类为与其他反射率相对应。而且这些唯一性、二元性和对立性也不能在光的结构中得以发现。
因此，规定颜色是什么的属性完全没有非经验的（nonexperiential）、物理的对应物。
其次，颜色并不完全是表面的知觉属性，它还有像天空这种容积（volumes）的知觉属性。此外，我们还将颜色经验为后象（afterimages）的属性，并在梦、记忆和通感（synesthesia）中经验颜色。这些现象间的统一，不可能在一些非经验的、物理的结构中发现，确切地说，它只能在作为一种经验形式的颜色中发现，这种经验形式是通过神经活动的涌现模式构成的。
现在让我们考虑，颜色视觉的功能就是表征并因而恢复表面反射率这一观念。对于该观念首先要注意的是，它并非源于对颜色视觉的生物学或生态学研究，而是来自工程上设计这样一个系统的尝试，它通过在一个场景中贴现照明的变化并恢复不变的反射率而能够辨别出物体。尽管这项工程研究计划在我们理解有关视觉的更抽象的原则上相当重要，但它不应被允许用来指定有关自然的颜色视觉所服务的生物学和生态学目的的结论。的确，对这些生物学和生态学目的的注意揭示出，颜色视觉在关注变化的属性（如光照、天气情况和一天中的时间）的同时，也同样关注那些仍然恒常不变的属性（如表面反射率）。
最后，客观主义的视觉观还存在一个隐含但更深层次的问题：客观主义者简单地认为，表面反射系数可以在独立于我们知觉和认知能力的某个预先给予的世界中发现。但我们如何规定什么算是表层呢？如果不处在与这些区分有关的知觉者的关系中，我们如何规定它的边缘、边界、质地和方位呢？
表面反射率是预先给予的这个客观主义假定所依赖的假设是，既然表面反射率是一种物理属性，那么就能完全根据物理术语来测量和说明。但是尽管一个场景中任何一点的反射率都能由物理术语来说明，但是称之为表层的东西实际上涉及对一类知觉者的参照。这一点在计算模型中是模糊的，计算模型强调有限的维度，其中所谓的自然发生的反射率是可以改变的。如果我们实际上检验一下这些模型，我们不仅会看到自然反射率对应来自我们人类环境——与视觉上相当不同的生物的环境形成对照——的典型对象的反射率，而且会看到这些对象是先于视觉任务已被挑选出来或被指明的。换言之，这些模型把视觉系统看作好像它完全由一类预先指定的对象来呈现，而这些对象的反射率也因此必须被恢复。
这一进路涉及对我们实际知觉情形的一个值得考虑的和人为的简化。
视觉系统根本不是以预先给予的对象来呈现的。相反，决定对象以及它的表面边界、质地和相关方位（以及因此作为一个知觉属性的颜色的整个情境）是什么和在哪里，是一个视觉系统必须不断完成的复杂过程。正如我们在讨论视觉的拼凑体系结构（patchwork architecture）时所看到的那样，该过程的完成来自一个复杂的协作过程，它涉及所有视觉模态之间积极的对话。
的确，颜色视觉实际上涉及这个协作过程，通过这个过程视觉场景被分割为一组表面。用格拉斯（P.Gouras）和策仁勒（E.Zrenner）的话说，“不可能把被感知的对象与其颜色分开，因为正是颜色对比本身形成了这个对象”。
因此，颜色与表面走到了一起：二者都依赖我们的具身知觉能力。
作为范畴的颜色
到现在为止，我们的讨论集中于颜色知觉，或者根据其本身（颜色显现）来考虑，或者把它当作事物的一种属性（表面颜色、容积颜色等）。但我们对颜色的经验不仅是知觉的；它也是认知的：我们将知觉到的各种色调/饱和度/亮度的结合组织成一组有限的颜色范畴，并加以命名。正如我们即将看到的，颜色范畴还对颜色是如何生成的提供了又一生动的说明。
颜色的语言学方面考虑一下在英语中我们所拥有的有关颜色的众多名称：红色（red）、黄色（yellow）、橙色（orange）、绿色（green）、蓝色（blue）、紫色（purple）、紫罗兰色（violet）、靛青色（indigo）、粉色（pink）、青绿色（turquoise）、碧绿色（aquamarine）、紫红色（mauve）、黄绿色（chartreuse），等等。对于这许多个名称，以及在其他语言中的众多名称，我们或许会认为颜色范畴完全是任意的，即没有什么迫使我们以一种而不是另一种方式对颜色加以分类。确实，这种观点在语言学和人类学领域一度占据支配地位。
这种观点受到了由布伦特·柏林（Brent Berlin）和保罗·凯（Paul Kay）在1969年发表而现在已成经典着作的极大挑战。在书中，柏林和凯详细列出了在给定的语言中决定哪些颜色的名字构成“基本”颜色术语的一组语言学标准。在特定的语言中，这些基本颜色术语命名了基本颜色范畴。于是，在一项对超过90种语言的考察中，柏林和凯确定了在任何一种语言编码里，存在最多11个基本颜色范畴，尽管并非所有的语言都编码全部11种。
这些基本颜色范畴是：红色、绿色、蓝色、黄色、黑色、白色、灰色、橙色、紫色、褐色和粉红色。柏林和凯还给讲不同语言的人呈现了一个色卡的标准序列，并要求他们指出他们的基本术语所指的颜色的边界和最佳范例。柏林和凯发现，尽管在讲不同语言的人中对颜色范畴的边界存在相当大的差异，但每个人对颜色范畴的最佳范例差不多都是一致认同的。此外，他们发现当几种语言包含了一个共同的基本术语，如蓝色这样的基本术语，讲话者始终一致认同颜色范畴的这个最佳范例，无论这些讲话者操何种语言。柏林和凯因此主张，基本颜色范畴没有统一的结构，因为范畴的一些成员是中心的，因而构成了范畴的“焦点”（foci）。既然这些中心成员被普遍认可，于是柏林和凯得出结论：“这11个基本的颜色范畴在全人类的知觉上是共通的。”