摘要：随着新一轮信息技术的发展，基于环境智能的建筑智能终端必将作为工程建造领域高质量发展的重要方向。本文阐述了建筑智能终端的基本概念与重要性，面向构建健康、安全、绿色节能的建筑环境需求，从感知、传输、应用、对象四个层面构建了建筑智能终端技术体系。统计了建筑环境智能中常用的传感器设备与其生成的数据类型，并介绍了处理这些的智能算法与其对应用途，通过物联网、计算机视觉、深度学习等技术实现建筑智能终端在医疗、居家和公共建筑空间的关键场景。对实际应用过程中所面临的技术、管理、组织及伦理等问题，总结了现有建筑智能终端的发展方向与未来可能面临的挑战。
关键词：智能建筑；环境智能；人工智能；物联网；计算机视觉；深度学习
环境智能是指对人的存在非常敏感和具有反应能力的电子环境。这个词最初是由Eli Zelkha和他在Palo Alto Ventures公司的团队在20世纪90年代末发明的[1]，后来扩展到没有人的环境中：“在一个环境智能世界中，各种设备协同工作，以一种简单、自然的方式，利用隐藏在连接这些设备的网络(例如物联网)中的信息和智能，支持人们进行日常生活活动、任务和仪式”。Juan Carlos Augusto和McCullagh[H1] 给出了一个现代的定义[2]：“环境智能是一种多学科方法，旨在增强环境和人之间的互动方式。这个地区的最终目标是让我们生活和工作的地方对我们更有利”。环境智能对人的存在敏感，但是却忽略了人所处建筑空间这一信息，其可以作为用户需求分析的凭证之一。
1.1 建筑智能终端定义
结合智能建筑与环境智能两者的定义，从用户和建筑本体两个方面出发，提出建筑智能终端。建筑智能终端是指利用环境智能技术构建的，对用户行为敏感的可控制的智能空间。建筑智能终端将物理空间和信息空间融合一体，各种传感器、计算设备、人工智能算法嵌入到建筑空间中，用户通过便捷的人机交互方式与建筑智能终端互动，传感设备与人工智能算法结合感知用户的状态、生理、心理、行为，根据这些状态、用户身份、用户行为习惯和建筑空间属性理解用户的需求，并提供相应的服务。
A. 物理空间 建筑智能终端中的物理空间包含智能感知传感器和建筑本体。智能感知传感器可以通过物联网技术组成传感器网络，主动收集用户的多种数据，如用户的生理数据(心率、血糖、血氧和血压等)、活动数据(对各类智能设备的开关和设定等)及视频数据(家庭或公共空间的视频监控)，并且能够根据系统的指示调节环境中的各种参数，如温湿度、灯光或设备用电情况等；不同的建筑有着不同的用途，用户在不同建筑中，其需求的倾向不同，比如在住宅中用户需要的是便捷舒适的居住体验，而在医院中，用户需要的是全面的治疗。对建筑进行建模，并且为模型中各个空间分配用户需求的偏好，从而形成了各种建筑空间，比如居家建筑空间、医疗建筑空间、公共建筑空间等。
B. 信息空间 建筑智能终端中传感器网络收集的用户生理数据、活动数据、视频数据及建筑运行过程中产生的数据在信息空间中进行传输、分析和利用。建筑智能终端对用户身份和行为敏感，在同一建筑空间中，不同身份的用户需求可能千差万别。在医疗建筑空间中，患者身份的用户需要的是详尽的康复指导，而医护工作人员需要的是对患者健康数据的全面监控。用户信息在信息空间中的流动和更新是建筑智能终端理解用户需求的重要前提。结合用户当前行为、所处健康空间与行为习惯记录，建筑智能终端能够智能地理解用户此时的需求，并提供相应的服务。
建筑智能终端与普适计算、上下文理解和以人为中心的计算机交互设计密切相关。建筑智能终端最重要的特性如下。
a. 嵌入式 各种传感器和计算设备集成到环境中，尽量让智能设备对用户不可见。
b. 上下文理解 建筑智能终端可以识别用户，也可以识别用户所处的建筑空间和情景上下文。
c. 自适应 建筑智能终端根据用户身体或精神状态的变化改变其环境，并且能够适应用户生活习惯的变化。
d. 透明 建筑智能终端不要求用户采取额外的行动，它采用被动的方式来满足用户的需求，而无须用户主动进行操作或额外增加负担。
1.2 建筑智能终端体系
建筑智能终端是环境智能技术在建筑领域的进一步细化，其结合传统建筑领域、物联网技术、大数据技术、人工智能技术，在以物联网等智能建筑体系的基础上，增加了建筑空间和用户这两个对象，将现代信息技术与传统建筑领域深度融合，构建了聚焦用户行为与建筑空间的建筑智能终端体系，具体如图1所示。
建筑智能终端体系主要由以下四个部分组成。 a. 感知层 感知层是实现建筑智能终端的基础，以音视频传感器(摄像头、深度相机、麦克风、雷达等)、被动红外传感器(红外成像仪等)、无线射频传感器(射频识别(RFID)标签等)及一系列可穿戴设备(智能手环、智能鞋垫等)为主，检测各种与用户相关的信息，如用户的音视频记录、建筑空间中各物体与用户的距离、用户定位等。 b. 传输层 各类信息资源在此层中汇聚。主要包括三种核心的信息处理的资源和能力：网络 (无线网络覆盖、IP骨干网络、互联网及运营商网络的互联)、计算(云计算、大数据、机器学习)和存储(云存储、本地数据库)。该层包括各类信息互通的协议标准、流程规范、服务接口等。在这一层，信息经过一定的处理，已经具有了语义化的特征，为下一层应用层调用做好了准备。在建筑智能终端中，产生的数据量较大，视频数据多，一般选择本地数据库存储，以避免数据传输延迟和隐私问题。 c. 应用层 应用层是数据分析的重点，也是输入输出控制终端。例如，手机、智能家居的控制器等，主要通过数据处理及解决方案来提供人们所需的信息服务。但是在建筑智能终端中，应用层应用普遍遵循对用户透明的原则，结合预设对象信息、感知数据和上下文理解系统，预测用户的需求，提前为用户提供相应服务。比如生活辅助系统、跌倒检测、建筑节能等应用都无须用户动手操作。 d. 预设对象 在建筑智能终端体系中，会预设两个对象，即建筑空间和用户。其中建筑空间包号。视觉数据最广泛的应用有表情识别[3]、目标检测[4-6]、动作识别[7-10]和机器人导航[11]等，主要用于识别用户和物体。音频被广泛用于语音识别[12-14]及与智能交互相关的听觉特征估计。 被动红外传感器记录来自物体(尤其是人、动物和车辆)的红外信号，由于其光谱特征可能与视觉特征有明显的不同，因此为运动和物体分类提供含建筑类型和建筑模型，用户对象包含身份、位置、行为习惯。建筑空间和用户进行匹配可以得到用户当前所处的具体位置，这些所有信息都会传输到网络层中作为上下文理解系统的输入，从而为用户提供个性化的服务。 2. 智能终端的关键技术 2.1 传感器网络 传感器网络在建筑智能终端中的作用是为更高层次的系统提供和用户有关的信息，为上下文理解和后续的环境控制做准备。由传感器提供的信息被用来驱动自动分析用户行为的系统。由于不可能对建筑智能终端中最常用的传感器进行全面的概述，因此分析中将专注于最重要的类型。表1为建筑智能终端中常见的传感器。
表1. 建筑智能终端中常见的传感器
从表1中可以看到：多数的研究集中在音视频数据的采集和分析上，因为这些方式几乎提供了用户在人际交往和与环境互动的过程中使用的所有信了互补的特征。通过在建筑环境中部署被动式红外传感器设备网络，可以探测火灾和烟雾[15-18]，还可以分析用户的运动模式[19-20]。
射频识别(RFID)技术是物联网中广泛使用的定位技术，因为它可以感知物体的接近程度和身份信息。无源的RFID标签体积小、灵活，无须复杂操作，因此它们可以被放置在日常用品、织成衣物上，甚至注射到动物或人体内。RFID读取器将能够识别经过其附近的物体或人。从不同的标签收集数据允许系统拼凑出建筑智能终端中用户的位置[21]。使用RFID 标记用户对于人脸、手势、身体姿势[22] 和语音识别应用程序收集真实数据也非常有用。
可穿戴传感器已经被视为实现智能健康的解决方案之一，常见的可穿戴设备包括手环、手表、腕带、眼镜、鞋垫等。其可以在非医疗场所便捷地检测用户的生理数据， 如血压[23-24]、 血氧[25-27]、 心率[28-29]等，从而对用户进行长期的健康监测，预防慢性病，同时还可以记录用户的运动数据，进行运动监督[30]。
目前，建筑智能终端中涉及到的传感器种类繁多、应用范围较广，但是各有利弊，应从具体的应用场景和用户需求进行选择。以目标检测任务为例，表1中常用来进行目标检测的传感器有摄像头、深度相机和雷达。它们采集到的数据信息量递减，同时目标检测的精度也递减。摄像头拍摄的RGB图像提供最丰富的视觉特征，也提供最准确的目标检测结果；深度相机提供深度数据与较少的视觉特征，同时检测范围有限，设备成本较高，目标检测的精度不如前者；雷达仅提供声波的反射数据，并不提供视觉方面的特征，目标检测精度最低，同时成本也是三者中最高的，但是雷达会暴露最少的用户隐私。如果是在图书馆等已有监控设备的建筑空间中应用目标检测技术，那么可以选择摄像头作为传感器，因为它提供最高的目标检测精度，并且成本低廉；如果是在医院等隐私要求较高的建筑空间，那么一般选择深度相机作为传感器，因为它的目标检测精度和成本都在可接受范围内，并且也在一定程度上缓解了隐私问题。以人员定位为例，可以选择使用计算机视觉技术或者RFID标签，前者须要详细记录用户的面部特征，有很高的隐私风险，但是使用较方便，成本较低；后者具有较低的隐私风险，但是成本较高，并且违反了建筑智能终端对用户透明的原则，相对于RFID标签，摄像头是更自然的交互方式。
2.2 基于计算机视觉的感知技术
长期以来，人类行为一直是计算机视觉研究的重点，主要是在个人信号级别，即出于特定目的跟踪和分析人的面部和身体。人类行为的自动分类涉及对身体运动的理解、手势和标志、面部表情的分析和其他情感信号。在更高的层次上，这些信号与建筑空间属性和用户行为习惯的上下文属性相结合，以理解用户当前需求。近年来计算机视觉领域的主流方法是基于深度学习的方法，在建筑智能终端中涉及到的智能感知相关算法如表2所示。
表2. 建筑智能终端中智能感知相关算法
表2展示了建筑智能终端中会涉及到的基于深度学习的智能感知技术。其中人脸检测与识别、目标检测与追踪和人体姿态估计的重点在于视觉特征的提取，而目标追踪和行为识别还要涉及到时空特征的提取。视觉特征提取以人脸表情识别为例，其网络结构如图2所示。对齐的人脸图像作为模型的输入，经过多次卷积和池化，提取出图像中较底层的通用视觉特征，并逐步提取特化的和表情有关的高层特征，最后经过全连接层进行表情的分类，给出每种表情的置信度。卷积和池化的过程如图3所示，经过不同卷积核与原始图像进行卷积操作，图像中边缘、拐角、圆弧等基础特征被提取出来，再经过最大池化层进行数据的降维，从而降低模型参数，保证模型收敛和训练速度。通过组合不同的卷积核结果，可以将各种基础特征进行组合，训练过程中调整这些参数，就达到了自动提取表情识别相关视觉特征的目的。
图2. 基于深度学习的表情识别模型网络结构
图3. 卷积和池化过程
行为识别(action recognition)是指对视频中人的行为动作进行识别，即读懂视频，比如判断一个人是在走路、跳跃还是挥手，在视频监督、视频推荐和人机交互中有重要的应用。近几十年来，随着神经网络的兴起，发展出了很多处理行为识别问题的方法。不同于目标识别，行为识别除了要分析目标的空间依赖关系，还要分析目标变化的历史信息，也就是要考虑到目标的时空线索。下面简单介绍基于深度学习的行为识别的主流方法。 a. 双流法 双流法将行为识别中的特征提取为RGB分支提取空间特征和光流分支提取时间上的光流特征两个分支，最后结合两种特征进行动作识别，代表方法有双流卷积神经网络(two-stream CNN)，TSN[9]及TRN[37]等。 b. 3D卷积(C3D) 3D卷积就是在空间和时间维度上同时进行卷积运算，将二维卷积扩展到三维，添加了时间维度，直接提取时空特征，该方向的研究成果较多，代表方法有C3D和P3D[38]等。 c. 卷积循环神经网络(CNN-LSTM) LSTM[39]网络拥有记忆功能，擅长处理时序信号中的长时依赖关系，而视频正是在时间上变化的图像。因此有研究者将CNN与LSTM结合进行行为识别，CNN提取出的空间特征可以作为LSTM 编码器的输入，进一步学习时间特征。 2.3 上下文理解 对用户行为和建筑空间敏感是将建筑智能终端与人工智能、物联网区分开来的关键问题之一。为了实现场景感知、个性化推荐、环境自适应和需求分析，建筑智能终端的应用需要大量关于环境中建筑空间和参与者的信息。研究重点转向在更自然的环境中进行分析，减少控制条件，增加更严格的实时约束，最重要的是，交互动作的识别。用户与环境、用户之间在互动中的相对位置、他们的姿势、手势、非语言行为及他们相互回应的方式都带有重要的线索，这些线索对于正确的上下文理解至关重要。上述传感器和关键技术可以提供诸多解决方案，为以下关键问题提供答案。 a. 用户识别 在建筑智能终端中，不同用户有着不同的行为习惯和活动倾向，在同一建筑空间中，不同用户对光照、温湿度等环境因素的需求可能并不相同，建筑智能终端须要针对他们的习惯调整其所处空间的环境，以提供个性化的服务。基于人脸识别、面部和行为的视觉生物识别技术主要可以处理一般建筑空间中相对较少的用户。在公共建筑空间或隐私要求较高的建筑空间中，可以使用RFID标签等设备进行用户的注册和识别。 b. 用户定位 用户在生活和工作的过程中，其所处的建筑空间和位置坐标对于上下文理解系统是很重要的标识之一。当用户在建筑空间中活动时，其位置信息的检测和跟踪可以通过计算机视觉或定位传感器解决。虽然使用校准相机对人类进行视觉跟踪已在很大程度上解决了用户定位的问题，但在复杂活动中跟踪多人仍然具有挑战性，并且这涉及到多摄像头阵列及丢失用户后重识别等挑战。使用RFID标签等定位传感器可以较方便地记录用户的位置信息，但是违背了建筑智能终端对用户透明的原则；智能手环等可穿戴设备使用全球定位系统(GPS)定位技术，可用于室外运动定位，同时对用户透明，不会过多影响用户的生活工作，但是其精度不足以应用于室内定位。建筑智能终端将建筑数字化，建立建筑数字化模型，其中包含建筑的多个建筑空间与用户的位置信息，将用户与其当前所处的建筑空间进行匹配，可以提供在此建筑空间下用户可能需要的服务。 c. 用户交互对象识别 识别用户互动的对象是建筑智能终端实现针对用户和建筑空间的个性化服务的基础。虽然建筑空间中的用户数量可能很少，但有许多潜在的交互对象以通用的方式为每个这样的对象构建检测器成为一个挑战。对于交互对象识别，一般采用RFID 标签或者基于深度学习的目标检测技术。前者通过将RFID标签佩戴在物品或用户身上，从而直接获取用户与周围物体之间的距离和物品类型，但是建筑空间内移除或添加设备时须要重新注册；后者能够自动识别建筑空间中的各类物品，但是测量用户与各物品之间距离须要多目相机进行3D计算，占用计算资源较多。 3. 建筑智能终端实践应用 建筑智能终端的关键在于结合用户的行为与所处的建筑空间进行需求分析，在不同的建筑空间中用户想要进行的活动不同，不同的身份也会导致不同的需求。本节介绍建筑智能终端在常见的三种建筑空间中的应用。 3.1 医疗建筑空间中的环境智能 在医疗建筑空间中，对于医护工作人员，建筑智能终端可以帮助实现更高效的临床工作流程，并改善重症监护室和手术室中的患者安全；对于患者，建筑智能终端能够提供详细的康复指导、更优的康复环境及尽可能早的疾病诊断与预防。 建筑智能终端在医疗健康空间中的应用如图4 所示。基于环境对人健康影响的机理，对室内物理环境进行建模仿真可以优化室内空间布局，为用户提供更优质的康复环境；手术室是医院的平台科室，地位重要，业务繁忙。在手术室物联网应用和业务类应用运转过程中，产生了大量数据，通过大数据平台的分析处理，建成了手术室综合态势感知平台，医护工作者在通道、门口、等待间、餐厅等区域经过人脸识别、掌静脉识别和手术衣RFID 芯片识别技术进行识别与管理，实现了手术相关数据的统一建模和汇聚，在此基础上，构建生成管理指标数据。
(a) 基于场景的智能医院环境优化
据统计，临床医生花费多达35%的时间在医疗记录任务上[40]，每个病人每次就诊期间医生都要进行记录，这在很大程度上影响了临床工作的效率。然而，抄写员的培训代价大，并且有很高的流动性。建筑智能终端可以通过语音识别技术辅助医生完成这一工作。在一项研究中，研究人员从病人和医生之间的9×104次对话中提取1.4×104h的门诊音频， 训练了一个深度学习模型[41]。该模型显示了 80% 的文字转录准确率，比专业抄写员 76% 的准确性高。使用语音识别技术代替手写，能够很大程度上减少重复性工作，并且增加医生与病人的交流时间，有助于提高临床效率和诊疗质量。 通过计算机视觉技术与环境摄像头，训练卷积神经网络来跟踪前列腺切除手术中的针头驱动器，以作为外科技术评估的标准[42]，可以避免可穿戴设备对外科医生手灵敏度的影响，同时降低感染风险；通过在洗手台上方安装深度传感器，利用深度学习算法检测手卫生活动[43]，建筑智能终端可以通过手卫生的结果和目标用户的位置信息进行院内感染的控制与追踪。 患者的早期运动恢复可以大幅度降低患ICU 获得性虚弱的可能性[44]。常规的患者移动性评估是通过直接地面对面观察，正确的测量须要对病人的运动有细致入微的了解，这在很大程度上占用了临床资源，成本很高。而建筑智能终端可以在ICU 病房中提供基于深度传感器的患者移动测量，无须占用医生时间，并且隐私风险很低。同时在ICU 病房中，可以通过建筑智能终端监测患者的康复状态，检测其精神状态并统计其行为分布，为医生的后续治疗提供参考。 3.2 居住建筑空间中的环境智能 人的大部分时间都待在家里，特别是老年人。在世界范围内，人口老龄化的趋势不断扩大。建筑智能终端能够提供更便捷的生活环境并辅助老年人日常生活。 当为辅助生活创建以人为中心的智能环境时，对日常活动进行分类和对异常活动进行检测是两个最基本的任务。建筑智能终端辅助老年人生活的案例包括探测异常情况(如家中跌倒、抢劫或火灾)、识别日常生活模式及获取与各种日常活动相关的统计数据。在所有的活动中，检测跌倒最受关注，因为它有骨折、中风甚至死亡等相关风险。触发紧急援助往往是必要的，尤其是对那些独自生活的人。通过智能手表、声音传感器、可穿戴运动设备(陀螺仪、速度计、加速计)、视觉、深度和红外相机等不同类型的传感器，可以进行行为检测．但是每个传感器都有其优缺点，例如，可穿戴设备很简单，但须要定期充电，并且老年人也很容易忘记佩戴。基于视觉的技术对于老年人存在一些隐私问题，但可以通过特征提取后去除原始数据仅保留人形或采用仅形状可见数据的方法进行改善[45]。 环境智能应用于居住建筑空间中形成智能健康住宅，如图5所示。在智能健康住宅中，建筑智能终端监测居住建筑空间中的各种因素，如天气、用水量、温湿度、光照、声音和家电使用情况等，同时使用人工智能技术来检测用户的健康状态、姿态和行为轨迹，当用户发生危险(摔倒或异常姿态等)时及时通知家属，以避免因不及时处理而产生的后续伤害。 (a) 智能健康住宅体系
3.3 公共建筑空间中的环境智能 在智能城市应用发展的过程中，公共建筑的智能化也是发展的重点之一，公共建筑空间中建筑智能终端应用情况如图6所示。 a. 停车场 建筑智能终端在停车场中可以通过监控摄像头检测可用停车位和待停车辆的信息，并通过网络指挥车主前往停车位。但是这可能涉及到用户手机或车载导航与停车场建筑智能终端系统联通的问题。 b. 城市道路 建筑智能终端能够通过在路灯中安装雨雪和温湿度传感器，智能适应天气，调整照明情况，避免浪费电，为行人提供更好的照明条件，或者根据气候条件和意外事件(如事故或交通堵塞)提供警告信息和改道，为用户提供更好的交通体验。 c. 办公楼 阿姆斯特丹的EDGE大楼安装了2.8×104个传感器，用于检测动作、温度、灯光和红外线等信息，自主调节办公楼环境，员工可以通过手机应用程序(APP)寻找停车位或者调节工位附近的照明和温度。办公建筑空间的建筑智能终端还能够根据员工职能、所负责项目等信息安排工位，使同一项目或相关项目的员工在同一片区域办公，提高工作效率。 d. 博物馆 在博物馆等大型公共建筑中，建筑智能终端能够通过参观证、手机APP 或摄像头对参观者进行定位，并结合建筑模型与参观者预设的偏好提供导航服务，为参观者提供更好的参观体验。对于管理者，建筑智能终端能够提供参观人流的具体情况，如各个展区的人流量、高峰期等，方便其安排展览内容。
建筑智能终端是人工智能在建筑空间下对用户行为进行反应的产物，在很大程度上依赖于信息社会和人工智能的进步。而人工智能目前正处于高速发展阶段，并且其发展速度远超硬件，即使是在更好的硬件上，由于更先进的软件算法和系统，也会产生新的解决方案，因此每年都会出现几个重量级的人工智能应用。基于人工智能技术的发展前景，建筑智能终端会成为之后相关研究领域的重点。但是建筑智能终端仍然存在以下待解决的问题。 a. 成本 基于深度学习的人工智能技术需要大量数据进行训练，并且对于计算资源要求很高，部署建筑智能终端时，要同时考虑模型训练的时间和设备成本。 b. 隐私 基于视觉的方法能够在最大程度上满足建筑智能终端对用户透明的特性，但是对于用户来说有很大的隐私风险。可以从数据传输安全和仅保留视觉数据中的形状特征这两个方面解决。 c. 规模 基于视觉的解决方案须要考虑部署的规模，考虑多相机、多用户、多交互对象及密集行为检测的技术难度。但是这个问题将会随着计算机视觉领域的发展而逐步解决。
本文来自公众号「BIM新看点」，不代表本站立场。
文章版权归作者BIM新看点所有，如需转载请先经得作者确认授权（可通过本站私信文章作者）。文中图片出处为水印文字，由文章作者整理上传，若有侵权请告知翻身猫处理。
