Google Research 提出 PHRM，用手机前置摄像头被动估计心率与静息心率

心率（HR）是主要生命体征之一，是生理状态的动态指标，会受到活动、压力以及急性和慢性疾病等各方面因素的影响。此外，静息心率（RHR）是心血管健康与长期健康风险的关键生物标志物。较高的 RHR 以及 RHR 随时间的升高与主要不良心血管事件和全因死亡率相关。

诸如 Fitbit 设备和 Pixel Watch 等可穿戴设备，使人们能够在日常生活中追踪这些健康指标。然而，其普及仍有提升空间，尤其是在资源有限的环境中，以及心血管疾病风险最高的人群之中。智能手机为扩大健康追踪的可及性提供了独特机会——如今，约有50亿人已经拥有配备强大传感器、能够监测自身健康的设备。2022 年，我们展示了通过将手指放在摄像头上，使用智能手机进行按需 HR 测量，而随后的 Google 研究则探讨了该测量过程中检测到的信号如何有助于预测心血管疾病。

在“日常生活中使用智能手机期间的被动心率监测”（发表于 Nature,）中，我们介绍了一种研究系统（PHRM），可在日常使用智能手机时于后台追踪 HR 和 RHR。PHRM 利用前置摄像头，在人脸解锁事件后的数秒内采集用户面部视频。随后，它应用深度学习来估计 HR，与心电图得出的真值相比，平均绝对百分比误差（MAPE）< 10%，并达到所有肤色人群的行业准确性标准。最后，该系统将全天的 HR 测量整合为每日 RHR 估计，其准确性与可穿戴设备相当；与可穿戴追踪器相比，平均绝对误差（MAE）< 5 次/分钟（bpm）。随本论文发表，我们发布了目前公开可供研究使用的规模最大、多样性最高的智能手机视频数据集，以及一个预训练的“PHRM-mini”模型。符合条件的研究人员可以申请访问。

一项面向所有人的技术突破

与可穿戴设备、脉搏血氧仪以及我们的先前工作一样，PHRM 通过光电容积脉搏波描记法（PPG）测量 HR，即感知每次血液搏动流经皮肤时，光线与皮肤相互作用的波动。我们开发了一套设备端软件流水线，用于处理 8 秒面部视频片段，并使用计算高效的时移卷积神经网络来预测 HR 以及置信度分数。该流水线进一步汇总全天的 HR 预测，并利用置信度分数和卡尔曼滤波来估计每日 RHR。

尽管针对此类“远程”PPG（rPPG）的计算机视觉模型已存在二十年，但以往工作是在受控条件下开展的规模较小的研究，限制了可推广性。此外，以往研究中深色皮肤人群的代表性严重不足，这些人的黑色素使相机更难检测到PPG信号。直到最近，研究人员才更深入地考察了rPPG模型在深色皮肤研究参与者上的表现，发现准确率显著更低——这一轨迹与脉搏血氧仪及其他基于PPG的技术所出现的情况相似。对脉搏血氧仪的担忧促使FDA起草指南，以确保验证研究中肤色具有多样化代表性。迄今为止，仍缺乏达到类似标准的rPPG研究。

我们利用近700名已知情同意、背景多样的研究参与者在实验室和真实环境中的超过350,000段视频片段开发了PHRM，并且如同我们的早期工作一样，将更多模型训练投入到最具挑战性的案例上。我们运用比色法以及Monk Skin Tone量表，确保浅色皮肤（“第1组”，Monk 1-4）和中等肤色（“第2组”，Monk 5-7）的参与者各自至少占我们数据集的25%，深色皮肤（“第3组”，Monk 8-10）的参与者至少占33%。这种抽样方法与FDA后来提出的肤色队列相一致。更进一步，在Google的Health Optimization团队支持下，我们制定了一项非劣效性标准，规定PHRM对各组心率（HR）的MAPE与其他组的差异必须< 5个百分点。这些努力使我们的PHRM研究成为迄今规模最大、多样性最高的rPPG研究，并使我们能够开发出在整个肤色谱上都能准确表现的包容性模型。

实验室与真实世界中的验证

我们训练PHRM以应对实验室研究中的各种条件，记录了365名多样化研究参与者在不同光照条件和活动状态下的面部视频及同步心电图（ECG）数据。在一个独立的104名参与者测试集上，以最低置信度分数进行门控后，尽管测试条件范围广泛，PHRM在各肤色组上实现的MAPE均显著< 10%。在同一测试集上，无论门控前后，PHRM的表现都显著优于15个已发表的领先rPPG模型，并且是唯一在所有肤色上实现MAPE < 10%的模型。

为了用真实世界数据训练PHRM，我们开展了一项首创的“自由生活”研究。231名多样化研究参与者在个人手机上安装了定制数据采集应用，并在佩戴ECG胸带和Fitbit Charge 6健身追踪器的同时照常使用八天。我们的应用在每次人脸解锁后立即录制8秒视频片段和ECG数据，平均每天采集231段片段。每天结束时，参与者在审阅片段以确认排除敏感内容和其他人脸后，手动并明确授权将数据上传至我们安全的加密服务器。

在一个留出的 101 名参与者验证子集上，PHRM 在置信度门控后实现了 6.09% 的总体 MAPE，第 1、2、3 组的 MAPE 分别为 5.04%、5.12% 和 7.84%。各项 MAPE 均显著 < 10%，并达到了我们预先设定的非劣效性目标。在自由生活条件下，PHRM 以更大的优势超越了同样的 15 个领先 rPPG 模型，并且仍是唯一在所有肤色上实现 MAPE < 10% 的模型。Bland-Altman 分析显示，PHRM 平均仅低估 HR 0.64 bpm，95% 一致性界限介于 -11.3 与 10.3 bpm 之间；置信度评分较高的测量误差更低。

随后，我们对在一天或多天内至少有 20 次 HR 测量的参与者应用了 PHRM 的 RHR 算法。对于这 90 名参与者，PHRM 在 73.6% 的参与者日上成功估计了 RHR。与 Fitbit Charge 6 的每日 RHR 相比，PHRM RHR 的总体 MAE 为 4.39 bpm，显著低于我们预先设定的 5 bpm 目标。Bland-Altman 分析显示，PHRM 平均低估 RHR 0.1 bpm，95% 一致性界限介于 -9.1 与 9.2 bpm 之间；误差随 RHR 测量天数的增加而降低。按肤色分组的 MAE 除第 3 组外均显著 < 5 bpm。然而，随着我们的 RHR 算法的卡尔曼滤波器收敛，所有组的 MAE 均随时间下降——从第 3 天起，第 3 组的 MAE 显著 < 5 bpm。

在确认我们方法的有效性时，我们进一步发现，在控制协变量后，PHRM 得出的 RHR 较高的参与者更有可能具有较高的体重指数（BMI）和较差的心血管适能（较低的VO2max），这表明 PHRM 正确捕捉了心血管风险的方向性。

展望

据我们所知，PHRM 标志着在日常智能手机使用期间进行被动 HR 和每日 RHR 监测的首次大规模演示。作为唯一达到所有肤色人群 HR 准确性标准的 rPPG 方法——即使在不可预测的真实世界条件下——它为该领域树立了新标准。它也代表了首次使用 rPPG 来估计每日 RHR，并在所有肤色上达到了可穿戴设备级别的准确性。通过将对用户习惯的理解与前沿深度学习技术和包容性设计相结合，我们开发了一种基于智能手机的 HR 监测系统，能够提供类似可穿戴设备的心脏健康洞察。因此，PHRM 带来了通过我们最普及的设备使心脏健康追踪的益处得以民主化的机会。更广泛地说，它展示了我们如此频繁查阅的设备如何反过来反映我们健康方面的洞察。

尽管 PHRM 在各肤色上达到了准确性标准，但其 HR 测量成功率在第 2 组较低，在第 3 组最低，这可能是由于在较深肤色中检测 PPG 信号较为困难。未来的工作可以探索优化相机曝光或触发额外的采样尝试，以提高测量成功率。我们还观察到一些由参与者说话和头部运动引起的离群误差。改进的视频稳定可以减轻这些误差，而基于加速度计的门控可以帮助优先选择适宜的静息时刻。最后，未来的系统可以通过要求面部认证并采用安全的设备端处理来确保数据完整性与隐私。

为推动进一步研究，我们将具有里程碑意义的数据与建模资源向具备机构审查委员会（IRB）批准并满足我们数据保护要求的合格研究人员开放。为保护研究参与者的隐私，所有视频均在获得 IRB 批准的情况下采集，并依据参与者的明确同意进行处理。该数据集完全限于非商业研究用途，访问研究人员严禁试图重新识别任何个人或公开展示原始视频素材。我们邀请研究界利用我们的资源，在我们的工作基础上继续推进。

致谢

这项工作是超过 7 年努力的结晶。我们感谢论文共同作者 Shun Liao、Paolo Di Achille、Jiang Wu、Silviu Borac、Jonathan Wang、Xin Liu、Lawrence Cai、Yuzhe Yang、Yun Liu、Daniel McDuff、Hao-Wei Su、Brent Winslow、Anupam Pathak、Mark Malhotra、Shwetak Patel、James A. Taylor 和 Jameson K. Rogers。我们感谢主要贡献者，包括：Nikola Teslovich、Alex Mun、Jonathan Hsu、Xiaoxia Zheng、Derrick Vickers、Sam Mravca、Tracy Giest、Jason Guss、Florence Thng、Jiening Zhan、Julie Cannon、Mehr Kashyap、Jaspreet Pannu、Tiffany Kung、Ming Jack Po、Matthew Shore、Justin Tansuwan、Liwen Chen、Cristo Alanis Barrera、Anand Saxena、Jeremy Miles、Melissa Moran、Michael V. McConnell、Ivor Horn、Benny Ayalew、Jonelle Saunders、Jonathan Tsai、Heather Cole-Lewis、Ebony Respress、Perry Payne、Kamillah Wood、Nnamdi Ezeanochie、Magdala Chery 和 Rich Gossweiler。我们感谢 Lizzie Dorfman、Katherine Chou、Michael Howell 和 Greg Corrado 的领导支持。特别感谢 Jiemin Yang、Josh Grondie、Kenya Moore 和 Katie Barton 为我们的自由生活研究制作动画。