Is It a Trap? A Large-scale Empirical Study And Comprehensive Assessment of Online Automated Privacy Policy Generators for Mobile Apps

4.1 论文信息

  • 作者：Shidong Pan, Dawen Zhang, Mark Staples, Zhenchang Xing, Jieshan Chen, Xiwei Xu, and Thong Hoang
  • 年份：2024年
  • 会议/期刊：USENIX Security Symposium
  • 研究机构：CSIRO’s Data61 & Australian National University
  • 主要内容：本文对现有移动应用程序在线自动隐私策略生成器（APPG）进行了深入调研，从多个维度上仔细分析了10个常见的APP。研究发现，尽管APP在生成隐私政策方面提供了一定支持，但在合规性和用户隐私保护方面仍存在不足。此外，市场渗透率分析显示，在Google Play收集的46,472个安卓应用的隐私策略中，约有20.1%是由现有的APPG生成的，表明APPG在移动应用生态系统中扮演着越来越重要的角色。

4.2 问题分析

对于大多数开发者而言，制定隐私政策是一个复杂的过程，因此许多人使用在线自动隐私政策生成器（APPG）为应用程序创建隐私政策。然而，这种方法虽然便捷，但也存在一些问题：

  1. APPG生成隐私政策的质量尚不明确：

    • 缺乏系统性评估，可能导致生成的隐私政策存在设计缺陷，无法有效保护用户隐私。

  2. APPG生成隐私政策的合规性尚不明确：

    • 虽然声称符合法规，但未进行充分验证，可能导致法律风险。

4.3 研究方案

1. APPG评估

作者从 Google、Stack Overflow、GeeksforGeeks 和 GitHub 上收集了十个流行的 APPG 进行功能、特性及数据使用范围的评估。

2. 市场渗透率分析

从 Google Play 抓取移动应用程序，构建包含 46,472 条隐私政策的数据集，并通过指纹关键词搜索（FKS）和文档相似性比较（DSC）判断是否由 APPG 生成。

3. 隐私政策分析

评估 APPG 在具体要求、数据权利、设备权限披露和自我完整性方面的表现。

图4.1 研究方案框架图

图4.1 研究方案框架图

4.4 实验评估

1. APPG评估

文中研究的APP如下图所示。

图4.2 APPG基本信息

图4.2 APPG基本信息

从以下三个角度进行全面评估：

  • 用户体验：发布支持、定制选项、便利性等；
  • 法律合规性：是否符合 GDPR、CCPA、LGPD 等法规；
  • 可理解性：语言本地化程度、Flesch 可读性评分（30~50，需大学水平阅读能力）；
图4.3 APPG评估结果

图4.3 APPG评估结果

数据使用识别能力评估

  • 所有APP支持应用程序基本信息；
  • 仅3/10识别敏感个人信息；
  • 多数识别CAMERA、CONTACTS、LOCATION权限，仅2个识别全部权限；
  • 第三方服务覆盖较好。
图4.4 APPG 对数据使用认可度的评估结果

图4.4 APPG 对数据使用认可度的评估结果

2. 市场渗透率分析

  • 从 Google Play 收集 99,194 个应用元数据，最终获得 46,412 条隐私政策；
  • 使用 FKS 和 DSC 方法检测是否由 APPG 生成；
  • 结果如下图所示：
图4.5 APPG 的市场渗透率

图4.5 APPG 的市场渗透率

  • FKS 方法检测出 6.6%；
  • DSC 方法检测出 18.1%；
  • 合并结果表明最大渗透率为 20.1%。
图4.6 APPG 生成的隐私策略数量

图4.6 APPG 生成的隐私策略数量

3. 隐私政策分析

（1）隐私合规性评估

  • GDPR 颁布于 2018 年，多数APP能遵循；
  • 部分APP在GDPR和CCPA的合规性上有提升；
  • APPG #2 未披露任何数据权利，与其自述不符。
图4.7　在不同时间下APPG在GDPR、CCPA和LGPD的合规情况

图4.7 在不同时间下APPG在GDPR、CCPA和LGPD的合规情况

图4.8　七项基本数据权的披露情况

图4.8 七项基本数据权的披露情况

图4.9　五种高度关注的隐私行为的披露情况

图4.9 五种高度关注的隐私行为的披露情况

（2）权限覆盖率分析

引入两个指标：

  • RC（Reported Coverage）：开发者依赖APPG的程度；
  • EC（Expected Coverage）：APPG设计质量。

结果显示：所有APP均存在一定程度的权限披露缺失。

图4.10　权限覆盖率分析结果

图4.10 权限覆盖率分析结果

（3）矛盾分析

利用 PoliGraph 分析两类隐私政策中的矛盾：

  • 基于 APPG 的政策：26 处矛盾；
  • 非基于 APPG 的政策：15 处矛盾。

说明 APPG 工具可能在生成政策时引入更多矛盾。

4.5 优缺点

优点

  1. 首次对移动应用程序的自动隐私政策生成器进行大规模、详尽的实证研究；
  2. 对 APPG 工具进行了系统的实证分析。

缺点

  1. 对矛盾产生原因的探讨深度不足。