三月份，健康技术初创公司 HeHealth 推出了 Calmara AI，这是一款声称将成为您安全性行为的亲密好友的应用程序。该应用程序主要面向女性营销，她们被告知可以上传伴侣阴茎的照片以供卡尔马拉扫描是否有性传播感染（STI）的证据。用户将获得充满表情符号的 Clear！或保持！判决书附有免责声明，称相关阴茎不一定没有感染所有性传播感染。
性与文化评论家埃拉·道森 (Ella Dawson) 第一次看到 Calmara AI 声称提供人工智能扫描时的反应（即）为您提供关于您伴侣的性健康状况的明确、有科学依据的答案，可以很容易地总结为：大哎呀。她在社交媒体上发出警报，表达了对隐私和准确性的担忧。这种关注引发了大量负面新闻和《洛杉矶时报》的调查。
联邦贸易委员会也对此表示担忧。该机构通知 Calmara AI 的母公司 HeHealth，它正在对可能存在的欺诈性广告声明和隐私问题展开调查。几天之内，HeHealth 将其应用程序撤出市场。
HeHealth 首席执行官 Yudara Kularathne 强调，FTC 没有发现任何不当行为，并表示没有实施任何处罚。
他在电子邮件中写道，HeHealth 消费者应用程序遭受了重大损失，因此我们决定关闭它，以专注于初创公司的盈利能力，并表示该公司现在专注于与政府和非政府组织合作的企业对企业项目，这些政府和非政府组织大多在国外美国。
越来越多的人工智能驱动的性健康应用程序不断涌现，而且没有停止的迹象。一些以消费者为中心的新应用程序针对的是女性和酷儿人群，她们往往很难获得文化敏感和性别信息丰富的护理。风险投资家和资助者在服务不足的人群中看到了机会，但可以优先考虑增长而不是隐私和安全。
19 日与性健康教育者和计算机科学研究人员讨论了如何最好地评估有关人工智能的主张，特别是当涉及到人工智能时敏感的健康应用。他们指出了营销、医疗索赔和隐私政策三个主要领域。
自 COVID-19 大流行爆发以来，随着远程医疗法律放宽以允许远程护理，医疗技术蓬勃发展。道森说，一些公司利用这个机会进行创新，但有些公司最终只是为了攫取利润，而没有像真正的医生那样优先考虑隐私问题。
性健康是一个很少有人熟悉的话题，而且存在性传播感染是一个巨大的社会耻辱。道森说，寻求性传播感染检测的人是弱势且服务不足的人群，他们经常处于情绪化状态，无法做出明确的决定。
用机器学习代替人类互动的服务很有吸引力，因为它们道森说，让人们能够在自己家里的隐私中解决他们的担忧。人们，尤其是年轻人，可能不想与某人交谈，甚至不想与医生交谈，因为可能会因为接触性传播感染而感到羞耻。
对于看到机会的初创公司来说，这是一个非常危险的动态，她说。
分布式人工智能研究所的首席研究工程师迪伦·贝克 (Dylan Baker) 在大多数情况下对有关人工智能（更准确地称为机器学习系统）的说法持怀疑态度。
在医疗环境中，贝克说，医生和研究人员长期以来一直在利用机器学习。例如，《美国伦琴学杂志》2012 年的一项研究展示了自动图像滞留系统如何帮助放射科医生更有效地诊断肺结节。但这些应用程序之所以有效，是因为医务人员接受过有关他们正在使用的模型的所有细微差别的培训，并且知道计算的局限性。这些知识并没有延伸到患者身上。
首先要考虑的事情之一是人工智能应用程序是否真的能做到它声称的那样。专家表示，要警惕过度简化问题的技术。例如，许多性传播感染是无症状的，只能通过实验室检测来确诊。
性健康尤其需要专业知识，而许多医生都缺乏这些专业知识，训练有素的性治疗师和性教育家艾米丽·L·德帕斯 (Emily L. Depasse) 说。贝克说，人工智能通常被宣传为比人类更聪明，但事实并非如此。任何承诺明确结果的应用程序都值得怀疑。
这就是为什么确定为应用程序提供支持的机器学习模型接受过哪些知识训练非常重要。许多公司的网站上都有研究论文，详细介绍了他们正在使用的模型。贝克说，你要确保模型训练所用的数据尽可能有效地匹配你的用例。如果应用程序开发者不使用具有各种光照条件、角度和肤色的真实图片来训练模型，可能会导致结果不准确。
训练数据是 HeHealth 受到批评的方面之一。除了使用患有性传播感染的阴茎的实际照片来训练他们的模型之外，工程师还使用通过将感染图像与健康阴茎的图像分层而创建的伪造图像来训练模型。
生产商用人工智能产品的公司应该审核他们的模型贝克说，对于潜在的偏差，因为训练数据本身与结果偏差之间的关系并不总是完全清楚。理想情况下，这些信息可以在公司网站上或链接的研究论文中访问，以供潜在客户仔细阅读。
应用程序的限制应在其说明中清楚地传达。斯沃斯莫尔学院工程教授玛吉·德拉诺 (Maggie Delano) 表示，性别包容性可能是健康应用中的一个问题。例如，德拉诺对一款体重追踪应用程序进行了研究，该应用程序要求用户选择二元性别。这似乎是一个很小的选择，但该信息用于计算身体脂肪百分比。
如果应用程序有多个输入，德拉诺建议跨性别者尝试不同的选项，并选择最适合他们身体的选项。
我希望看到但我从未见过的事情之一是实际讨论，嘿，如果你是跨性别者，这是你在输入该算法时应该使用的值，它们
德拉诺还引用了一句格言，如果你不为产品付费，这通常意味着你就是该产品，其个人数据被出售，或者你的注意力被用于广告。这也是为什么彻底扫描任何应用程序的隐私政策很重要，因为许多人工智能模型都是根据用户输入进行训练的。应该明确说明公司在与产品交互后如何存储和使用个人健康信息。
消费者健康应用程序不一定受 HIPAA 保护，HIPAA 是普遍适用于健康的最著名的健康隐私法护理实体，但有许多重叠的法规可能适用。联邦贸易委员会建议审查应用程序将收集哪些信息以及如何共享这些信息。
尝试在应用程序条款中确定如果公司违反隐私承诺，可以采取哪些追索措施，贝克说。
营销主张可能是自夸的，在某些情况下甚至是违法的。美国食品和药物管理局负责监管医疗器械，因此检查特定申请是否获得该机构的批准非常重要。道森说，这些信息通常位于网页底部，并且可能包括有关该服务如何不提供诊断的免责声明。如果是这样，重要的是看看营销是否反映了这一点。贝克说，很多广告都试图将人工智能拟人化，让人觉得它可以取代训练有素的医生，但事实并非如此。
德帕斯说，性健康问题很严重，她个人对此持谨慎态度。营销文案中的任何幼稚语言。使用委婉语或可爱的语言（例如“seggs”）而不是“性”来绕过社交媒体过滤器会加剧耻辱，并可能掩盖对该主题专业知识的缺乏。
科技创始人应该与性健康专业人士、妇产科医生、性工作者合作德帕斯说，教育工作者和生殖健康领域的人们。道森建议调查创始人的背景：他们是刚从商学院毕业吗？他们专注于筹集资金吗？他们的团队缺乏医疗专业人员吗？如果是这样，则表明团队更关心销售，而不是创造安全、准确的健康产品。
接受 19 日采访的教育工作者和研究人员对如何向行动不便的人群推销人工智能表示失望和愤怒医疗保健选择。
作为一名人工智能伦理研究员，看到市场上的掠夺性应用程序也让贝克有点兴奋。
他们说，因为我知道人们正在挣扎。医疗保健可能很难获得，而这正试图填补一个非常现实的空白。