有害的意外 IT 涌现是否不可避免？

涌现 ―“21 世纪科学界的一个统一主题”¹― 已有 150 年历史²。它是对复杂的自适应系统展现出的新行为，特别是那些不同于系统各个组成部分的 行为的称呼。

涌现行为包括预期涌现和意外涌现。有益的意外涌现会受到欢迎，而有害的意外涌现则会受到排斥。鉴于全球 IT 发展速度日益加快，人们必须了解有害的意外 IT 涌现是否在组织的控制范围内。

涌现的关键概念

复杂的自适应系统的组成部分有其自身不断演变的行为，这些行为相互作用，产生涌现行为³。系统是一组为实现共同目的而协同工作的组成部分⁴。在信息科学术语中，系统的复杂性由系统描述的最小长度界定，而描述的长度以信息为单位衡量⁵。描述系统所需的信息越多，系统就越复杂。系统越复杂，出现不可预测和意外涌现的可能性就越大⁶。

例如，门把手就是一种集成多个零件来解决开门和关门问题的技术。由于许多人接触门把手（包括一些可能生病的人和其他可能不注重个人卫生的人），导致病原体的滋生和传播，这就是意外涌现。由于铜在杀菌方面表现优异，铜制或镀铜门把手随后可缓解这种有害的意外涌现⁷。门把手可以用三个信息单位描述：拉门把手可以打开门，推门把手可以关上门，向下按或逆时针转动门把手可以打开门闩。与由数百个功能元素组成的社交媒体系统相比，门把手实则是个非常简单的系统。

在数学中，合成向量可以视为涌现。在由两个向量组成的空间中（每个向量是作用在对象上的力，代表自己的行为），合成向量的行为在数量和方向上均不同 于两个单独的向量（图 1），因此代表涌现。

尽管图 1 中系统的表示很简单，但预测合成向量或等效值（或者实际上是由相互作用的组成全新真实世界系统的行为）很复杂，因为：

• 有些组成部分可能无法识别或未标识，例如图 2 中的 E 和 F。对它们做出假设，或者甚至不知道它们是系统的一部分，都会加强意外涌现。
• 各组成部分本身就可以是系统，而不是单个组成部分。
• 所有的组成部分关系要么不一定可识别，要么未标识或者不了解，例如图 2 中的 b、e 和 f。
• 源于每个单独组成部分或关系的某些行为可能无法理解或无法预料。
• 这些组成部分不一定局限于 IT。它们可以包括用户、监管机构、资助者、技能、经验、流程、程序、治理和设备，以及电力和电子通讯、海洋、空中、陆地、电磁频谱和空间的获取。

一个系统可以视为一个整体，也可以视为各部分的总和。涌现发生在整个系统中，而不是在各部分中。系统的描述取决于观察者的视角。纵观整个系统的观察 者会看到一组行为，而观察各部分的观察者会看到各部分的行为。

用子整体 (Holon) 可以表示这种双重性（图 3），这个词源自希腊语“holos”和“on”，前者的意思是全部，而后者的意思是部分⁸。若不理解所有组成部分及其行为，则会影响对整体的理解，从而影响对子整体的理解。图 3 中显眼的橙色部分表示与认为系统只包含紫色部分所存在的理解差距，说明有可能出现无法解释的涌现。

系统越复杂，涌现就越复杂，在所有可能的操作场景下意识到所有潜在涌现行为的可能性就越小。有些组成部分本身可以是系统，这样就会出现系统的系统，极大地增加了复杂性。

涌现分为三种类型：⁹

1. 简单涌现 ― 也称为协同作用，指的是由非复杂（有序）系统中的组成部分及关系产生的预期涌现，不一定没有意外涌现。
2. 弱涌现 ― 预料到并允许的预期涌现，但由于系统很复杂，无法预测全部涌现。
3. 强涌现 ― 指两个或多个系统整合以执行共同目标时的意外涌现（例如在系统的系统中），可能具有破坏性。系统的系统很可能出现混乱或不可预测的涌现。

在现实世界的单个组成部分系统中，涌现很难预测，有时甚至是不可能的。只有最低级别的涌现（简单涌现）才有可能预测。

请注意，涌现掩盖了系统中的因果关系；人们无法通过分析系统各个组成部分的行为来理解这个系统¹⁰。这种情况称为不可约性。

有害的意外 IT 涌现实例

无论是从数据还是 IT 的角度看，有害的意外 IT 涌现实例有很多。从技术角度看，常见的实例有区块链和社交媒体；从数据角度看，常见的实例来自数据管理方面。

区块链激增的电能需求
技术涌现与系统的新颖性、协同作用和功能有关¹¹。例如，在神秘的比特币之父中本聪于 2009 年发表关于比 特币的开创性论文之前的近 30 年，人们发现，涌现在分布式计算中至为重要（像比特币这样的系统由多台联网计算机运行，而不是一台计算机）。为了使多台联网计算机保持同步，达成所谓的共识（在比特币区块链的情况下通过工作量证明实现）被认为是至关重要的^{12, 13}。工作量证明是一种在将交易添加到区块链之 前对其进行验证的机制。区块链功能是多个独立组成部分的协同作用，例如加密、开源软件社区和分布式计算，这些组成部分展示出完全不同的单个行为。

在现实世界的单个组成部分系统中，涌现很难预测，有时甚至是不可能的。

对于比特币区块链，一个意外的涌现结果是工作量证明需要消耗巨大的电能。它每年耗电量达 127 TWh，相当于乌克兰或瑞典的用电量，这两个国家的耗电量位列全世界前 30¹⁴。它还产生 38000 吨电子垃圾，碳足迹为 7100 万吨二氧化碳¹⁵，相当于摩洛哥或罗马尼亚的碳足迹，这两个国家的碳足迹位列全球前 60¹⁶。

这种行为不同于系统组成部分的单个行为（图 4）。以太坊区块链（使用权益证明验证机制，而非更耗能的工作量证明机制）耗电量少得多，每笔交易仅需 0.01 TWh¹⁷。然而，以太坊每笔交易耗电 26.08 Wh，耗能仍然明显高于 Maste rca rd （每笔交易耗电 0.7 Wh）¹⁸。

资料来源：Digiconomist, "Bitcoin Energy Consumption Index,” https://digiconomist.net/bitcoin-energy-consumption and Digiconomist, "Ethereum Energy Consumption Index,” https://digiconomist.net/ethereum-energy-consumption

社交媒体的人道代价
关于有害的 IT 涌现的另一个观点是，个人获取和过度使用 IT（包括智能手机），可能对成年人的身体健康造成不利影响，并对儿童的发育造成损害¹⁹。皮尤研究中心调查的三分之一受访者预计，在未来十年内，技术的不利影响将超过有利影响²⁰。

社交媒体使年轻人暴露于欺凌、谣言传播和不切实际期望的压力之下²¹。IT 对分析性思维、记忆力、专注力、创造力、反思、心理韧性和多巴胺成瘾²² 的不利影响是未曾预料的。

社交媒体技术对一名 14 岁女孩的死亡“难辞其咎”²³，这是一种最严重的有害意外 IT 涌现形式。正如她悲恸的父亲所说：“是时候保护我们无辜的年轻人了，不能再让[社交媒体]平台利用儿童的痛苦渔利。”²⁴ 这不是第一起此类案例。

个人的影响

在某些情况下，个人的创业努力可能会产生很大影响。以埃隆马斯克为例，他是 Starlink²⁵、Tesla²⁶ 和 SpaceX,²⁷ 背后的推动力，其远见和影响力给众多行业带来了意外涌现。

有害的意外数据涌现实例

合并具有不同谱系的数据源会同时带来有益的和有害的涌现，原因是：

• 源之间存在时序差异
• 数据元素之间存在含义差异
• 数据的存储方式（例如数据类型和编码），乍看之下可能相似，但实际上完全不同

其他涌现实例包括：假设数据准确但并不一定必需准确、在收集或存储时泄露敏感数据，以及以最初无法想象的方式使用数据。例如，在数据管理和数据治理（包括隐私和安全风险控制的领域）时，或者在制作 和传播假新闻和深度造假等新行为中，都可能会出现复合涌现。

涌现通常视作最终结果，但可能出现在数据价值链的多个环节（图 5）。从隐私的角度看，在输入层级，隐私审计期间暴露出未经同意获取第三方数据时可能会发生涌现。在处理层级，正如在欧盟通用数据保护条例 (GDPR) 审计期间所暴露的那样，在数据以未经数据源同意的方式处理时可能会发生涌现。

在世界各地发生的个人数据泄露事件中，有害的意外隐私和安全的涌现似乎达到了顶峰。例如，澳大利亚一家大型电子通讯组织 Optus 发生了澳大利亚最大的数据泄露事件，该组织 980 万客户的个人数据泄露，事件表明该组织“可能被迫处置他们不需要的东西，否则如果滥用或丢失他们拥有的数据将会面临更严厉的处罚。”²⁸ Optus 泄露事件凸显了囤积数据的高昂成本²⁹。

澳大利亚组织用了这么长时间才意识到数据风险的一个原因是，澳大利亚的隐私专员办公室资金不足³⁰。这种情况并非澳大利亚独有^{31, 32}。此外，组织忘记了客户数据并不属于他们，而成为数据管理员是一种特权³³。在隐私和安全方面需要大量投资，以防止人们对组织的信任度下降。

意外的有害 IT 和数据涌现：主要风险

如果结果无法预测，系统也无法了解，那么意识到结果可能对个人、团体、组织甚至整个社会有害则意味着，结果与预期（风险）相比差异可能非常大，以至于可能会影响组织实现目标的努力或对整个社会产生负面影响。一些会导致风险的因素包括：

• 新技术未经验证
• 对跨领域影响的缺乏考虑
• 对系统正在解决的问题或提供的内容存在分歧
• 关于问题解决方案存在利益冲突，例如监控和隐私之间的利益冲突
• 增强信息技术之间的互连程度
• 推动解决方案的短期和长期价值之间存在矛盾和其他差异³⁴
• 系统未知数，包括已知的未知数（例如系统能力中的已知差距似乎没有足够的响应）和未知的未知数
• 提高系统性能预期（例如，紧密耦合会暴露高性能环境中的薄弱环节，而在不更换整套组成部分的情况下无法更换低性能组成部分。）

由于项目风险管理应该已经考虑了预期的有害涌现，因此仍然令人担忧的是特别意外的有害涌现。

尽管所有涌现都是一种风险，但造成最大麻烦的是有害涌现。然而，由于项目风险管理应该已经考虑了预期的有害涌现，因此仍然令人担忧的是特别意外的有害涌现（图 6）。

资料来源：Adapted from Kopetz, H.; A. Bondavalli; F. Brancati; B. Frömel; O. Höftberger; S. Iacob; “Emergence in Cyber-Physical Systems-of-Systems (CPSoSs),” Cyber-Physical Systems-of-Systems (CPSoSs), 18 December 2016, https://link.springer.com/chapter/10.1007/978-3-319-47590-5_3#rightslink

系统（子整体）不仅由其技术定义，还由利益相关方、解决方案空间、促成系统、互操作系统（图 2 和图 3 中的 E 和 F）、内部影响和外部影响定义，还包括贯穿整个系统生命周期的政治、经济、社会、技术、环境和法律因素³⁵。这得到了系统工程设计原则的支持：“决策质量取决于决策过程中对系统、促成系统和互操作系统的了解。”³⁶ 所有这些都极大地扩大在了解整体风险状况时所需的考虑范围。

鉴于这种复杂性，意外的涌现或意外的后果实际上应该是可以预料的。问题在于不知道它们可能是什么，也不知道它们什么时候会出现。出现有害的意外涌现时，人们往往会忽略对受影响各方因人源化行为（无论是个人还是团体）所遭受的结果承担责任。如果有响应，也希望对负面结果做出的人源化响应合乎道德。

如果像门把手这样简单的东西都会产生有害的结果，那么声称能像人一样思考的机器或者需要通过不断增加电力来维持的不可变记录又会如何呢？

虽然在组织 IT 中一直有考虑企业风险管理，但对于将人和社区当作人类保持互连的社会结构，技术带来的风险更令人担忧。想一想社交媒体的负面影响。人类有责任识别技术给社会结构带来的风险，并以任何可能的方式发出警报。鉴于企业或组织存在潜在的或感知到的利益冲突，不能期望企业或组织会去识别。此外，监管机构需要努力全面了解技术，势必会响应迟缓，而对政府的信任度下降可能会损害其保护公民最大利益的能力。

结论

问题在于，子整体中有害的意外涌现是否可以预测 ―风险是否可以识别、分析和至少部分得到控制。得出的观点是，鉴于子整体的复杂性几乎无法计算，并且未知的东西还是个未知数，因此不一定可以识别出有害的意外涌现，更不用说控制了。

这或许是对部署区块链和人工智能 (AI) 等新兴系统的警告。人类并不真正清楚这些技术会带来什么。如果像门把手这样简单的东西都会产生有害的结果，那么声称能像人一样思考的机器或者需要通过不断增加电力来维持的不可变记录又会如何呢？

在某些领域有了新突破的新兴技术、由具有相似目标的不同技术发展而来的融合技术以及取代了早期技术的颠覆性技术，促使生态系统不断壮大，也带来了更大的不确定性³⁷。

因此，随着社会的发展和对 IT 依赖程度的增加，预计会出现更多有害的结果。人类应对有害的结果可能增加的一个办法是，通过现有的各种渠道，例如通过数字媒体以及政府的市政和区域渠道，去强调各种问题。如若不然，最终代价可能会超出人类社会解决问题的能力。

尾注

¹ Pines, D.; “Emergence: A Unifying Theme for 21^st Century Science,” Santa Fe Institute, 31 October 2014, https://medium.com/sfi-30-foundations-frontiers/emergence-a-unifying-theme-for-21st-century-science-4324ac0f951e
² Burmaoglu, S.; O. Sartenaer; A. Porter; “Conceptual Definition of Technology Emergence: A Long Journey From Philosophy of Science to Science Policy,” Technology in Society, vol. 59, November 2019, https://www.sciencedirect.com/science/article/abs/pii/S0160791X1930003X
³ Sullivan, T.; “Embracing Complexity,” Harvard Business Review, September 2011, https://hbr.org/2011/09/embracing-complexity
⁴ TechTarget, “System,” https://www.techtarget.com/searchwindowsserver/definition/system
⁵ New England Complex Systems Institute, “Concepts: Complexity,” https://necsi.edu/complexity
⁶ Adcock, R.; et al.; “Emergence,” Systems Engineering Body of Knowledge, https://www.sebokwiki.org/wiki/emergence
⁷ Colin, M.; et al.; “Copper Alloy Touch Surfaces in Healthcare Facilities: An Effective Solution to Prevent Bacterial Spreading,” National Library of Medicine, December 2018, https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6317222/
⁸ Kopetz, H. et al.; “Emergence in Cyber-Physical Systems-of-Systems (CPSoSs),” Cyber-Physical Systems-of-Systems (CPSoSs), 18 December 2016, https://link.springer.com/chapter/10.1007/978-3-319-47590-5_3#rightslink
⁹ Op cit Adcock et al.
¹⁰ Op cit Sullivan
¹¹ Op cit Burmaoglu et al.
¹² Cucker, F.; S. Smale; “The Mathematics of Emergence,” The University of Utah, Salt Lake City, Utah, USA, 17 October 2006, http://www.cs.utah.edu/~tch/CS5300/resources/refs/Cucker2006.pdf
¹³ Tsitsiklis, J.; “Problems in Decentralized Decision Making and Computation,” Massachusetts Institute of Technology, Cambridge, Massachusetts, USA, November 1984, https://www.mit.edu/~jnt/Papers/PhD-84-jnt.pdf
¹⁴ World Population Review, “Energy Consumption by Country 2022,” https://worldpopulationreview.com/country-rankings/carbon-footprint-by-country
¹⁵ Digiconomist; “Bitcoin Energy Consumption Index,” https://digiconomist.net/bitcoin-energy-consumption
¹⁶ Op cit World Population Review
¹⁷ Digiconomist; “Ethereum Energy Consumption Index,” https://digiconomist.net/ethereum-energy-consumption
¹⁸ 同上。
¹⁹ Johnson, J.; “Negative Effects of Technology: What to Know,” Medical News Today, 25 February 2020, https://www.medicalnewstoday.com/articles/negative-effects-of-technology
²⁰ Anderson, J.; L. Rainie; “Concerns About the Future of People’s Well-Being,” Pew Research Center, 17 April 2018, https://www.pewresearch.org/internet/2018/04/17/concerns-about-the-future-of-peoples-well-being/
²¹ Mayo Clinic; “Tween and Teen Health,” https://www.mayoclinic.org/healthy-lifestyle/tween-and-teen-health/in-depth/teens-and-social-media-use/art-20474437
²² Op cit Anderson and Rainie
²³ Crawford, A.; B. Bell; “Molly Russell Inquest: Father Makes Social Media Plea,” BBC News, 30 September 2022, https://www-bbc-co-uk.cdn.ampproject.org/c/s/www.bbc.co.uk/news/uk-england-london-63073489.amp
²⁴ 同上。
²⁵ Clery, D.; “Starlink Already Threatens Optical Astronomy. Now, Radio Astronomers Are Worried,” Science, 9 October 2020, https://www.science.org/content/article/starlink-already-threatens-optical-astronomy-now-radio-astronomers-are-worried
²⁶ Lin, P.; “Here’s How Tesla Solves a Self-Driving Crash Dilemma,” Forbes, 5 April 2017, https://www.forbes.com/sites/patricklin/2017/04/05/heres-how-tesla-solves-a-self-driving-crash-dilemma/
²⁷ Skibba, R; “The FAA Weighs the SpaceX Launch Site’s Environmental Effects,” Wired, 19 October 2021, https://www.wired.com/story/the-faa-weighs-the-spacex-launch-sites-environmental-effects/
²⁸ Smith, P.; J. Davidson; “How the Optus Breach Will Change Corporate Australia Forever,” Financial Review, 30 September 2022, https://www.afr.com/technology/how-the-optus-breach-will-change-corporate-australia-forever-20220929-p5bm1p
²⁹ 同上。
³⁰ 同上。
³¹ Taylor, C.; “GDPR at Risk of Failing Due to Underfunding of Regulators, Study Finds,” The Irish Times, 27 April 2020, https://www.irishtimes.com/business/technology/gdpr-at-risk-of-failing-due-to-underfunding-of-regulators-study-finds-1.4238927
³² Salvino, M.; “Analysis: How Will the FTC Get Its Privacy Mojo Back in 2022?”, Bloomberg Law, 1 November 2021, https://news.bloomberglaw.com/bloomberg-law-analysis/analysis-how-will-the-ftc-get-its-privacy-mojo-back-in-2022
³³ 同上。
³⁴ Healy, T.; “The Unanticipated Consequences of Technology,” Markkula Center for Applied Ethics, Santa Clara University, Santa Clara, California, USA, https://www.scu.edu/ethics/focus-areas/technology-ethics/resources/the-unanticipated-consequences-of-technology/
³⁵ Watson, M.; “Systems Engineering Principles,” Guide to the Systems Engineering Body of Knowledge, https://www.sebokwiki.org/wiki/Systems_Engineering_Principles
³⁶ 同上。
³⁷ The Pennsylvania State University, State College, Pennsylvania, USA, “Emerging, Converging, Disruptive Technologies,” https://www.e-education.psu.edu/eme807/node/8

GUY PEARCE | 国际注册企业 IT 治理认证 (CGEIT)、国际注册数据隐私安全专家认证 (CDPSE)

拥有计算机科学和商业方面的学术背景，曾任职于战略领导力、IT 治理和企业治理职能部门。自 1999 年以来，他一直积极参与数字化转型，专注于将新兴技术涉及的人员和流程整合到组织中，确保组织有效采用新兴技术。 Pearce 对数据及数据学科保持着浓厚的兴趣，这种兴趣加速了多年前他成立的高中数据初创公司。由于在 IT 治理领域的杰出贡献，他获得了 2019 年 ISACA^® Michael Cangemi 最佳书籍/作者奖。他提供数字化转型、数据和 IT 领域的咨询服务。