• 首页
  • 产业新知
  • 岗位知识
  • 数据报告
  • 职场
  • 企服商城
  • 课程
  • 活动
Ok-Power 会员▪移动端 开通新知号
新知一下
海量新知
2 3 6 4 1 6 4 4

【Brain】大脑为何如此耗能?比较计算与通信的代谢能效

墨玫人工智能 | AI、生物、宇宙、大脑 2021/10/02 08:38

墨玫人工智能, 【Brain】大脑为何如此耗能?比较计算与通信的代谢能效

墨玫人工智能, 【Brain】大脑为何如此耗能?比较计算与通信的代谢能效



导语


为什么人脑仅占2%的体重,却消耗了人体20%的能量?人脑与计算机之间谁的能耗更高?大脑的代谢模式怎样启发计算机与人工智能设计?最近的研究发现,大脑在处理计算与通信两种任务时,代谢模式不同,且大脑通信的代谢成本远高于计算。大脑能耗研究也为下一代高性能低功耗计算机的研发提供了启示。


研究领域:大脑能量消耗,最优计算,神经计算,信息处理

墨玫人工智能, 【Brain】大脑为何如此耗能?比较计算与通信的代谢能效

Vijay Balasubramanian  | 作者

张澳  | 翻译

梁金  | 审校

邓一雪  | 编辑




1. 大脑能量消耗之谜




人脑仅占体重的 2%,却占人体代谢负荷的 20% [1-3],单位质量的代谢成本是肌肉的10倍。另一方面,大脑能在大约 20 W 的能量预算下创作诗歌、艺术以及设计航天器——考虑到用来写作这篇文章的计算机就需要 80 W 的能耗,大脑的能耗简直微不足道。
大脑中何处消耗能量,能量被用来做什么?为什么大脑的代谢成本相对于其它生命活动如此高昂?大脑又是如何实现远高于硅基产品的能量效率?
许多经典论文都研究过这些问题。Attwell 和 Laughlin [4] 进行了详细的生物物理估计,表明神经信号传导和神经递质释放的突触后效应合起来占大脑三磷酸腺苷 (ATP,生物体最直接的能量来源) 消耗的 80%,这一结论也得到了神经生理学和解剖学的支持 [5, 6]。
许多研究探讨了这种能量消耗的结构及功能后果,包括限制大脑尺寸和缩放规律 (size and scaling) 、有效连线模式、模拟 (分级电位) 与数字 (尖峰) 信号、分布式神经代码、沿神经束的信息流量分布及其规模分布,还有计算异质性和效率等[8-17]。Sterling 和 Laughlin [18] 对这些想法进行综合,得出一系列大脑的设计原则。Levy 和 Calvert [19] 提出了哺乳动物大脑功率预算的功能解释, 表明通信的代谢成本比计算高得多 ,并探索了神经回路组织的功能后果。



2. 大脑中的通信和计算




Levy 和 Calvert [19] 以早期文献为基础,主要关注人脑中不同信息处理模式的相对能耗,而不是细胞层面不同功能的能耗。它们对通信和计算做出了关键的区分: “通信”一般是指信息点到点的传输(可能以某种方式编码),不包括表征转换、特征提取或决策的映射 。大脑中通信的一个例子是视觉信息沿视神经从眼睛到中央大脑的传输,这个过程中视觉信息保持不变。 “计算”是一个更微妙的概念,通常从输入-输出转换的角度来理解。
Levy 和 Calvert 在先前工作的基础上,将每个神经元视为对自身输入中的潜在变量进行“ 微观估计或预测 ”,并在脉冲间隔内 (神经元两次传输信号的动作电位之间) 对输出进行编码。微观估计和预测是极其一般化的框架,能够包含神经计算的其他观点 (如将神经元视为动力系统或逻辑门) ,并且还包含了单个神经元在神经网络中的计算功能。同样,脉冲间隔中信息编码的形式也包含多种可能性,如速率编码和模式编码。因此,大脑中神经元“计算”的一个例子可以是 V1 区 (见图1) 中的一个细胞对视神经输入信号的估计或预测,并将其编码为视觉上某个物体 (如一条水平线) 的存在。
墨玫人工智能, 【Brain】大脑为何如此耗能?比较计算与通信的代谢能效

图1.初级视觉皮层(V1),位于大脑内侧枕叶的距状沟中(后脑勺左右侧)。V1是皮层中的“第一个”视觉处理区域, LGN(外侧膝状体核,位于丘脑,接受视网膜大部分视觉信息输入)将大部分轴突信号发送至V1皮层。

从这个角度出发,作者对比了计算中涉及的单位脉冲间隔的兴奋性电流中恢复离子梯度的 ATP 成本,以及通信中涉及的诸如轴突静息电位、动作电位和囊泡回收等成本,最终得出结论: 通信相关的生物物理过程消耗的能量是计算相关过程的 35 倍 (生物相关单位以每秒消耗 ATP 分子计,物理单位以每秒消耗焦耳计) [19]。
通信与计算能耗的巨大差异为参考文献 [4] 中隐含的发现正名,其作者表明神经信号传导和神经递质释放的突触后效应支配着大脑的功耗。来自参考文献 [15] 的另一条证据表明,神经元中的线粒体分布会追踪放电率和突触传递,因此轴突的粗细很可能取决于突触终端的能耗需求,它占哺乳动物大脑能耗的 65% [20]。
在先前建立的框架中,文献[4]与[15]中描述的高能耗过程都是通信过程,不包括文献[19]中的计算过程。有趣的是,Levy 和 Calvert 还估计,27% 的皮层能量支出是用于与突触发生相关的过程,例如通过肌动蛋白聚合、膜合成和掺入,以及相关的细胞内运输的生长。这进一步细化了先前的能量预算,表明大脑将四分之一以上的能量用于促进持续学习,这与我们对大脑的印象相一致。
墨玫人工智能, 【Brain】大脑为何如此耗能?比较计算与通信的代谢能效

图2.一个典型的神经元由胞体(cell body),树突(dendrite)和轴突(axon)组成,轴突的最远端是突触(synapse),神经元可以通过突触将信号传输到另一个细胞。



3. 大脑耗能对计算机设计的启发




在物理层面,Levy 和 Calvert 计算出皮层灰质消耗了大约 3 W 的功率,而根据大脑葡萄糖摄取量,估计大脑功率消耗为 17~20 W [1 , 2],其中 10% 在正常情况下未被使用,大约 9W 以热量形式耗散,剩余能量为大脑其余部分供能。
对皮层灰质 3 W 的功耗估计与 Lennie [21] 早期工作的结果一致。但 Lennie 使用 20 年前可用的数据,发现大脑能量预算的划分略有不同——大脑50%的功耗用于与神经电信号活动 (即计算和通信) 无关的过程。该结论与当前研究的差异部分来自于生物物理数据,包括对突触数量及其接通率 (success rate) 的估计。新的估计还表明,灰质中每个神经元的能耗大约为 2×10 -9 W,这与 Herculano-Houzel的工作一致[22] 。
Levy 和 Calvert 根据噪声神经积分器输入和输出之间的互信息,来估计大脑每焦耳能耗所计算的信息比特数。在这个定义下,他们发现神经元每比特的计算能耗是 Landauer 理想热力学极限*[23] 的 10 8 倍。他们认为这一巨大差异源于通信成本 (Landauer 忽略了这一点) 和生物需要快速响应行为的计算需求。通信成本和快速计算需求这两个约束无疑是相关的,研究人员希望在未来仔细检验关于计算的定义,以及由活细胞计算施加的生物物理约束。

*译注: Landauer 原理表明,擦除1比特信息在理论上至少要产生k B Tln2 的能量耗散,这被称为Landauer极限。


在 Levy 和 Calvert 的分析中,能量预算和每焦耳能耗所计算的比特数都取决于一个参数:皮质锥体神经元的平均输入突触数乘以它们的接通率。他们发现,当这个参数大约为 2000 时,每焦耳能耗所计算的比特数估值将最大化,接近于他们从数据中得出的值。这个有趣的结果让人想起之前使用能源效率来理解神经放电应该如何组织的研究 [11, 13],以及信息应该如何在大脑中的细胞和结构之间进行分配的研究 [14, 17]。这项新工作为更精细地分析大脑中的回路结构以及大脑如何划分计算任务打开了大门。
墨玫人工智能, 【Brain】大脑为何如此耗能?比较计算与通信的代谢能效

图3. 大脑中的计算分布在网络中通信的特定组件之间。绿色圆圈表示皮质区域网络,每个区域执行不同的功能。橙色三角形表示锥体细胞网络,它们通过协作计算单个皮质区域的功能。Levy 和 Calvert 认为基本单元的计算成本相比于它们之间的通信成本而言微不足道。

Levy 和 Calvert 的结果与在持续计算和通信方面解释区域脑代谢的功能性磁共振成像 (fMRI) 测量值是相关的。新数据也适用于对大脑演化的研究,如针对大脑代谢成本高昂 [7] 及代谢生理上限制大脑结构 [8, 22]  的研究。
Levy 的研究结果也会引发工程师对设计下一代低功耗智能计算设备的兴趣。研究指出由大脑灰质完成的计算和通信仅需3W的功率,即使加上用于保温的9W功率,这一功耗也比典型的笔记本电脑低出近一个数量级。
先前的工作表明,信息处理速率和能耗间存在的收益递减规律将推动计算机向异构架构发展, 在这种架构中,整体功能在各尺度上通过大量特定单元间的协作涌现,每个特定单元以物理基质决定的最高效率处理信息 [17]。Levy 和 Calvert 的论文表明,这种向异构架构的转变必须平衡好不同组件之间的网络学习成本和通信成本,因为尽管每个单元的计算成本相对较低,但单元间的通信成本将是高昂的。

参考文献


[1] L. Sokoloff, “The metabolism of the central nervous system in vivo” in Neurophysiology, J. Field, H. W. Magoun, V. E. Hall, Eds. (Handbook of Physiology, American Physiological Society, 1960), sec. 1, vol. 3, pp. 1843–1864.
[2] B. K. Siesjö, Brain Energy Metabolism (John Wiley, 1978).
[3] D. F. Rolfe, G. C. Brown, Cellular energy utilization and molecular origin of standard metabolic rate in mammals. Physiol. Rev. 77, 731–758 (1997).
[4] D. Attwell, S. B. Laughlin, An energy budget for signaling in the grey matter of the brain. J. Cerebr. Blood Flow Metab. 21, 1133–1145 (2001).
[5] A. Ames 3rd, CNS energy metabolism as related to function. Brain Res. Brain Res. Rev. 34, 4 2–68 (2000).
[6] V. Braitenberg, A. Schüz, Anatomy of the Cortex: Statistics and Geometry (Springer Science & Business Media, 2013), vol. 18
[7] L. C. Aiello, P. Wheeler, The expensive-tissue hypothesis: The brain and the digestive system in human and primate evolution. Curr. Anthropol. 36, 199–221 (1995).
[8] K. Fonseca-Azevedo, S. Herculano-Houzel, Metabolic constraint imposes tradeoff between body size and number of brain neurons in human evolution. Proc. Natl. Acad. Sci. U.S.A. 109, 18571–18576 (2012).
[9] D. B. Chklovskii, A. A. Koulakov, Maps in the brain: What can we learn from them? Annu. Rev. Neurosci. 27, 3 6 9–392 (2004).
[10] R. Sarpeshkar, Analog versus digital: Extrapolating from electronics to neurobiology. Neural Comput. 10, 1601–1638 (1998).
[11] W. B. Levy, R. A. Baxter, Energy efficient neural codes. Neural Comput. 8, 531–543 (1996).
[12] B. T. Vincent, R. J. Baddeley, T. Troscianko, I. D. Gilchrist, Is the early visual system optimised to be energy efficient? Network 16, 1 7 5–190 (2005).
[13] V. Balasubramanian, D. Kimber, M. J. Berry, 2nd, Metabolically efficient information processing. Neural Comput. 13, 7 9 9–815 (2001).
[14] K. Koch et al., How much the eye tells the brain. Curr. Biol. 16, 1428–1434 (2006).
[15] J. A. Perge, J. E. Niven, E. Mugnaini, V. Balasubramanian, P. Sterling, Why do axons differ in caliber? J. Neurosci. 32, 626–638 (2012).
[16] V. Balasubramanian, P. Sterling, Receptive fields and functional architecture in the retina. J. Physiol. 587, 2753–2767 (2009).
[17] V. Balasubramanian, Heterogeneity and efficiency in the brain. Proc. IEEE 103, 1346–1358 (2015).
[18] P. Sterling, S. Laughlin, Principles of Neural Design (MIT Press, 2015).
[19] W. B. Levy, V. G. Calvert, Communication consumes 35 times more energy than computation in the human cortex, but both costs are needed to predict synapse number. Proc. Natl. Acad. Sci. U.S.A. 118, e2008173118 (2021).
[20] B. Sengupta, M. Stemmler, S. B. Laughlin, J. E. Niven, Action potential energy efficiency varies among neuron types in vertebrates and invertebrates. PLOS Comput. Biol. 6, e1000840 (2010).
[21] P. Lennie, The cost of cortical computation. Curr. Biol. 13, 49 3–497 (2003).
[22] S. Herculano-Houzel, Scaling of brain metabolism with a fixed energy budget per neuron: Implications for neuronal activity, plasticity and evolution. PLoS One 6, e17514 (2011).
[23] R. Landauer, Irreversibility and heat generation in the computing process. IBM J. Res. Dev. 5, 1 8 3–191 (1961).


(参考文献可 上下滑动 查看)


原文:
https://www.pnas.org/content/118/32/e2107022118

荐:

【中国风动漫】《姜子牙》刷屏背后,藏着中国动画100年内幕

【中国风动漫】除了《哪吒》,这些良心国产动画也应该被更多人知道!

【中国风动漫】《雾山五行》大火,却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折!

墨玫人工智能, 【Brain】大脑为何如此耗能?比较计算与通信的代谢能效

声明

免责声明:部分文章和信息来源于互联网,不代表本订阅号赞同其观点和对其真实性负责。如转载内容涉及版权等问题,请立即与小编联系(微信号:913572853),我们将迅速采取适当的措施。本订阅号原创内容,转载需授权,并注明作者和出处。 如需投稿请与小助理联系(微信号:AI480908961)

编辑:Zero

墨玫人工智能, 【Brain】大脑为何如此耗能?比较计算与通信的代谢能效


前沿交流社区期待您的加入!


公众号后台回复“入群”即可获取进群通道。


【类脑智能交流论坛】
定位:【纯净】【免费】【行业趋势讨论】【类脑智能讨论】【前沿资讯分享】

【大脑意识交流论坛】
定位:【纯净】【免费】【行业趋势讨论】【大脑意识交流】【前沿资讯分享】

【宇宙探索交流论坛】
定位:【纯净】【免费】【宇宙咨询】【宇宙探索交流】【前沿资讯分享】

【生物智能交流论坛】
定位:【纯净】【免费】【生物前沿】【生物智能】【前沿资讯分享】

【Brain 脑机接口论坛】
定位:【纯净】【免费】【脑机接口交流】【脑电波信号传输】【前沿资讯分享】

推荐关注↓↓↓

查看全文
  • 墨玫人工智能
  • AI、生物、宇宙、大脑
关注

新知精选

  • 国内首部“微短剧+综艺”出炉,大小屏联动会是大势所趋吗?
  • 作者| 李寻欢微短剧这把火已经烧了好几年,但仍然很旺,且大有
娱乐独角兽
影视 文娱传媒
  • 多地严打药品网售,已关闭网点4000多家
  • 保持对法律的敬畏,既要规范自身的经营行为,也要引导消费者从正
OTC销售培训鄢圣安
医疗健康
  • 花67亿美元继续买,全球第三大锂巨头可能是它
  • 本文来源:汽车商业评论(ID:autobizreview)6
智车科技
电池 制造业
  • 淘天今年的双十一,打法全变了
  • 点击上方“销售与市场”关注,并设为⭐,第一时间收到我们的消息
销售与市场杂志社
电商 商贸零售
  • 2024年中国AI内容创作类应用生态研究报告
  • 来源 | 易观分析报告探讨了AI技术在内容创作中的应用现状、发展历程、生态格局及未来趋势。报告指出,AI技术在大模型、自
参一江湖
人工智能
  • 沙特女孩,大步迈向健身房
  • 作者 | 张楠茜编辑 | 刘景丰今年7月底,巴黎奥运会女子200米自由泳预赛中,17岁的沙特游泳运动员马沙尔·阿耶德创下
霞光社
国际
  • 「三条主线」,理解面板行业新趋势
  • 周期平缓、格局优化、增量凸显。
深响
3C电子 制造业
  • 国外,在等待中国酒店
  • 当出海遇到风浪,本土酒店品牌的下一步该何去何从?
迈点网
酒店住宿 生活服务
  • 颠覆与清晰!透过新营养标签的注明,看食品行业内未来走向
  • 伴随着肥胖、慢性病等年龄的提前,健康饮食的重要性被提上新高度,营养标签作为食品营养成分的说明也越来越清晰化。一些国家根据
食安时代
食品饮料 制造业
  • 什么样的产品才能叫战略大单品
  • 中国企业之痛:“有产品,没有大单品”。在市场上,不做战略大单
欧赛斯何支涛
产品 职能岗位
更多新知精选
  • 墨玫人工智能
  • AI、生物、宇宙、大脑
关注 私信

推荐阅读

管理者是通过别人的结果拿自己的结果 心智管理世界

战略管理培训讲义PDF(126页) 侠说

走向管理岗,一定要狠练老大气质 领导者管理笔记

商业财经▪2023年度十佳创作者

Vista氢商业

伯虎财经

张书乐

游走在IT和游戏领域的呓语者

零态LT

犀利、客观、独到的商业洞察

商界

集商经营之道,看商界丰富人生

财经锐眼

专注上市公司,解读资本故事

雷达Finance

扫除雷点,发现价值!

江瀚视野

中国中产的财经观察库

潮汐商业评论

有趣的商业评论和商业洞察。

新摘商业评论

年轻的新商业科技媒体

优选课程 新知学院

3天增粉18W,在线教育裂变增长核心方法实战解析

免费

自媒体从0到1,玩转头条、百家,做更赚钱的自媒体帐户!

49.00 邝美莲|新媒体

加薪升职100讲:林琳笨超级执行力

199.00 林琳笨

玻璃钢生产厂家南宁玻璃钢雕塑价格表松江区玻璃钢雕塑厂山西玻璃钢浮雕室外镂空雕塑厂家平顶山不锈钢水景玻璃钢人物雕塑玻璃钢雕塑样式时髦内销玻璃钢动漫雕塑厂玻璃钢发光雕塑灯带陕西人物玻璃钢雕塑市场福州水果玻璃钢雕塑生产厂家河源玻璃钢透光雕塑批发吉安商场美陈雕塑厂家火的玻璃钢雕塑苏州商场美陈销售公司东丽玻璃钢雕塑工程衡水人物玻璃钢雕塑案发现场玻璃钢雕塑贵州省玻璃钢雕塑哪家强北京玻璃钢雕塑性价比高春节商场美陈预算山东济宁玻璃钢雕塑池州玻璃钢雕塑销售厂家马鞍山卡通玻璃钢雕塑定制楚雄玻璃钢卡通座椅雕塑玻璃钢麋鹿雕塑湖南玻璃钢动漫雕塑玻璃钢雕塑的着色方法家用玻璃钢花盆研发公司枝江玻璃钢牌匾雕塑玻璃钢鹿雕塑厦门大连火烈鸟玻璃钢雕塑生产厂家香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人?张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身!外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫:哈马斯三号人物被杀测试车高速逃费 小米:已补缴老人退休金被冒领16年 金额超20万

玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化