当前位置首页 >> 八卦中心 >> 正文

带你区分几种并行

更新时间: 2025-07-20 14:05:02

阅读人数: 58

本文主题: 异能分为

是两种基本的并行计算机存储方式 除此之外也是一种越来越重要的并行计算机存储方式。

根据指令的同时执行和数据的同时执行,计算机系统可以分成以下四类:

单处理器单数据就是“单CPU的机器”,它在单一的数据流上执行指令。在SISD中,指令被顺序地执行。

对于每一个“CPU时钟”,CPU按照下面的顺序执行:

这种架构(冯·诺依曼体系)的主要元素有以下:

传统的单处理器计算机都是经典的SISD系统。下图表述了CPU在Fetch、Decode、Execute的步骤中分别用到了哪些单元:

这种模型中,有n个处理器,每一个都有自己的控制单元,共享同一个内存单元。在每一个CPU时钟中,从内存获得的数据会被所有的处理器同时处理,每一个处理器按照自己的控制单元发送的指令处理。在这种情况下,并行实际上是指令层面的并行,多个指令在相同的数据上操作。能够合理利用这种架构的问题模型比较特殊,例如数据加密等。因此,MISD在现实中并没有很多用武之地,更多的是作为一个抽象模型的存在。

SIMD计算机包括多个独立的处理器,每一个都有自己的局部内存,可以用来存储数据。所有的处理器都在单一指令流下工作;具体说,就是有n个数据流,每个处理器处理一个。所有的处理器同时处理每一步,在不同的数据上执行相同的指令。

很多问题都可以用SIMD计算机的架构来解决。这种架构另一个有趣的特性是,这种架构的算法非常好设计,分析和实现。限制是,只有可以被分解成很多个小问题(小问题之间要独立,可以不分先后顺序被相同的指令执行)的问题才可以用这种架构解决。很多超级计算机就是使用这架构设计出来的。例如Connection Machine(1985年的 Thinking Machine)和MPP(NASA-1983).我们在第六章 GPU Python编程中会接触到高级的现代图形处理器(GPU),这种处理器就是内置了很多个SIMD处理单元,使这种架构在今天应用非常广泛。

在费林分类中,这种计算机是最广泛使用、也是最强大的一个种类。这种架构有n个处理器,n个指令流,n个数据流。每一个处理器都有自己的控制单元和局部内存,让MIMD架构比SIMD架构的计算能力更强。每一个处理器都在独立的控制单元分配的指令流下工作;因此,处理器可以在不同的数据上运行不同的程序,这样可以解决完全不同的子问题甚至是单一的大问题。在MIMD中,架构是通过线程或进程层面的并行来实现的,这也意味着处理器一般是异步工作的。这种类型的计算机通常用来解决那些没有统一结构、无法用SIMD来解决的问题。如今,很多计算机都应用了这中间架构,例如超级计算机,计算机网络等。然而,有一个问题不得不考虑:异步的算法非常难设计、分析和实现。

计算机系统是由一个或多个物理处理器和内存组成,运行的程序会将内存分为两个部分,一部分是共享变量使用的存储区域, 另一部分供各线程的私有变量使用的存储区域。是将线程绑定在固定的处理器上, 从而在线程与处理器之间建立一对一的映射关系。如果不进行线程绑定,线程可能在不同的时间片运行在不同的处理器上。我们知道,每个处理器是有自己的多级缓存的,如果线程切来切去,那么cache命中率肯定不高,程序性能也会受到影响。通过线程绑定,程序能够获得更高的cache利用率从而提高程序性能。c++中如何进行线程绑定可以参考https://www.cnblogs.com/wenqiang/p/6049978.html

理论上来说,n个相同的cpu理论上能提供n倍的计算能力。

但是在实际过程中,并行开销会导致总的执行时间无法线性地减少。这些开销分别为:

加速比的定义是顺序程序执行时间除以计算同一结果的并行程序的执行时间

​为一颗CPU程序完成该任务所需串行执行时间;t_p​为n颗CPU并行执行完成该任务所需时间。由于串行执行时间t_s​为n颗CPU并行执行完成该 和并行执行时间t_p​有多种定义方式。 这样就产生了五种不同的加速比的定义,即相对加速比、实际加速比、绝对加速比、渐近实际加速比和渐近相对加速比。

在实际应用中,影响并行加速比的因素主要是三方面。一般情况下, 并行加速比小于CPU的数量。但是,有时会出现一种奇怪的现象,即并行程序能以串行程序快n倍的速度运行,称为超线性加速比。产生超线性加速的原因在于CPU访问的数据都驻留在各自的高速缓存Cache中, 而高速缓存的容量比内存要小, 但读写速度却远高于内存。衡量并行算法的另一个主要标准是并行效率,它表示的是多颗CPU在进行并行计算时单颗CPU的平均加速比。

​理想并行效率为1表明全部CPU都在满负荷工作。通常情况下,并行效率会小于1, 且随CPU数量的增加而减小。

伸缩性用于度量并行机器高效运行的能力,代表跟处理器数量成比例的计算能力 (执行速度)。如果问题的规模和处理器的数量同时增加,性能不会下降。

阿姆德尔定律广泛使用于处理器设计和并行算法设计。它指出程序能达到的最大加速比被程序的串行部分限制。$S=1/(1-p) $中 1-p1− 指程序的串行部分。它的意思是,例如一个程序90%的代码都是并行的,但仍存在10%的串行代码,那么系统中即使由无限个处理器能达到的最大加速比仍为9。

古斯塔夫森定律在考虑下面的情况之后得出的:

古斯塔夫森定律指出了加速比S(P)=P-lpha (P-1) 为处理器的数量, S 为加速比,lpha 是并行处理器中的非并行的部分。作为对比,阿姆德尔定律将单个处理器的执行时间作为定量跟并行执行时间相比。因此阿姆德尔定律是基于固定的问题规模提出的,它假设程序的整体工作量不会随着机器规模 (也就是处理器数量) 而改变。古斯塔夫森定律补充了阿姆德尔定律没有考虑解决问题所需的资源总量的不足。古斯塔夫森定律解决了这个问题, 它表明设定并行解决方案所允许耗费的时间的最佳方式是考虑所有的计算资源和基于这类信息。

带你区分几种并行

「科普」细数人工智能等级划分的几种方式

AI等级分级标准可以根据不同的角度和领域有不同的划分方式。以下是一些常见的AI等级分级标准:

根据由清华大学计算机教授黄民烈发起并联合多家科研机构和知名学者共同制定的全球首个《AI对话系统分级定义》,AI对话系统被划分为从L0到L5的六个等级,每个等级代表了AI对话系统在不同方面的能力,包括自动对话能力、对话质量、场景适应性、上下文理解与切换能力、拟人化程度、学习能力和多模态感知与表达能力等:

:基本的响应能力,没有上下文理解或记忆能力。

:能够进行简单的问答,但缺乏深入的对话能力。

:具有较为复杂的问答能力,可以处理一些上下文信息。

:在L2的基础上,能够进行更自然的对话,并具备一定的上下文理解能力,但对话可能仍然受限于特定场景或任务。

:在L3的基础上,AI对话系统能够在新场景中进行高质量的对话,并且在多轮交互中展现出较高程度的拟人化,包括人设、人格、情感和观点的一致性。

:代表了AI对话系统的最高水平,具备高度的自主性、创造性和多模态交互能力,能够在复杂和开放的场景中进行流畅、自然的对话。

华为在《AI终端白皮书》中提出的AI终端智能化分级标准,借鉴了汽车驾驶自动化的分级方式,将AI终端的能力分为L1至L5五个等级,每个等级代表了AI在终端设备中参与任务的不同程度和能力:

L1 - 功能级(Functional Level):AI在这一级别主要提供辅助功能,如简单的语音识别和命令执行。AI可以完成特定的任务,如设置提醒、搜索信息等,但通常需要用户明确指示。

L2 - 辅助级(Assistive Level):在这一级别,AI能够更深入地参与任务,提供更多的帮助和支持。然而,具体的分级细节可能因不同标准而有所差异。

L3 - 协作级(Collaborative Level):AI能够理解用户意图并主动提供帮助,与用户进行更深层次的交互,如自动推荐内容或服务。在这一级别,AI不仅能够执行任务,还能提供决策支持,如根据用户习惯和偏好给出建议。

L4 - 自主级(Autonomous Level):AI在最高级别具备高度自主性,能够理解复杂情境,进行复杂的决策,并在多任务环境中自我学习和优化。然而,具体是否包括L4级别以及L4级别的具体描述可能因不同标准而异。

(注:此级别在华为AI终端智能化分级标准中可能未明确提及,但根据其他标准可理解为最高水平):代表了AI技术的巅峰状态,具备高度的智能化和自主性,能够在各种复杂和开放的场景中实现流畅、自然的交互和决策。

三、AI机器学习自动化的分级标准

在人工智能与机器学习自动化的进程中,也可以将自动化程度分为四个等级:

:纯人工操作,不涉及任何自动化。

:影子模式,AI与手动操作并行,不参与决策,而是收集数据和评估性能。

:AI辅助决策,虽然最终决策仍由人类做出,但AI系统能够提供帮助和简化决策过程。

:部分自动化,AI系统和人类共同负责决策,AI处理相对简单的案例,人类处理更复杂的情况。

四、基于人类能力对比的AI等级划分

国际著名的人工智能专家Sandeep Rajani教授在《人工智能:人或机器》一文中,将人工智能的水平和人类能力进行横向对比,划分成四个不同的等级:

:已经实现了无法超越的最优能力。

这种划分方式提供了一种直观理解AI能力与人类能力之间关系的视角。

综上所述,AI等级分级标准因角度和领域不同而有所差异。在实际应用中,可以根据具体需求和场景选择合适的分级标准来评估AI系统的能力和性能。

教育知识与能力

在教师资格考试中,心理学都一直是一个重点和难点。因此今天就带着大家一起学习认知过程部分——注意的内容。在这里,也需给大家提个醒,虽然注意这部分内容编撰在认知过程这章当中,但注意仍然是一种伴随状态,并非独立的心理过程哦。

注意是什么?我们平常在生活中经常会提到这个词,例如注意听、注意看、注意思考等等,注意往往是指将我们的心理指向某一个方面并保持一种集中的状态,因此在心理学的定义中,我们认为注意就是心理活动或意识对一定对象的指向和集中。那么我们所说的注意都是由同一种事物引起的同种状态吗?并不是,我们根据有无目的和意志努力的程度,可以将注意分为:无意注意、有意注意、有意后注意。

无意注意,也称不随意注意,是没有预定目的、无需意志努力、不由自主地对一定事物所发生的注意。无意注意是注意的初级形式,不仅人类有,动物也有。例如小狗在过马路时,如果听到汽车的鸣笛声也会不自觉地看向周围,并停止继续行走,此时鸣笛声引起小狗的这种注意,就是一种没有目的、不需要克服困难、自然而然产生的无意注意。那么什么样的事物更能引起我们的无意注意呢?一般来说刺激物越新异、强度越大、具有运动变化、刺激物与背景的差异越大,越能引起人们的无意注意。例如在烈日炎炎的夏日,当所有人都身着短袖,此时出现了一位穿着羽绒服的民众,就更容易引起周围人的关注,这就体现刺激物的新异性以及与背景差异之间过大而引起的无意注意。又或者在安静的考场,突然传来一声巨响,也容易吸引考生注意,这是由于强度过大而引起的无意注意。当然除了刺激物本身的原因以外,人的主观条件即人本身的状态。包括人对事物的需要和兴趣,情感态度,情绪状态和精神状态,个人的心境、主观期待,也会引起不同的无意注意。

有意注意,也称随意注意,是有预先目的,必要时需要意志努力的注意。如我们在自学教育学、心理学内容时,往往很困很饿很痛苦,但仍然会克服这些困难为了达到最终的目的,此时我们对于学习的注意就属于有意注意。一般来说,目的性越强、意志力越坚定、越能抵抗干扰的人有意注意状态也更强,更能保持集中、长时间的注意。此外,对于事物的间接兴趣也容易引发个体的有意注意,例如孩子为了得到奖励而学习、成人为了得到薪酬而工作,都是由于对活动最终结果的兴趣促使其不得不集中注意。

有意后注意,也称随意后注意,它是有着自觉目的,但无需意志努力地注意。有意后注意是在有意注意的基础上,经过学习、训练或培养个人对事物的直接兴趣达到的,在有意注意之后产生的。它是一种更为高级的注意。如我们在自学心理学的过程中,由原来枯燥乏味的学习状态转向发现心理学的奥秘之处,从而主动探索其深义的过程就是一种由有意注意转向有意后注意的状态。有意后注意既服从于当前的活动目的与任务,又能节省意志的努力,因而对完成长期、持续的任务特别有利,因此应着重培养学生对学习的有意后注意。要想培养出良好的有意后注意:第一,培养有意后注意的关键在于发展对活动的直接兴趣;第二,要做到熟练和系统化。

注意现象伴随在个体生存发展的方方面面,善于利用注意才可以使学习、工作效率愈高。

声明:本站点发布的来源标注为“中公教育”的文章,版权均属中公教育所有,未经允许不得转载。

免责声明:本站所提供试题均来源于网友提供或网络搜集,由本站编辑整理,仅供个人研究、交流学习使用,不涉及商业盈利目的。如涉及版权问题,请联系本站管理员予以更改或删除。

黑米吧

欢迎來到黑米吧指南,我们致力于提供全方位的日常生活健康知识,涵盖了各方面的科学知识,是值得信赖的社区。