用变压器分开方式？ Sakana AI建议建筑“继续思考

用变压器分开方式？ Sakana AI建议建筑“继续思考”，该建筑有望弥合人工神经网络与生物神经网络之间的差距 资料来源：5月12日，当地时间，DeepTech，Sakana AI（从那里称为Sakana），这是Google的前AI科学家Llion Jones的开端，也是“八个儿子”变形金刚之一，已推出了AI模型的新型AI模型架构，称为“正在进行的思维机器”。继续思考机器是一种新型的人工神经网络，它使用神经元动力学之间的同步来解决任务。下面的视频显示了纪念机器对迷宫问题和思考真实图片的不断思考的过程。令人惊讶的是，尽管它不是为此设计的，但是对迷宫问题的常规学习非常容易理解和人道，并且您会发现它在“思考” Soluti时会探索迷宫的道路在。对于真实的图像，环顾四周没有明确的动力，但是它以一种简单的理解方式。 。与传统的人工神经网络不同，正在进行的情报机在神经元水平上使用时间，从而实现了更复杂的神经行为和决策过程。这项创新使该模型逐渐“思考”问题，使推理过程并更接近人们。这项研究表明，该模型提高了解决各种活动中问题和效率的能力。萨卡纳（Sakana）团队认为，连续思维机是人工神经网络和生物神经网络之间绿化差距的重要一步，并可能为AI功能开放新领域。照片|在这项研究中，Sakana团队再次想到了认知核心的重要特征：时间（起源：Sakana AI）在广泛使用的Imagenet-1k-1K基准上，正在进行的思想机器的前1位精度为72.47％，前5位的准确性为72.47％广泛使用的Immenet-1板凳上的精度为89.89％。尽管它仍然是与最先进的变压器模型（例如VIT或Convnext）相比的空间，但它仍然具有竞争力，尤其是考虑到连续的建筑思维本质上是不同的，并且其优化不仅限于性能。采取许多步骤来“思考”如何实现活动是已知的，在某些地方，即使达到最先进的现代AI也很难达到人类大脑，而且人的大脑通常会更好。 Sakana团队一直从自然中寻求灵感，例如使用Evolution将模型融合并为语言模型越来越高。有效的记忆和探索人造生活中的空间。尽管近年来人工神经网络已经取得了重大的AI成就，但它们仍然简化了对生物学大脑的模拟。因此，我们可以通过整合生物学大脑特征来解锁新的AI水平，并具有能力和效率吗？到目前为止，Sakana团队DECID可以重新想象认知核心上的关键特征：时间。尽管自2012年深入研究的出现以来，AI的功能取得了显着的增长，但自1980年代以来，AI模型中使用的人工神经元的基本模型一直相同。人们仍然使用可以代表神经元释放的神经元的单个输出，但忽略了神经元和其他神经元之间的准确时间关系。但是，大量有力的证据表明，定时中的此信息对生物学大脑很重要。例如，在诸如峰值依赖性可塑性之类的机制中，定时信息产生了生物脑功能的基础。 Sakana团队在新模型中采用的实现将使神经元能够访问其自己的行为历史，并学会使用此信息来计算下一时刻的输出，而不仅仅是根据当前状态做出响应。这使神经元可以改变他们的基于过去的各个时间的信息的行为。此外，新模型的主要行为基于这些神经元之间的同步，这意味着他们应该知道在时间安排上使用此信息来完成音乐会任务。 Sakana团队认为，与现有模型相比，它将发展更丰富的动态空间和各种任务解决行为。添加了定时信息后，萨卡纳团队在许多活动中观察到许多不重要的行为。例如，它观察了行为的全部含义：当观察图像时，持续的思维机会将仔细地将其视野转移到现场，有选择地关注目前最受欢迎的功能，并在某些活动中显示出绩效的改进。特别是，团队惊讶于在神经元活动的动态变化中观察到的差异是行为。视频|在连续思维机中显示动态神经元的示例，揭示g它们与不同输入的不同。显然，已经学会了持续的思维机显示不同的神经元行为。对于每个神经元的协同放电（以随机颜色显示）以及其他神经元的现象，Sakana团队称其为同步。通过测量此同步模型，该团队将其用作正在进行的机械机器的主要表示的机理（原点：波盒）。该新模型的行为机制基于基于神经元群体随时间的即将发生的活动的新表示。该小组相信Tothat的原因，尽管这不是严格的生物模拟，但这种机制更接近生物大脑的工作原理。持续的思维机器可以使用新的时间尺寸，丰富的神经元动态，同时信息在给出答案之前“思考”任务和计划。命名中使用了“连续 - 连续”一词，因为引擎的持续思考当推理时，G在内部的“思维大小”中完全运行。处理数据时，这是偶然的：可以以相同的方式理解静态或序列数据（例如图片）。在研究期间，Sakana团队在一系列任务中尝试了新型号，发现它可以解决各种问题，通常可以以一种非常简单的方式完成。团队遵循的动态神经元与Sinusesit更相似，但它似乎与传统的神经网络有所不同，传统的神经网络在行为上的差异较小。连续思维机中的神经元显示出不同频率和振幅的振荡性能。有时，单个神经元显示出不同的频率，而其他神经元仅在执行任务时显示活动。应当指出的是，所有这些实践都彻底而自然地出现了，不是在研究人员的模型中设计的，而是在添加信息和研究中以解决各种任务时的效果。照片| c连续思维机器的神经动力学与当前著名的人工神经网络（起源：ARXIV）任务任务：迷宫求解和分类图片中的对象，由于引入了Newpsoral的大小，正在进行的思维机器的主要优势是，在实时的时间内可以观察到模型求解过程的动态过程，并且可以在实时时间进行研究。传统的AI系统只能通过一个神经网络进行分类，而正在进行的思维机器可以采取许多步骤来“思考”如何完成任务。为了证明正在进行的思想引擎的功能和解释，萨卡纳团队展示了两个活动：迷宫解决方案和图片中对象的分类。萨卡纳团队在迷宫解决方案的工作中解决迷宫，向正在进行的机械发动机展示了二维自上而下的迷宫，并要求正在进行的机器想输出所需的步骤解决迷宫。模型应该理解迷宫结构并计划解决方案的形式的挑战，而不仅仅是输出路径的视觉表示。持续不断思维的“思考步骤”提供了制定计划，并允许人们在视觉上查看迷宫的哪些部分集中在每一个思维步骤上。令人惊讶的是，通过解决迷宫的一种非常人性化的方式来学习了对机器的不断思考。巴卡纳（Bakana）的团队在一份相关论文中说，他们能够通过动态变化的注意力模式来直观地观察迷宫中实时探索路径模型的过程。视频|继续思考机器将通过观察（使用注意力）并直接开发步骤（例如左右转弯等）来解决迷宫问题。它直接使用神经动力同步（即使用同步本身的线性检测）来实现这一目标（资源：浪费）此行为是p令人惊奇的是，它自然源于模型的架构。在设计正在进行的机器思维时，Sakana团队不会为此设计迷宫。路径方法将通过自我研究来自身发展。此外，随着越来越多的思维步骤的允许，即使这一点已经受过训练，持续的思维机会将继续遵循这一道路，这表明它确实学到了解决同一问题的共同方法。 imetenet是对图像分类的图像分类的经典测试，该图像分类触发了2012年的深度革命。传统的图像识别系统可能会在一步之内进行分类的决策，但是持续的思维机器可以在做出决策之前通过许多步骤检查图像的不同部分。这种逐步的方法不仅使AI行为更有意义，而且还提高了准确性：“思考”时间越长，答案就越准确。这允许连续思考的MachinES花更少的时间思考更简单的图像，节能。例如，当识别大猩猩时，发动机不断思维的注意力从眼睛转移到鼻子，然后转移到口腔，这种模式与人类的注意力非常相似。视频|该视频显示了分类图像时连续思维机的示例。热图显示了Makin在处理图像时涉及Makin继续思考的重点区域，并且箭头指向焦点的中心（来源：Wave Cassidy）。这些注意力模式为对模型的理解过程有更深入的了解打开了一个窗口，显示了哪些模型认为与分类最相关的窗口。这种解释不仅对于理解模型决策很重要，而且对于识别和处理偏见或失败模式也很有用。这既是传统深入研究的分离，又是哲学上的转变。尽管现代AI是基于大脑模型的AI研究与神经科学之间的重叠水平现在被称为“人工神经网络”，现在令人惊讶地低。人们总是选择使用1980年代开发的模型，因为它很简单，训练很棒，并且继续成功促进AI开发。另一方面，神经科学创造了更准确的大脑模型，但是帮助人们了解大脑，而不是试图创建更好的智能模型，当然，两者也可以相互促进。尽管有增加的复杂性，但这些神经科学模型通常不如目前最先进的AI模型好，因此可能不值得对它们进行AI开发的进一步研究。但是，萨卡纳（Sakana）团队认为，如果我们不继续推动现代AI在某些方面与大脑更加接近大脑，那将使那些失去机会找到更有能力和更好模型的人。 201在201中的“深度革命”的原因2可以肯定地实现了巨大的功能，因为它是受到大脑启发的神经网络的启发。因此，萨卡纳（Sakana）团队认为，灵感应该继续从大脑中汲取灵感。而且，正在进行的思维机器是Sakana团队第一次试图弥合两个区域之间的差距，并且某些尺寸表明它更靠近大脑，并且在某种程度上显示了它更接近大脑，并且在某些尺寸上表明了它更接近大脑，并且在某种程度上仍然是一种实用的AI，在未来的open.mpas构建中，构建了一个启发性的模型。可能需要时间的系统，通过设计进行合作，并通过经验不断变化。这不仅代表了技术变异性和常规深入研究之间的分离，而且还反映了哲学上的变化，即朝着更基本的基本模型发展。 t因此，Sakana团队将连续的思维机确定为距离智能大脑系统的一步。据报道，巴卡纳自成立以来仅一年后就成为日本发展最快的独角兽公司，并获得了Nvidia和许多日本公司的支持。如前所述，Llion Jones是一位前Google软件工程师，曾在Google工作了十多年。她是拥有著名论文“注意的全部需要”的人之一，它引入了自然语言处理的深入研究模型，“变形金刚”也是大多数AI模型（例如Chatgpt）的主要模型。目前，他是巴卡纳州的首席技术官。照片| Llion Jones（来源：https：//venturecafeglobal.org/speakers/llion-jones/）另一家公司的创始人是David HA，他以前曾与Google Brain合作，并获得了日本东京大学的神经病学博士学位。照片| David Ha（来源：https：//analyticsalga.com/people/david-ha/）任何人还都有一个名为Ren It的联合创始人兼首席运营官。过去，希托（Hito）担任日本第一家独角兽公司Mercari的首席执行官。在进入技术领域之前，他有15年的日本外交官职业。照片| Ren此（来源：https：//www.linkedin.com/company/saka-i/）知道萨卡纳在下午的意思是鱼，因此公司徽标也是鱼。鱼类在日本文化中具有重要的象征意义，例如鲤鱼（もイ）代表坚韧，金鱼（キギェ）代表繁荣。巴卡纳的徽标不仅反映了当地的文化认同，而且还表明它专注于日本。 AI模型的开发适合日语和文化。同时，它还象征着公司的基本技术概念，尤其是模仿自然的集体智慧和进化机制。照片|公司徽标（资料来源：https：//sakana.ai/careers/）公司联合唱片人戴维·哈（David Ha）曾经说过很难接受Everevenue与硅谷形成鲜明对比，并选择在日本开展业务并采用本地文化元素将有助于塑造独特的品牌形象，因此将其与欧美AI公司区分开来。参考文献：互动报告：https：//pub.sakana.ai/ctm/reelated论文：https：//arxiv.org/abs/2505.055522代码：https：//github.com/sakanai/sakanai/continuule-hqunquin-hqure-hqure-hqure-hqure-hqure-hqure-hqure-hqure-machines/chenelong oppetype：