耶鲁、剑桥等开发MindLLM将脑成像直接转换为文本

来源:爱游戏平台

  将功能性磁共振成像 (fMRI) 信号解码为文本一直是神经科学界面临的一项重大挑战,它有望推动脑机接口的发展,并加深对大脑机制的了解。然而,现有的方法往往存在预测性能不佳、任务种类有限以及跨受试者泛化能力比较差等问题。

  此外,研究人员提出了一种新方法——大脑指令调整 (BIT),可增强模型从 fMRI 信号中捕获不同语义表示的能力,从而促进更通用的解码。

  在全面的 fMRI 到文本基准上的评估中, MindLLM 优于基线%,未知主题泛化提高了 16.4%,新任务适应提高了 25.0%。此外,MindLLM 中的注意力模式为其决策过程提供了可解释的见解。

  解码人类大脑活动(fMRI)为文本在神经科学领域引起了广泛关注。这一技术不仅为认知、行为和意识研究提供了新视角,还具备极其重大的社会应用价值。

  例如,它能够在一定程度上帮助语言障碍者恢复沟通能力,使他们可以轻松表达思想;同时,它还能实现健康人群对数字设备(如具身 AI 或假肢)的神经控制,使操作更直观和精确。

  然而,该技术仍面临重大挑战:一是需要针对不一样应用场景开发多功能解码模型,现有方法如 UMBRAE 虽能映射 fMRI 数据到刺激图像,但无法处理更广泛的任务(如记忆检索);二是缺乏统一且不依赖个体的解码架构,当前方法依赖预处理选择响应体素,导致输入维度不一致和空间信息丢失,影响性能。

  研究人员提出了 MindLLM,一种用于 fMRI 到文本解码的主题无关且通用的模型。该方法有一个主题无关的 fMRI 编码器和一个现成的 LLM。

  主题无关的 fMRI 编码器将神经科学信息注意层与可学习查询相结合,通过利用体素的空间信息和神经科学先验来实现动态特征提取,从而明显提高预测准确性。值和键的设计将体素的功能信息(在个体之间基本一致)与其 fMRI 值分开,从而使模型能够受益于跨主体共享的先验,并增强对新主体的概括性。

  为了应对多功能解码的挑战,研究人员提出了脑指令调整(BIT)。BIT 使用以图像为中介的多样化数据集来训练模型,涵盖旨在捕获 fMRI 数据中编码的语义信息的不同方面的任务,包括感知和场景理解、记忆和知识检索、语言和符号处理以及复杂推理。

  研究人员在综合基准上评估了 MindLLM。根据结果得出,它的表现优于基线,在各种下游任务中平均提高了 12.0%,在未见过的主题上的泛化提高了 16.4%。

  MindLLM 能够有效地适应新任务,在实际应用中表现出很高的可定制性和灵活性。此外,对注意力权重的分析为该团队 fMRI 编码器的工作机制提供了宝贵的见解。

  爱思唯尔(Elsevier):洞察 2024:科研人员对AI的态度报告

  前瞻:2025 年人形机器人产业高质量发展蓝皮书 - 人形机器人量产及商业化关键挑战

  美国国家标准技术研究院(NIST):2024 年度美国制造业统计数据报告(英文版)

  中国电子技术标准化研究院 2024 扩展现实 XR 产业和标准化研究报告

  兰德公司 2024 人工智能项目失败的五大最终的原因及其成功之道 - 避免 AI 的反模式 英文版

  Linux 基金会 2024 年世界开源大会报告塑造人工智能安全和数字公共产品合作的未来 英文版

  兰德公司 2024 AI和机器学习在太空领域感知中的应用 - 基于两项人工智能案例英文版

  Salesforce2024 年制造业趋势报告 - 来自全球 800 多位行业决策者对运营和数字化转型的洞察 英文版

  电子行业专题报告:2025 年万物 AI 面临的十大待解难题 - 241209

  NeurIPS 2024 论文:智能体不够聪明怎么办?让它像学徒一样持续学习

  Chainalysis:2024 年密码货币地理报告密码货币采用的区域趋势分析

  经合组织 成年人是不是具备在一直在变化的世界中生存所需的技能 199 页报告

  《全球导航卫星系统(GNSS)软件定义无线电:历史、当前发展和标准化工作》最新综述

  DARPA 主动社会工程防御计划(ASED)《防止删除信息和捕捉有害行为者(PIRANHA)》技术报告

  世界贸易组织 2024 智能贸易报告 AI 和贸易活动如何双向塑造 英文版

  经济学人智库 EIU2025 年行业展望报告 6 大行业的挑战机遇与发展的新趋势 英文版

  科尔尼 2024 年全球AI评估 AIA 报告追求更高层次的成熟度规模化与影响力英文版

  国际清算银行 2024 生成式 AI 的崛起对美国劳动力市场的影响分析报告 渗透度替代效应及对不平等状况英文版

  MR 行业专题报告 AIMR 空间计算定义新一代超级个人终端 - 241119

  云南彩民喜中1003万大奖,夫妻全身颤抖现身领奖,称绝不会把中奖的消息告知孩子

  云南彩民喜中1003万大奖,夫妻全身颤抖现身领奖,称绝不会把中奖的消息告知孩子。

  他在北京时间周一凌晨发帖,竟然把中国描述为“敌对贸易国家”,一改他之前虽出手重,但语言上经常对中国客客气气的样子。

  据最高人民检察院14日消息,中国中信集团有限公司原党委委员、副总经理徐佐涉嫌受贿、非法经营同类营业案,由国家监察委员会调查终结,经最高人民检察院指定,由辽宁省沈阳市人民检察院审查起诉。

  4月14日报道,女子称多年前去KTV唱歌,离话筒太近感染单纯疱疹病毒,“起水泡 痒疼 留疤 总复发还转移”,医生:一旦感染终身携带,免疫力低就会复发,无法彻底根除

  00后无手女孩怀孕后遭网友恶评“都这样了还生孩子”,其丈夫发文怒怼网友:只要有子宫,就有资格做母亲#孕妈妈 #宝妈

  来自奥运三金王的底气!全红婵世界杯因失误摘银被质疑,分享18张照片回怼“那咋了这就破防了”#全红婵

  据南粤清风网消息,珠海市免税企业集团有限公司原党委书记、董事长鲁君四涉嫌严重违纪违法,目前正接受珠海市纪委监委纪律审查和监察调查。

  六年前在南昌,当广东女篮首度捧得WCBA联赛总冠军奖杯的那一刻,“妞姐”杨力维哭成了泪人。在那一刻,围绕杨力维周围的是捧得FMVP奖杯的李月汝、如今慢慢的变成了广东女篮主帅的黄思静。比杨力维小7岁的杨舒予在场下看着自己的姐姐和队友们走向巅峰,心中满是憧憬。

  全红婵赛后晒18宫格照片遭网友评论“说话毫无自信,表达能力太差”,直接回怼:破防哥?

  赛后,全红婵晒出18宫格照片,分享队员们的日常,并配文:那咋了这就破防了。她坦然表示:“体重确实涨了,需要一个适应期,等适应了就会进入平稳期。现在有很多技术需要改进,回去后会好好磨炼。”

  热搜爆了!李佳琦称:普通女生没钱没闲别做了!有消费者曾紧急喊停,“一下多花了1千多元”

  Arizton 报告数据显示,韩国医疗美容市场 2023 年价值为 5.7214 亿美元,预计到 2029 年将增长至 11.4 亿美元,2023—2029 年期间的复合年增长率为 12.29%。

  据香港《南华早报》报道,日前在戈壁沙漠进行了一场“大规模反导试验”,这次试验的最大的目的是测试我军全新的双波段相控阵雷达系统的性能。

上一篇:广州轿车集团获得分布式驱动设备及车辆专利可以设备长度更大的电驱控制器
下一篇:禾川科技获158家机构调研:目前禾川的光编码器和磁编码器各项性能指标都处于国内领先水平(附调研问答)

总部地址:湖南省长沙经济技术开发区东十路南段9号
邮编:410131