加载失败，
- 从大脑活动中解码自然语言：任务与前沿方法
- 1 简介
- 2 数据采集
- 2.1 ECoG
- 2.2 EEG
- 2.3 MEG
- 2.4 fMRI
- 3 前沿工作
- 3.1 端到端的解码
- Machine translation of corticalcactivity to text with an encoder-decoder framework（Nature neuroscience 2020）
- Open Vocabulary Electroencephalography-to-Text Decoding and Zero-Shot Sentiment Classification（AAAI 2022）
- UniCoRN: Unified Cognitive Signal Reconstruction bridging cognitive signals and human language（ACL 2023）
- 3.2 非端到端解码
- Semantic reconstruction of continuous language from non-invasive brain recordings（Nature Neuroscience 2023）
- 3.3 信号对齐研究
- Decoding speech from non-invasive brain recordings（Arxiv 2022, Meta AI）
- 4 总结
- 参考资料
从大脑活动中解码自然语言：任务与前沿方法
从大脑活动中解码自然语言：任务与前沿方法
2024年8月12日修改
📌
原创作者：赵翼
转载须标注出处：哈工大SCIR
1 简介
语言不仅是人类交流的工具，更是思维和智能的基础。大脑如何解码和处理语言信息是揭示人类智能本质的关键。随着脑机接口（BCI）等技术的迅速发展，我们有了从大脑活动中解码自然语言的可能。这一研究方向不仅对认知科学和神经科学领域的发展至关重要，也为因神经退行性疾病和创伤而失去语言能力的人提供了新的希望。该方向的发展将极大地拓展我们对人类大脑处理语言的理解，并可能开启全新的沟通方式。
从大脑活动中解码自然语言的最大需求出现在那些因锥体束或下运动神经元的急性或退行性损伤而导致运动和语言障碍的患者中。当运动和语言障碍特别严重，如在锁定综合征（LIS）中，患者可能完全失去运动控制，从而无法独立发起或维持交流，仅限于用眨眼或眼球运动等轻微动作回答简单问题。BCI技术提供了大脑与外界之间的桥梁，读取人脑产生的信号并将它们转换成所需的认知任务，使得那些由于运动障碍而不能说话的人可以仅通过他们的脑信号进行交流，而无需移动任何身体部分。
在协助这类患者交流上，很多BCI范式已经取得了重大进展，包括P300、稳态视觉诱发电位（SSVEP）和运动想象（MI）等。P300和SSVEP利用外部刺激，如闪烁的屏幕或听觉蜂鸣声，以诱发有区分性的大脑模式。基于运动想象的系统则识别人脑自发的运动意图，无需外部刺激的辅助。然而，这些范式通常只能通过意念打字的形式输出文本，无法替代口头交流的速度和灵活性。在日常对话中，每分钟交流的平均单词数通常能达到意念打字速度的7倍。因此，从大脑活动中解码自然语言，更具体而言是从言语或想象言语时的大脑活动解码自然语言，相比之前的BCI范式具有明显的速度优势，同时也允许患者用更少的努力进行沟通。
2 数据采集
为获取大脑在言语或想象言语过程中产生的信号，已经有多种神经影像学方法被应用。这些方法主要包括脑电图（EEG）、脑磁图（MEG）、功能性磁共振成像（fMRI）等非侵入性方法，以及皮质脑电图（ECoG）等侵入性方法。侵入性方法能提供足够的时空分辨率，同时具有较高的信噪比（SNR），但更高的医疗风险限制了它们在临床和日常使用中的普及。这使得基于非侵入性方法的大脑活动解码也得到了关注和广泛研究。
附件不支持打印
加载失败，