Braincodec：通过皮层刺激实现听觉重建的仿生深度编码器

人工耳蜗和听觉脑干植入物是重度耳聋的主要治疗手段。然而，这些设备所使用的电刺激本身分辨率较低，限制了信息向少量独立刺激通道的传递，并导致感知困难。另一种替代方法是靶向听觉皮层——这一脑区足够大，可容纳数百个刺激通道，且其刺激能够诱发声音感知。尽管现代脑接口提供了大量通道和空间分辨率，但开发能够准确传递可解释声音信息的编码算法仍然具有挑战性。在此我们提出 Braincodec，这是一种深度网络，可同时优化声音信息传递以及刺激模式与听觉皮层神经编码的空间、时间和高层特性的对齐。Braincodec 在线运行，仅需数百个通道即可传递足够信息，以高保真度重建自然声音，这一性能是人工耳蜗植入编码器无法达到的。此外，植入由 Braincodec 驱动的听觉皮层假体的小鼠在辨别真实声音方面达到了与未植入小鼠相当的准确度。因此，Braincodec 使得开发高通量皮层神经假体成为可能，有望克服当前听觉植入物的局限，并提供了一个可适用于其他感觉模态的通用框架。