昨日の記事で、AIとしてのマルチモーダルモデルについて書いたが、実際の脳としてはどうなのかということについて書いてみたい。大脳新皮質には、言語、視覚、聴覚、運動などのそれぞれ機能に応じた処理をする50以上の部位が局在しそれらが連動して意識的、無意識的な人間の判断を行なっている。それらの局在部位を表したものの代表はブロードマンの脳地図である。
これは、東京で３月に開催されたシンギュラリティサロンで電気通信大学の倉重さんが説明していたことだが、被験者にカナヅチの絵を見せ、その時の脳の活動の状況をfMRIで測定すると、視覚野だけでなく、同時に聴覚野、運動野も活動（発火）する様子が捉えられた、つまり、これは絵の形状を認識するだけでなく、同時に叩いたときの音や叩く時の反動や重さについても連想する、ということである。
つまり、これは、感覚器から脳に入力された情報が、関係するモデルが構築されている部位に伝送され脳神経細胞が励起されるというモデルが脳内に構築されていることを示していると考えられる。
人間の脳は、常にマルチモーダルモデルで学習を実施し、認識、推論しているのである。