本研究方向主要由“数字多模态符号认知分实验室”牵头组织，四川大学符号学-传媒学研究所、四川大学视像与新媒介艺术研究中心、四川省网络大数据认知分析工程实验室、四川省神经网络分析技术工程实验室等协同研究。
主要开展研究内容包括：
（一）多模态符号科学认知研究
语言与符号认知神经科学融合实验研究，主要以控制实验法结合人工智能技术开展包括少数民族语言、上古图文符号识读在内的中华语言文字谱系符号的认知科学研究。
（二）中国传统符号人工智能识别与谱系化研究
主要借用人工智能的方法和符号学视角，对中国传统文化符号及其现代转化与应用进行研究，建立中国传统文化符号当代认知的数据库。
（三）商品与广告叙述认知研究
商品和广告传播叙述认知是本学科已经开展的试验研究。主要聚焦于品牌和广告传播的效果认知逻辑与认知效果研究。
（一）多元认知与多模态符号对象研究融合对接
计算机与人工智能认知与生物神经认知协同交叉学科研究。计算机科学领域对认知的探讨则往往专注于物理层面的测量而忽视了意义维度的总体关照。本研究采用集语言学、心理学以及脑科学、计算机科学于一体的神经语言学方法，不但研究语言符号的理论，更研究语言行为的主体和语言的生物本质。通过将符号学与自然科学的研究方法相结合，二者优势互补，对符号学具体对象的探究、对神经科学的哲学理论构建和指导，均具有积极意义。
（二）中华传统文化为总体谱系化研究对象
建立一种“中华文字符号谱系的立体、动态场域视角”，推进在符号生态场域关系中呈现的中华古文字谱系，将构成中华文字符号体系的立体维度。从中华文字谱系内部来看，应加强巴蜀图语、古彝文、古纳西文、甲骨文的关系研究，它们将为中华文字谱系的整体面貌呈现提供重要依据。同时还应将眼光放得更远，从世界文字符号的总体谱系的位置中来梳理文字起源的逻辑及可能存在的文化关联性。本实验中心的推进，是包括汉字在内的中华文字符号系统可能建构起不同于西方表音体系的路径探索。
（三）汉语二语习得的心理认知神经科学研究
四川大学拥有全国唯一的汉语国际教育博士点，培养了多名汉语国际教育硕士、博士并派遣到世界各地的孔子学院开展汉语教学工作。另外每年招收外国留学生来到四川大学学习汉语和中华文化。因此，在汉语国际教育学科的基础上开展外国人学习汉语和汉字符号的心理认知神经科学研究具有得天独厚的优势。研究成果可以对汉语二语教学提供来自神经语言学的理论指导，促进汉语汉文化的国际传播。
（四）以新商品和泛广告叙述为对象
品牌和广告效果认知是当前广告效果试验的主要内容，但本研究方向还将推进到创意传播叙述认知、以及新文旅等新商品的叙述认知研究。
（一）认知神经科学及其在语言学领域的具体应用
神经语言学通过对语言习得、生成和理解的神经机制的研究，以及对语言信息如何在大脑中产生、接收、储存和提取的研究，发现语言的心理和生理机制。因此，神经语言学的研究一方面需要利用传统心理学研究方法，比如利用行为学实验记录反应时和正确率；另一方面，神经语言学需要利用现代脑科学技术，比如脑电图、近红外、功能磁共振成像、经颅磁/电刺激等。甚至，现在的神经语言学已经进入到分子和基因水平，比如对语言功能相关的基因表达的研究。
神经语言学是当代多学科门类交叉综合发展态势的集中体现，研究方法具有多样性。本实验室拥有两套脑电放大器（一台NeuroScan SynAmps 264导放大器及一台ANT Neuro 32导便携式放大器），一套眼动设备，两间专业隔声室，以及两套E-prime行为学研究软件。利用这些设备软件可进行广泛的行为心理学、眼动以及基于脑电图的数据采集和分析。此外，可申请使用华西医院的功能磁共振成像、经颅磁/电刺激等仪器设备。总之，本实验室可提供主要的神经语言学研究需要的设备和软件。
（二）人工智能方法在本课题的应用
第一，在传统符号智能识别方面的应用。自二十世纪六十年代以来，图形字符识别一直是人工智能领域的热点，例如，国外已通过相关计算机智能程序完成了对上古语言乌加特里语的全部破译工作。当然，与西方拼音表意符号体系不同，上古中华文字符号如巴蜀符号，其是介于文字与图画之间高度系统化的象形文字符号，具有更复杂的结构体系。而且，上古文字符号数量众多，意义繁杂，在系统化的图形文字符号录入、存储工作完成基础上，形成大型上古文字数据库后，需同时借助人工智能方法如机器学习、专家系统等进行智能化图像文字自动识别，一方面通过横向的同种语言文字属性规律的相关性比较，另一方面从纵向形成与其他已破译的中华文化文字数据库的映射比对，以期多方向切入找到最可能的逻辑匹配与演绎规律。总之，借用人工智能方法对中国传统文化符号及其现代转化与应用进行研究，有助于建立中国传统文化符号当代认知的数据库，也将对中华文化的传承与传播影响深远。
第二，人工智能在商品与广告叙述效果方面的应用。人工智能推动了商品与广告形态的变革，打破了两者传统的认知边界，泛广告与泛商品化成为业界发展的一大趋势。在人工智能技术逻辑支配下，商品与广告的生产效率、文本创作模式、内容分发渠道、消费者效果接受与评估系统等整体性运作模式都发生了深刻变革。通过利用人工智能、大数据等方法，一方面致力于构建有关商品与广告的大型图像与语音文本数据系统，深入挖掘相关文本的符码规律、体裁边界与意义内涵，从而可以较为清晰的把握市场发展的多层动态画像；另一方面，建立关于完成消费者测评的专家系统，洞察归纳消费者对于商品与广告的心理接受谱系。
此外，本研究方向利用效果测试实验室、眼动仪、脑电（ERP）等设备，推动当下具体应用场景的多模态符号认知。关注人工智能与广告、商品的伦理关系，即以实验室基础阵地为依托，开展访谈、问卷等方式来调查生产者创作动机、消费者的心理使用感受等问题，以此打通业界商品与广告传播与交流的文化表意与叙述壁垒，为创造具有中华文化创意叙事功能的数字化商品或广告提供丰厚沃土。以上，依托人工智能技术开展的商品广告实验研究，对于指导业界相应文化实践，以及打造具有中国本土特色的智能化经济发展体系无疑有重要意义。
（一）打造交叉学科神经语言学和认知符号学的研究学术高地
汉字是中华民族和东方智慧的基因符号。汉字形体构造客观记录和保存着丰富的历史文化信息和中华民族智慧及认知方式，这是中华文化生生不息的源泉所在。夏商周的历史和文化，先秦经典和诸子百家学说，五千年的灿烂文明，正是通过千年未绝的汉字媒介传承至今，成为中华民族傲立世界民族之林的文化基因和精神符号。汉字是世界上唯一的自源性文字和唯一的表意文字，而所有拼音文字都是他源性文字。
汉字是在纵横两个向度展开的二维方块图形，而拼音文字是线性展开的一维声音符号；汉字书写不需要词间空格，但拼音文字书写时则需要用空格把单词分隔开来；每个汉字都是音形义三个维度的综合体，拼音文字中组词造句的显性标记都是通过“字”这种载体用隐性的方式来表征；字母文字书写只有字体变化，只有汉字书写可以升华为书法艺术。
现代语言学奠基者索绪尔声明自己的结论只限于以希腊字母为原型的表音文字，并明确说明把对汉字和汉语的讨论摒除在他的普通语言学之外，这是因为这位语言学大师敏锐地发现汉字在世界文字体系中的独特性：“对汉人来说，表意字和口说的词都是观念的符号；在他们看来，文字就是第二语言。”伴随着中国日益增强的经济和文化影响力，现在有越来越多的外国人开始学习汉语。本研究方向依托四川大学双一流重点建设中国语言文学与中华文化全球传播学科群，在优势学科汉语国际教育和符号学研究基础上，引入心理学、认知科学、神经科学、计算机科学及脑科学的研究技术和研究手段，以外国人学习汉语汉文化为特色研究对象开展研究工作，力图打造交叉学科神经语言学和认知符号学的研究学术高地。
（二）创建新商品与创意传播的智能认知与传播效果的创新理论体系，为中国的商品理论与传播研究创新提供突破口。
品牌与广告传播效果认知是传播效果研究的重要组成部分，本研究一直在这个领域进行探索，积累了丰富的成果和运行经验。本研究中心将在研究对象、研究视域、试验方法上进行更新，形成以包括新文创、商业环境、创意传播等新商品、新传播叙述为对方，采用符号学、叙述学为新理论视角、以效果试验、人工智能、脑科学为方法的新的研究流派。这个流派为中国学术和实践研究提供新的思路和可能性，也为国际效果认知研究提供创新思路。
（一）中华多民族文化符号的共享与认同
对语言符号的讨论，在经历传统语文学、历史比较语言学、结构主义语言学、转换生成语言学之后，进入到了与脑科学、心理学相结合的全新研究领域，这对当代语言学和意义理论发展产生了根本性的变革。与当代科学发展方向所表现出的复杂、交叉的趋势一样，语言符号研究在传统研究的基础上，通过不同领域或学科学者密切合作与交流推动形成了认知符号学范式。相对于传统的语言符号研究，认知符号学通过对现代认知科学成果的和技术手段的有机整合，在语言学科研究中不断发展出新理论、新视角以及新观点。
（二）符号学中国学派的话语体系建设与基础理论推进
西方符号学、语言学理论主要建基于对线性表音文字的分析，而汉语作为唯一流传使用的象形文字，其所代表的“图像理据性”长期以来为学界所忽略乃至污名化。对汉字认知机制的探索，对纠正语言符号理论框架的偏颇，构建基于图像理据的中国学理论体系具有重要意义。
21世纪是脑科学的世纪，对大脑功能的研究是当代科学的前沿之一，已经得到世界各国的重视和支持。语言无论对于个人的日常生活还是对于人类文明的发展传承都具有十分重要的作用，对于人这种“意义动物”而言，对语言的讨论更涉及“人何以存在”的探讨。本研究通过科学的实证方法，考察语言习得、语言掌握、言语生成、言语理解的神经机制和心理机制，研究人脑如何接收、存储、加工和提取言语信息。就实际运用方面，本研究成果对于汉语儿童语言能力的培养，汉语语言障碍患者的治疗，以及基于人工智能的汉语语音识别和自然语言处理等都将具有十分重要的指导价值。在理论方面，本研究为意义世界构建和认识活动开展方式的理论探索，提供了坚实的理论基础。
（三）中国推动“双循环”经济发展，提升商品与广告传播效率的提供理论和实践参考
本研究方向聚焦于多模态符号的认知逻辑、认知、智能识别及其转化，是系统的理解和发掘中国传统文化，助力推动全面复习传统文化的重要途径。同时，在加快构建以国内大循环为主体、国内国际双循环相互促进的新发展格局背景下，如何推动商品经济建设，促进品牌建设，尤其是发挥中国传统文化的现代转化，推动内循环，已经变成了重中之重的论题，本研究探索商品与广告叙述认知机制的试验和研究，变成了必须推动的基础研究。
