2022年数维杯国际大学生数学建模挑战赛

C题 如何利用大脑结构特征和认知行为特征诊断阿尔茨海默病

原题再现：

  阿尔茨海默病（AD）是一种起病隐匿的进行性神经退行性疾病。临床特征为全谱痴呆，包括记忆障碍、失语、流利不畅、失认、视觉空间技能障碍、执行功能障碍以及人格和行为改变，其原因尚不清楚。它的特点是进行日常生活活动的能力逐渐下降，伴有各种神经精神症状和行为障碍。该疾病通常在老年人中呈进行性，在疾病发作后 10 至 20 年逐渐丧失独立生活技能并死于并发症。
  阿尔茨海默病的临床前阶段，也称为轻度认知障碍（MCI），是正常和重度之间的过渡状态。由于患者及其家属对疾病的认知有限，67%的患者被诊断为中度至重度，错过了最佳干预阶段。因此，早期准确诊断阿尔茨海默病和轻度认知障碍具有重要意义。
  所附数据包含在不同时间点（一个时间点为数量）收集的4850例认知正常老年人（CN）、1416例主观记忆主诉（SMC）、2968例早期轻度认知障碍（EMCI）、5236例晚期轻度认知障碍（LMCI）患者和1738例阿尔茨海默病（AD）患者的具体信息特征。请利用附录中提供的不同类别人群的大脑结构特征和认知行为特征，构建阿尔茨海默病识别模型，设计智能诊断方法，准确诊断阿尔茨海默病。
  1.对所附数据的特征指标进行预处理，研究数据特征与阿尔茨海默病诊断的相关性。
  2.利用附加的大脑结构特征和认知行为特征，设计阿尔茨海默病的智能诊断。
  3.首先，将CN，MCI和AD分为三大类。然后，对于 MCI 中包含的三个子类（SMC、EMC 和 LMCI），聚类继续细化为三个子类。
  4.附件中的同一样本包含在不同时间点收集的特征，请结合时间点进行分析，以揭示不同类别疾病随时间演变的模式。
  5.请查阅相关文献，描述CN、SMC、EMCI、LMCI 和 AD 五类的早期干预和诊断标准。

题拿到手之后中文翻译过程(不论是亚太杯还是美赛皆是如此)

  不要使用有道翻译，因为里面存在格式有道翻译之后缺失格式，条理不清晰；我这里推荐使用转成html文件，然后打开html的时候使用笔记本自带的Microsoft Edge浏览器打开即可，如下图所示：

问题分析与模型的建立与求解：

  首先题目一开始就让你对所附数据的特征指标进行预处理，研究数据特征与阿尔茨海默病诊断的相关性。显然这又是数据分析题的老套路：

数据加载——数据处理(缺失值、异常值、重复值)——数据变换——特征抽取——数据统计分析

  数模出题者的套路详细过程我就不所有的都写出来了，要不碰别人蛋糕了，真的很无聊，来来回回就这个套路，一开始的时候设置小门槛或者根本不设置门槛，后来加一些条件限制和优化，看谁的作品优化的好，谁就获奖。

  (1)数据加载：

  (2)数据处理：

  缺失值怎么处理，重复值怎么处理，异常值怎么处理，这里其实最让评委在意的或者说是第一问数据处理的敲门砖就是缺失值的处理；那怎么处理呢？

  我反复的说，但是真正做题的人未能做到灵活运用，就这么点事，缺数据了，缺多少缺的是什么，缺失数据的条目数占比，根据不同列数据的缺失程度不同，缺失值处理方法也不同，在该题中：我们加载完数据之后，发现题中所给数据中含有数值数据以及分类数据以及转义布尔类型数据，通俗一点讲就是原数据中含有数值、多种汉字类别、日期、二分类如男、女数据等。

  我们所需做的就是查看缺失值都有哪些列，缺失值的比例以及缺失值的数目，当然也非只以这些为缺失值处理方式选择的标准；还有自变量数据之间的相互独立性检验，这也是处理缺失值处理方式选择评判的标准。

  在此题中，如果是特征权重大且独立变量的非分类类型缺失值能填充的尽量填充；如果是特征权重小且非相互独立性变量的缺失值(此处不论数据类型)且缺失值占比不超过10%的变量数据可直接删除，删除它们对整体数据影响不大；如果某一列缺失值比例超过了80%，那还要看该变量特征权重占比是否超过30%，如果超过则单独考虑，否则直接删除；…兄台，我写累了，我就不全写了，需要的见最下方。

  我先带你看看该题数据情况

  这是数据中含有缺失值数目统计情况(缺失数据太多了不一一展示了)

  这是缺失值占比情况统计

  数据缺失成这个德行，出题老师不可能说让你每一列数据都填充处理，这你放心；他是要让你先对数据有一个整体把握了解，你可以不了解其他，但是你必须得掌握谁是自变量谁是因变量吧，这题目是研究什么的，然后通过数据可视化也好还是相关性系数矩阵也好还有向量组的形式表示更好，大致给出自变量和因变量之间的关系，权重占比小的这一列就不考虑数据处理了，这里为什么考虑这样去做而不是靠着自变量之间的关系去填充，是因为含有缺失值的变量列太多了，你要是一个一个去处理，我告诉你累死你，而且评委老师一看，你没懂我。然后你这边出结果了，为啥没拿奖，出题者他不可能在明面上跟你说都需要处理哪些列变量，你自己要是钻牛角尖我也没办法，自己还跟老师说：你不说你不写出来我怎么懂，然后老师说真正懂的人是不用别人告诉的。你俩就像情侣吵架一样一样的，啥用没有，浪费时间。

  言归正传，该题题目第三段不是白写的，就直接告诉你谁是因变量：DX_bl，其余的都是围绕着这个而谈的；以下我就将阿尔茨海默病（AD）统称为老年痴呆。

  这个题第一问说白了就是让你数据处理一下缺失值和异常值，然后通过数据分析写出来老年痴呆是啥样的，懂了么。

  什么叫缺失值我不说了，什么叫异常值呢？异常值你可以把他认为是格式或数值偏差超过正常范围的数值，在该题中下面这个图里这个就算是异常值，因为在同一列中存在了多种数据类型，你得数据处理格式。

  千万不要一上来就做热力分布图,如果变量数目适中还可以，该题上百个变量，你做的图像微雕一样，这不给自己挖坑呢么。所以你一开始老老实实做相关性矩阵表即可，然后把与DX_bl小的相关系数变量(含缺失值)的删掉即可，不用秀操作做热力分布图，脱裤子放屁的事真不用干。

  做完之后你如果觉得单一，再去做基于不同自变量和因变量的拟合曲线关系图。至此，完成了删除变量前的操作。

  所有问的思路今日已完成需要的请见下方“ 只会建模 QQ名片” 点击QQ名片即可

热力图程序狗屁没用

import seaborn as sns
import matplotlib.pyplot as plt 
rf = df.corr(method='spearman')
sns.heatmap(rf,annot=True,vmax=1,vmin=0,xticklabels=True,yticklabels=True,square=True,cmap="YlGnBu")
plt.savefig('data1.png')

得出权重占比最大的前20名：

import seaborn as sns
from matplotlib import pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']  
plt.rcParams['axes.unicode_minus'] = False  
sns.set(font='SimHei',font_scale=1.5)  
sns.set(rc={"figure.figsize":(22,9)}) 
sns.barplot(features_df['特征'][:20],features_df['重要性'][:20]) 
plt.ylabel('importants') 
plt.xlabel('features') 
sns.despine(bottom=True)
plt.show()

全部思路及程序请见下方“ 只会建模 QQ名片” 点击QQ名片即可