健康资讯 优秀做题家，注定无法摆脱自己的锚定偏见 (anchor bias), 在遇到微妙的悖论时喜欢痛快的喷和抬杠，而绝对不愿深度思考。
优秀做题家可以看成一种浅层神经网络，在局部拟合得非常好，一旦出现新情况，拟合失效，本来可以增加新的一层神经元来更好的抽象客观事实 (而且更轻松) ，他们却坚持要继续在同一个浅层抓狂的继续拟合。
二维材料电触点处的场效应
二维材料器件的电学接触是影响器件性能的重要因素。目前，已有诸多报导致力于理解并减小金属电极-二维材料的接触电阻，如UCLA段镶锋组提出的范德华接触，以及近期MIT孔静、台积电李连忠和台湾大学吴志毅采用Bi与MoS2接触取得的123 Ω/μm接触电阻。然而，除接触电阻外，对于电学接触对器件性能产生的其他物理效应，以往的研究中却鲜有关注。
另外，在以往的研究中，MoS2等过渡金属硫化物场效应晶体管器件输出曲线在大的源漏电压下极易出现电流饱和，这种电流饱和被认为是载流子速度饱和，自热效应等因素所致，奇怪的是，不同课题组所展示的饱和电流差别极大，其差别从数十nA/μm至数百μA/μm不等，这种饱和电流的差异难以用常规的载流子速度饱和等机制来解释。本工作首次对电学接触处的寄生场效应进行研究，证实除接触电阻外，寄生场效应对于器件电学特性具有重要影响，是导致器件输出曲线过早饱和的原因。
研究方法
本工作采用理论模拟与实验相结合的方式，理论部分采用半导体计算机辅助设计建模，实验部分包括微纳加工和电学测量。
成果简介
首次提出了二维材料器件电学接触中寄生金属-绝缘体-半导体结构产生的场效应，尤其对于原子层厚度的导电通道，接触处寄生场效应使得源端和漏断分别产生载流子的耗尽（甚至反型）和累积，源端耗尽的产生使得沟道电阻急剧增加，电压降重新分布而产生明显的电流饱和；通过精巧的实验设计，以非对称电极的结构控制电流饱和的产生，从实验上证明了电学接触寄生场效应的机制，进而提出电极形貌对器件性能的影响，尤其对于短沟二维材料场效应晶体管而言，接触电极的形貌对器件性能有至关重要的影响，包括开态电流、开关比、亚阈值摆幅和漏致势垒降低；电学接触寄生场效应导致的非线性电流饱和还可用于在神经网络电路中，以非线性提高神经网络电路的拟合能力，能够更好地还原钟南山和腾讯AI实验室发展的COVID-19重症预测模型。
图文导读
图1：（a）电学接触寄生MIS结构和场效应示意图。(b) 电子浓度和(c) 电压降分布 。(d) 等效电路图。(e) 等效电路图的IV曲线。(f) TCAD模拟的输出曲线，可看到明显的电路饱和。在不考虑电学接触寄生MIS结构和场效应时。(g) 电子浓度示意图 (h) 电压降分布图和 (i) 输出曲线，未见电流饱和。
图2：（a）底栅MoS2场效应晶体管的转移曲线， （b）底栅MoS2场效应晶体管的输出曲线，注意此处的饱和并非由于pintch-off效应所引起的，此时Vg>>VT ，（c）非对称电极MoS2场效应晶体管SEM图片，使得源漏两端的接触电阻有明显的差异。（d）非对称电极MoS2场效应晶体管转移曲线。（e）非对称电极MoS2场效应晶体管输出曲线，外部电极作为源，内部电极作为漏 （f）非对称电极MoS2场效应晶体管输出曲线，外部电极作为漏，内部电极作为源。
图3：石墨烯晶体管电学接触的寄生场效应的影响示意图。与MoS2器件不同，石墨烯在源端受场效应影响耗尽后会发生反型，表现为实验中观察到以内部电极作为源极时，器件微分电导先下降，后上升，导致电流整体小于以外部电极作为源极时的电流。
图4：电极形貌对于器件性能的影响。（a）使用锂化延申源漏电极，使其远离金属侧壁，抑制电学接触的场效应。（b）（a）器件的转移曲线。（c）（a）器件的输出曲线，未观察到明显的电流饱和。（d）短沟道的器件模型 （e）普通电学接触和延申结构电学接触短沟器件的转移曲线 （f）不同结构电学接触短沟器件的性能对比，可以看到，改进电极形貌可以有效提升短沟FET的器件性能。
图5：电学接触引起的电流饱和类似于非线性tanh函数，可用于在电路中的非线性单元，在必要时为电路引入非线性。（a）三层神经网络示意图，中间层神经元以tanh或sigmoid函数引入非线性 （b）三层神经网络电路示意图。（c）钟南山与腾讯AI实验室的COVID-19重症预测示意图。（d）采用和不采用非线性时损失函数随训练次数的变化。（e）不采用非线性单元时的拟合结果。（f）采用非线性单元时的拟合结果。
文章信息
Yao Guo*, Yan Sun, Alvin Tang, Ching-Hua Wang,*. Field-effect at electrical contacts to two-dimensional materials. Nano Research 网页链接.
你看，计算机网络、通信网络是一条线一条线画出的拓扑图，其“拓扑密度”肯定与水等“连续”性物质不同，就是与大脑神经网络的“拓扑密度”，也是不可比的。由此可见，客观事物的“拓扑密度”是分等级、层次的。
其实从拓扑构造的角度讲，就是由有理数集X构造拓扑，由X的一切子集在某几个规则下构造出拓扑（集）η。广义地讲，一切η的子集、子拓扑，还可构造拓扑ξ，由此而下…。这里我们可看出η的势是N。＾N。，即便是n＾N。，其势也与实数集的连续统势C大致等势，所以说，网络的“拓扑密度”是“足够”的，大脑神经网络存储信息的“能力”足够强大。有神棍说，人脑只“开发”了5％，这就是胡说八道，只能说人的实践经验还不够，还很欠缺而已，人脑是始终“全力以赴”地在大自然中“游走”、实践着，最大限度地“吸收”（学习着）大自然的各种信息。
通常人类搭建的网络系统，都是一种“线性结构”的平面或“平板”系统，像电路系统，互联网、电信系统、人工神经网络等等，这些系统都可“拓扑”成平面系统，都个用一个矩阵或一个张量，表达成某个线性系统；也就是说，这些系统的运行（运动），就是在时空上的线性变换或叫坐标变换。
人工神经网就像是一个“箅子”或“筛子”，在客观事物的信息（能量）空间上，不断地“过滤”信息，或者说在信息空间上不断地实践学习。人工神经网络是排列很“整齐”的线性结构，它只能“过滤”出自然界中的简单的“线性信息”，或者可由线性信息表达或拟合的非线性信息，像人脑的抽象思维信息、人类（或动物）的情感信息，这些都是本质非线性信息，人工神经网络“过滤”不出来。
人脑神经网络就不是“平面网络”，或者说，没法拓扑成平面网络，因此，它没法表达成一个张量形式，没法表达在直积空间上。所以说，人脑思维过程是量子过程。目前人们已发现人脑神经细胞间的连接不是神经突触的实连接，而是通过神经脉冲信号的“虚连接”，也就是，大脑神经细胞上的离子通道，其上的离子以量子特征运行，传递给其它脑神经细胞，从而形成人脑的意识信号，再经过各种效应器官的反馈连接成一个“意识闭环”，在这个“意识闭环”中产生。人脑神经网络结构，只能表达成一个“立体”的拓扑结构形式。
目前，计算机实现的人工神经网络结构形式，早期的还是“张量结构”形式；现代由于有“类”的计算机数据结构出现了，这里就用“类”来模拟人工神经元。类就一“单细胞生物”，其上有函数，有继承，还可定义其他数据结构形式；它比数组、堆栈、函数、指针等等其他计算机数据结构都好用，关键是它可以把它们“打包”到类下。这里关键点在于其信息流形成的拓扑结构，似乎可以突破“平面拓扑形式”，向“准立体”方向过渡，目前还由于其数理逻辑的限制，实际上还是一个平面拓扑结构。所谓的“立体拓扑”结构，实际上就是本质并行数据流结构，数据流可以在不同平面、同时流动。但是这个类数据结构，为未来量子计算机做了“铺垫”，它是量子计算机可能唯一可用的，经典计算机数据结构。所以，你要认认真真、仔仔细细地在计算机的这个数据结构上下点功夫。另外，把指针学好、学活，计算机程序效率高低，全看你的指针运用的如何，但用滥了，反而画蛇添足了；计算机编程主要是逻辑应用思想、逻辑流，运用各种数据结构来准确、高效实现你的逻辑思想。
另外，你现在学的电路、半导体非线性电路，这都是平面电路；深刻点的思想都是拓扑理论，网络拓扑理论；很能引起你思考的欲望。像高斯定理运用到电路上，就变成了基尔霍夫定理了。在半导体非线性电路里，也就是电子线路、电子技术、集成电路，它才真正实现各种功能电路，也就是人们所说的各种高科技应用，什么手机、通信、导弹控制、人工智能，各种电器的运行和控制，将来干的卫星、飞船的遥控、遥测，工业上各种生产过程控制等。
总之，电磁场理论（理论物理上叫电动力学），是专业底层基础，相当于网络的物理层；电路理论是专业应用基础层，相当于网络的网络（传输）层；电子技术（电子线路）就是专业应用层，相当于网络的应用层。
人类科学知识，目前主要说的是物理理论，它分为三大块：量子力学、电动力学和广义相对论；牛顿力学是经典物理范畴；现代物理学都是在其形式上的拓展应用；早期量子力学“脱胎”于牛顿--哈密顿形式（薛定谔方程），目前已向抽象而“漂亮”的算符形式发展了；电动力学是“脱胎”于牛顿的微积分和矢量代数，在其中把质量改为能量形式，用现代微积分中的，源、流、通量、环量、散度等概念，建立起电动力学大厦；广义相对论，力学思想、方程形式也是“脱胎”于牛顿形式，只不过引入了微分几何概念、张量形式、黎曼空间等进行了“改造”，但是“牛顿结构”形式，还是在哪儿的，也就是，物质惯性形式、惯性处理形式，还是“牛顿的”
用于训练尖峰神经网络的神经形态数据增量
在基于事件的数据集上用尖峰神经网络（SNNs）开发神经形态智能最近引起了很多研究关注。然而，基于事件的数据集规模有限，使得SNNs容易出现过拟合和不稳定的收敛。为了尽量减少这种泛化差距，我们提出了神经形态数据增强（NDA），这是一个专门为基于事件的数据集设计的几何增强系列，目的是显著稳定SNN的训练，减少训练和测试性能之间的泛化差距。建议的方法很简单，与现有的SNN训练管道兼容。利用所提出的增强方法，我们首次证明了SNNs的无监督对比学习的可行性。我们在普遍的神经形态视觉基准上进行了全面的实验，并表明NDA比以前的最先进的结果产生了实质性的改进。例如，基于NDA的SNN在CIFAR10-DVS和N-Caltech 101上的准确性分别提高了10.1%和13.7%。
《Neuromorphic Data Augmentation for Training Spiking Neural Networks》
论文地址:网页链接
Softmax Gradient Tampering 为改善拟合而对后向通道进行解耦
我们介绍了Softmax Gradient Tampering，这是一种修改神经网络后向通道中的梯度以提高其准确性的技术。我们的方法是使用基于功率的概率转换来转换预测的概率值，然后重新计算后向通道中的梯度。这种修改导致了更平滑的梯度轮廓，我们从经验和理论上证明了这一点。我们对残余网络的变换参数进行了网格搜索。我们证明，修改ConvNets中的softmax梯度可以提高训练精度，从而提高整个训练数据的拟合度，最大限度地利用神经网络的学习能力。当与正则化技术（如标签平滑）相结合时，我们得到了更好的测试指标和更低的概括差距。在ImageNet数据集上，Softmax梯度篡改使ResNet-50的测试精度比基线提高了0.52美元。我们的方法是非常通用的，可以用于各种不同的网络结构和数据集。
《Softmax Gradient Tampering: Decoupling the Backward Pass for Improved Fitting》
论文地址:网页链接
#人工智能# #机器学习# #深度学习# #神经网络#
我所理解的人工智能
非计算机专业。上过一些深度学习，人工智能的相关课程，对于他们有一些肤浅的理解。
我认为当前的人工智能其实不咋智能，其实就是一种统计工具。我们都知道最小二乘法是模拟一个一元线性方程的拟合方法，其实当前所谓的人工智能起的作用和它是一样的，不过处理的是多元的，非线性的。
一言以蔽之，人工智能就是多元非线性方程的参数估计方法。明白了这一点儿，就可以用它来解决工程里的问题了。
请头条号的流量密码把我推给想要参加数模比赛的宝子们，下面是数学建模比赛中常用的五大模型和十大算法总结（强烈建议收藏起来）
一、五大模型
1 预测模型
（1）神经网络预测模型
（2）灰色预测模型
（3）拟合插值预测（线性回归）
（4）时间序列模型
（5） 马尔科夫模型
（6）支持向量机模型
（7）Logistic模型
（8）组合预测模型
（9）微分方程预测
（10）组合预测模型
2 评价模型
（1）模糊综合评价法
（2）层次分析法
（3）聚类分析法
（4）主成分分析评价法
（5）灰色综合评价法
（6）人工神经网络评价法
（7）BP神经网络综合评价法
（8）组合评价法
3 优化模型
（1）规划模型（目标规划、线性规划、非线性规划、整数规划、动态规划）
（2）排队论模型
（3）神经网络模型
（4）现代优化算法（遗传算法、模拟退火算法、蚁群算法、禁忌搜索算法）
（5）图论模型
（6） 组合优化模型
4 分类模型
（1）决策树
（2）逻辑回归
（3）随机森林
（4）朴素贝叶斯。
5 统计分析模型：
（1）均值T检验
（2）方差分析
（3）协方差分析
（4）分布检验
（5）相关分析
（6）卡方检验
（7）秩和检验
（8）回归分析
（9）Logistic回归
（10）聚类分析
（11）判别分析
（12）关联分析
二、十大算法
1、蒙特卡罗算法
2、数据拟合、参数估计、插值等数据处理算法
3、线性规划、整数规划、多元规划、二次规划等规划类问题
4、图论算法
5、动态规划、回溯搜索、分治算法、分支定界等计算机算法
6、最优化理论的三大非经典算法：模拟退火法、神经网络、遗传算法
7、网格算法和穷举法
8、一些连续离散化方法
9、数值分析算法
10、图象处理算法
#数学建模#
#数学建模比赛#
#大学比赛#
#大学竞赛#
福利，sci成稿转让！
基于人工神经网络模型的复杂产品模块化参数优化
Hg–OCS体系的高质量势能面智能拟合算法
动态约束下可重构模块机器人自适应滑模控制方法
通过双级优化的视角重新审视和推进快速对抗性训练
对抗性训练（AT）已经成为一种被广泛认可的防御机制，以提高深度神经网络对对抗性攻击的鲁棒性。它涉及一个最小-最大优化问题，其中最小化者（即防御者）寻求一个稳健的模型，以最小化由最大化者（即攻击者）制作的对抗性例子中的最坏情况下的训练损失。同时，FAST-AT算法，以及最近许多改进AT的算法，通过用简单的基于梯度符号的攻击生成步骤取代其最大化步骤，简化了基于min-max的AT。虽然容易实现，但FAST-AT缺乏理论上的保证，其实际表现可能不尽人意，在与强敌训练时，会出现鲁棒性灾难性的过拟合。 在本文中，我们建议从双级优化（BLO）的角度来设计FAST-AT。我们首先提出一个关键的观点，即FAST-AT最常用的算法规范相当于使用某种梯度下降型算法来解决一个涉及符号操作的双级问题。然而，符号操作的离散性使得我们很难理解算法的性能。基于上述观察，我们提出了一个新的可行的双级优化问题，设计并分析了一套新的算法，称为快速双级AT（FAST-BAT）。FAST-BAT能够防御基于符号的投影梯度下降（PGD）攻击，而无需调用任何梯度符号方法和明确的鲁棒化。此外，我们的经验表明，我们的方法优于最先进的FAST-AT基线，实现了卓越的模型鲁棒性，而没有诱发鲁棒性灾难性过拟合，也没有遭受任何标准精度的损失。
《Revisiting and Advancing Fast Adversarial Training Through The Lens of Bi-Level Optimization》
论文地址:网页链接
有时候我总觉得深度学习不是人工智能算法。其实很多人质疑深度学习，但是因为他们不懂深度学习，说了也没人信，就是门外汉，外行评论内行。我研究三年深度学习算法编程，虽然还没有达到顶尖水平，但还是算行内的人了，有些懂，开发各种深度学习算法还是可以的。
我是常规编程转入深度学习算法的，刚开始不理解深度学习，因为编程模式不同，他要学习训练模型然后才能调用，他们说是模仿人类学习模式。深度学习其实是拟合函数，找出规律，表征学习，就是有样学样，但是样本数据还是要统一的，如果数据有白人黑人，白人多了，奥巴马也会被识别成白人，所以不科学。初中生也能参加深度学习竞赛还获得冠军，只能说深度学习没有很深的理论，谁都可以在别人指点下做调参师，但是拿到冠军的调参师可能并不懂深度学习，就像做饭菜一样，基于经验，他并不理解煮饭菜的化学反应。几个月就能掌握深度学习，就像学习开小车，考得证，但是不会理解和维修汽车，你说他懂汽车，你觉得可能吗？只是会开车一些皮毛而已。
那么深度学习算法是不是人工智能算法呢？深度学习是拟合算法生成映射函数，那么人工智能算法是不是这样呢？什么是人工智能算法呢？人工智能算法是类似人的思维思考算法。深度学习用大数据，但人类不需要，说明算法不同。深度学习的训练和学习是为了训练出拟合的权重矩阵，但人类的学习是为了记忆和建立神经条件反射，比如学习游泳和骑单车，要不停的训练是为了实现手眼脚的协同，并非为了拟合，而是让神经网络记忆和条件反射强化，因为这是生物神经的特性，并不是一次训练就能完成。
也就是说人类的训练是为了加强神经网络记忆和条件反射，并不是为了拟合。因为人类神经网络记忆不是一次能完成，而且时间过去久了记忆还可能会忘记。比如十年不游泳可能下水会生疏。深度学习神经网络则不会有忘记这种东西。就是机器和生物神经网络的不同。
有人说你这是反深度学习吗？不是，我是在深入研究深度学习，他的优点和缺点都是存在的，不能说不研究缺点只吹捧他就行，这样会陷入死胡同。
