1. 最小二乘法、回归分析法、灰色预测法、决策论、神经网络等5个算法的使用范围及优缺点是什么
最小二乘法：通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。优点：实现简单，计算简单。缺点：不能拟合非线性数据.
回归分析法：指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在大数据分析中，回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。优点：在分析多因素模型时，更加简单和方便，不仅可以预测并求出函数，还可以自己对结果进行残差的检验，检验模型的精度。缺点：回归方程式只是一种推测，这影响了因子的多样性和某些因子的不可测性，使得回归分析在某些情况下受到限制。
灰色预测法：
色预测法是一种对含有不确定因素的系统进行预测的方法 。它通过鉴别系统因素之间发展趋势的相异程度，即进行关联分析，并对原始数据进行生成处理来寻找系统变动的规律，生成有较强规律性的数据序列，然后建立相应的微分方程模型，从而预测事物未来发展趋势的状况。它用等时间距离观测到的反应预测对象特征的一系列数量值构造灰色预测模型，预测未来某一时刻的特征量，或者达到某一特征量的时间。优点：对于不确定因素的复杂系统预测效果较好，且所需样本数据较小。缺点：基于指数率的预测没有考虑系统的随机性，中长期预测精度较差。
决策树：在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。优点：能够处理不相关的特征；在相对短的时间内能够对大型数据源做出可行且效果良好的分析；计算简单，易于理解，可解释性强；比较适合处理有缺失属性的样本。缺点：忽略了数据之间的相关性；容易发生过拟合（随机森林可以很大程度上减少过拟合）；在决策树当中,对于各类别样本数量不一致的数据，信息增益的结果偏向于那些具有更多数值的特征。
神经网络：优点：分类的准确度高；并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系；具备联想记忆的功能。缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。
2. 灰色神经网络预测，有20个数据如何预测第21个数据，求救！恳求代码！
历史3年的人口预测下一年人口 这样，可以给我站内信，具体交流
3. 灰色神经网络代码
%% 清空环境变量
clc
clear
data=[1.522 0.5485 0.868 0.6854 0.9844 0.5773;
1.431 0.5943 0.7612 0.6567 0.951 0.7184;
1.671 0.6346 0.7153 0.6802 0.9494 0.623;
1.775 0.7838 0.8895 0.7442 0.9291 0.6924;
1.630 0.5182 0.8228 0.6335 0.8668 0.5831;
1.670 0.7207 0.8897 0.669 0.9516 0.7863;
1.592 0.648 0.6915 0.7347 0.853 0.4497;
2.041 0.7291 0.9309 0.6788 0.9968 0.7356;
1.631 0.7753 0.797 0.7228 0.8702 0.7679;
2.028 0.7923 0.8961 0.6363 0.9478 0.8039;
1.585 0.7491 0.8884 0.6658 0.9398 0.8797;
1.716 0.755 0.7602 0.6157 0.9134 0.7204;
1.511 0.5498 0.8127 0.6204 0.9284 0.6145;
1.454 0.5404 0.7486 0.6328 0.9591 0.6857;
1.568 0.6182 0.7471 0.6585 0.9802 0.6368;
1.883 0.7931 0.9681 0.7646 0.8886 0.7411;
1.562 0.5496 0.8658 0.7181 0.7832 0.5669;
1.69 0.6644 0.8992 0.6357 0.9087 0.7933;
1.791 0.5768 0.713 0.773 0.8829 0.4907;
2.019 0.7473 0.9531 0.6768 0.9964 0.8092;
1.852 0.8236 0.8079 0.6796 0.9272 0.8512;
1.539 0.864 0.8862 0.6386 0.9685 0.8567;
1.728 0.7814 0.941 0.6944 0.9629 0.8775;
1.676 0.7285 0.7868 0.6987 0.8805 0.763;
1.66 0.5476 0.8223 0.6286 0.9355 0.5898
1.351 0.5557 0.7072 0.6811 0.9553 0.7326;
1.603 0.5519 0.6816 0.7009 0.9736 0.6151;
1.876 0.8039 0.8852 0.8068 0.9644 0.7477;
1.631 0.449 0.7941 0.7138 0.8281 0.5306;
1.75 0.6729 0.8526 0.6223 0.9452 0.7562;
1.6 0.6012 0.664 0.792 0.8878 0.4979;
1.946 0.7751 0.9155 0.7032 0.9168 0.7432;
1.636 0.7931 0.7635 0.6393 0.8757 0.7692;
1.865 0.7598 0.8426 0.6756 0.9234 0.8065;
1.829 0.8357 0.9483 0.6892 0.9779 0.8949;
1.814 0.7342 0.7572 0.6134 0.8862 0.7907
]
X=data
%% 数据累加作为网络输入
[n,m]=size(data);
for i=1:n
y(i,1)=sum(X(1:i,1));
y(i,2)=sum(X(1:i,2));
y(i,3)=sum(X(1:i,3));
y(i,4)=sum(X(1:i,4));
y(i,5)=sum(X(1:i,5));
y(i,6)=sum(X(1:i,6));
end
%% 网络参数初始化
a=0.3+rand(1)/4;
b1=0.3+rand(1)/4;
b2=0.3+rand(1)/4;
b3=0.3+rand(1)/4;
b4=0.3+rand(1)/4;
b5=0.3+rand(1)/4;
%% 学习速率初始化
u1=0.0015;
u2=0.0015;
u3=0.0015;
u4=0.0015;
u5=0.0015;
%% 权值阀值初始化
t=1;
w11=a;
w21=-y(1,1);
w22=2*b1/a;
w23=2*b2/a;
w24=2*b3/a;
w25=2*b4/a;
w26=2*b5/a;
w31=1+exp(-a*t);
w32=1+exp(-a*t);
w33=1+exp(-a*t);
w34=1+exp(-a*t);
w35=1+exp(-a*t);
w36=1+exp(-a*t);
theta=(1+exp(-a*t))*(b1*y(1,2)/a+b2*y(1,3)/a+b3*y(1,4)/a+b4*y(1,5)/a+b5*y(1,6)/a-y(1,1));
kk=1;
%% 循环迭代
for j=1:10
%循环迭代
E(j)=0;
for i=1:30
%% 网络输出计算
t=i;
LB_b=1/(1+exp(-w11*t)); %LB层输出
LC_c1=LB_b*w21; %LC层输出
LC_c2=y(i,2)*LB_b*w22; %LC层输出
LC_c3=y(i,3)*LB_b*w23; %LC层输出
LC_c4=y(i,4)*LB_b*w24; %LC层输出
LC_c5=y(i,5)*LB_b*w25; %LC层输出
LC_c6=y(i,6)*LB_b*w26; %LC层输出
LD_d=w31*LC_c1+w32*LC_c2+w33*LC_c3+w34*LC_c4+w35*LC_c5+w36*LC_c6; %LD层输出
theta=(1+exp(-w11*t))*(w22*y(i,2)/2+w23*y(i,3)/2+w24*y(i,4)/2+w25*y(i,5)/2+w26*y(i,6)/2-y(1,1)); %阀值
ym=LD_d-theta; %网络输出值
yc(i)=ym;
%% 权值修正
error=ym-y(i,1); %计算误差
E(j)=E(j)+abs(error); %误差求和
error1=error*(1+exp(-w11*t)); %计算误差
error2=error*(1+exp(-w11*t)); %计算误差
error3=error*(1+exp(-w11*t));
error4=error*(1+exp(-w11*t));
error5=error*(1+exp(-w11*t));
error6=error*(1+exp(-w11*t));
error7=(1/(1+exp(-w11*t)))*(1-1/(1+exp(-w11*t)))*(w21*error1+w22*error2+w23*error3+w24*error4+w25*error5+w26*error6);
%修改权值
w22=w22-u1*error2*LB_b;
w23=w23-u2*error3*LB_b;
w24=w24-u3*error4*LB_b;
w25=w25-u4*error5*LB_b;
w26=w26-u5*error6*LB_b;
w11=w11+a*t*error7;
end
end
%画误差随进化次数变化趋势
figure(1)
plot(E)
title('训练误差','fontsize',12);
xlabel('进化次数','fontsize',12);
ylabel('误差','fontsize',12);
%print -dtiff -r600 28-3
%根据训出的灰色神经网络进行预测
for i=31:36
t=i;
LB_b=1/(1+exp(-w11*t)); %LB层输出
LC_c1=LB_b*w21; %LC层输出
LC_c2=y(i,2)*LB_b*w22; %LC层输出
LC_c3=y(i,3)*LB_b*w23; %LC层输出
LC_c4=y(i,4)*LB_b*w24; %LC层输出
LC_c5=y(i,5)*LB_b*w25;
LC_c6=y(i,6)*LB_b*w26;
LD_d=w31*LC_c1+w32*LC_c2+w33*LC_c3+w34*LC_c4+w35*LC_c5+w36*LC_c6; %LD层输出
theta=(1+exp(-w11*t))*(w22*y(i,2)/2+w23*y(i,3)/2+w24*y(i,4)/2+w25*y(i,5)/2+w26*y(i,6)/2-y(1,1)); %阀值
ym=LD_d-theta; %网络输出值
yc(i)=ym;
end
yc=yc*100000;
y(:,1)=y(:,1)*10000;
%计算预测的每月需求量
for j=36:-1:2
ys(j)=(yc(j)-yc(j-1))/10;
end
figure(2)
plot(ys(31:36),'-*');
hold on
plot(X(31:36,1)*10000,'r:o');
legend('灰色神经网络','实际订单数')
title('灰色系统预测','fontsize',12)
xlabel('月份','fontsize',12)
ylabel('销量','fontsize',12)
4. 【阅读笔记】改进卷积神经网络的14个小技巧
原文： https://mp.weixin.qq.com/s/Lh_lJNvV9BGhc6no2ln-_g
原题目误导性太大
1）架构要遵循应用
你也许会被 Google Brain 或者 DeepMind 这些奇特的实验室所发明的那些耀眼的新模型所吸引，但是其中许多在你的用例或者业务环境中要么是不可能实现，要么是实现起来非常不现实。你应该使用对你的特定应用最有意义的模型，这种模型或许比较简单，但是仍然很强大，例如 VGG。
2）网络路径的激增
每年的 ImageNet Challenge 的冠军都会使用比上一届冠军更加深层的网络。从 AlexNet 到 Inception，再到 ResNet，Smith 注意到了「网络中路径数量倍增」的趋势，并且「ResNet 可以是不同长度的网络的指数集合」。
3）争取简单
然而，更大的并不一定是更好的。在名为「Bigger is not necessarily better」的论文中，Springenberg 等人演示了如何用更少的单元实现最先进的结果。参考：https://arxiv.org/pdf/1412.6806.pdf
4）增加对称性
无论是在建筑上，还是在生物上，对称性被认为是质量和工艺的标志。Smith 将 FractalNet 的优雅归功于网络的对称性。
5）金字塔式的形状
你也许经常在表征能力和减少冗余或者无用信息之间权衡。卷积神经网络通常会降低激活函数的采样，并会增加从输入层到最终层之间的连接通道。
6）过度训练
另一个权衡是训练准确度和泛化能力。用类似 drop-out 或者 drop-path 的方法进行正则化可以提高泛化能力，这是神经网络的重要优势。请在比你的实际用例更加苛刻的问题下训练你的网络，以提高泛化性能。
7）全面覆盖问题空间
为了扩展你的训练数据和提升泛化能力，请使用噪声和数据增强，例如随机旋转、裁剪和一些图像操作。
8）递增的特征构造
随着网络结构越来越成功，它们进一部简化了每一层的「工作」。在非常深层的神经网络中，每一层仅仅会递增的修改输入。在 ResNets 中，每一层的输出和它的输入时很相似的，这意味着将两层加起来就是递增。实践中，请在 ResNet 中使用较短的跳变长度。
9）标准化层的输入
标准化是另一个可以使计算层的工作变得更加容易的方法，在实践中被证明可以提升训练和准确率。批量标准化（batch normalization）的发明者认为原因在于处理内部的协变量，但是 Smith 认为，「标准化把所有层的输入样本放在了一个平等的基础上（类似于一种单位转换），这允许反向传播可以更有效地训练」。
10）输入变换
研究表明，在 Wide ResNets 中，性能会随着连接通道的增加而增强，但是你需要权衡训练代价与准确度。AlexNet、VGG、Inception 和 ResNets 都在第一层使用了输入变换以让输入数据能够以多种方式被检查。
11）可用的资源决指引着层的宽度
然而，可供选择的输出数量并不是显而易见的，这依赖于你的硬件能力以及期望的准确度。
12）Summation Joining
Summation 是一种常用的合并分支的方式。在 ResNets 中，使用总和作为连接的机制可以让每一个分支都能计算残差和整体近似。如果输入跳跃连接一直存在，那么 summation 会让每一层学到正确地东西（例如与输入的差别）。在任何分支都可以被丢弃的网络（例如 FractalNet）中，你应该使用这种方式类保持输出的平滑。
13）下采样变换
在池化的时候，利用级联连接（concatenation joining）来增加输出的数量。当使用大于 1 的步长时，这会同时处理连接并增加连接通道的数量。
14）用于竞争的 Maxout
Maxout 被用在你只需要选择一个激活函数的局部竞争网络中。使用求和以及平均值会包含所有的激活函数，所以不同之处在于 maxout 只选择一个「胜出者」。Maxout 的一个明显的用例是每个分支具有不同大小的内核，而 Maxout 可以包含尺度不变性。
1）使用调优过的预训练网络
「如果你的视觉数据和 ImageNet 相似，那么使用预训练网络会帮助你学习得更快」，机器学习公司 Diffbot 的 CEO Mike Tung 解释说。低水平的卷积神经网络通常可以被重复使用，因为它们大多能够检测到像线条以及边缘这些模式。将分类层用你自己的层替换，并且用你特定的数据去训练最后的几个层。
2）使用 freeze-drop-path
Drop-path 会在训练的迭代过程中随机地删除一些分支。Smith 测试了一种相反的方法，它被称为 freeze-path，就是一些路径的权重是固定的、不可训练的，而不是整体删除。因为下一个分支比以前的分支包含更多的层，并且正确的内容更加容易近似得到，所以网络应该会得到更好的准确度。
3）使用循环的学习率
关于学习率的实验会消耗大量的时间，并且会让你遇到错误。自适应学习率在计算上可能是非常昂贵的，但是循环学习率不会这样。使用循环学习率（CLR）时，你可以设置一组最大最小边界，在边界范围内改变学习率。Smith 甚至还在论文《Cyclical Learning Rates for Training Neural Networks》中提供了计算学习率的最大值和最小值的方法。参考：https://arxiv.org/pdf/1506.01186.pdf
4）在有噪声的标签中使用 bootstrapping
在现实中，很多数据都是混乱的，标签都是主观性的或者是缺失的，而且预测的对象可能是训练的时候未曾遇到过的。Reed 等人在文章《TRAINING DEEP NEURAL NETWORKS ON NOISY LABELS WITH BOOTSTRAPPING》中描述了一种给网络预测目标注入一致性的方法。直观地讲，这可以奏效，通过使网络利用对环境的已知表示（隐含在参数中）来过滤可能具有不一致的训练标签的输入数据，并在训练时清理该数据。参考：https://arxiv.org/pdf/1412.6596
5）采用有 Maxout 的 ELU，而不是 ReLU
ELU 是 ReLU 的一个相对平滑的版本，它能加速收敛并提高准确度。与 ReLU 不同，ELU 拥有负值，允许它们以更低的计算复杂度将平均单位激活推向更加接近 0 的值，就像批量标准化一样参考论文《FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)》，https://arxiv.org/pdf/1511.07289.pdf。如果您使用具有全连接层的 Maxout，它们是特别有效的。
5. 什么是灰色神经网络
与模糊神经网络类似，网络结构一样，区别在于输入的是模糊数，有些模型还使用模糊函数作为转移函数。
6. Matlab实现或者java编程实现 神经网络 灰色模型预测
灰色预测模型为GM(1，1)
灰参数a和u的值：
a=-0.0323252892223847 u=14042.3315313962
原始序列预测值：
13205 14705 15188 15687 16203 16735 17285 17853 18439 19045
累加序列预测值：
14705 15188 15687 16203 16735 17285 17853 18439 19045 19671
级比值：
0.933017734755882 0.991731483427931 0.906095238095238 0.951546640889319 0.951264367816092 0.952798160113898 0.980668027064762 0.994977559307544 1.07637451115712
相对误差值：
0 3.90438540431923 6.43063985387993 0.395441255218115 2.10782203579584 3.81930406598348 5.34849588953024 4.12878515843797 1.47641388551927 0.5323261370569
2013-2017年的预测值
2013 20317.4561851648
2014 20984.954243779
2015 21674.381900971
2016 22386.4596192006
2017 23121.9315305897
7. 求助：灰色理论和BP神经网络之间的区别在哪
先说共同点，二者都可以看做事黑箱，即内部结构不确切知道的系统，不同的是灰色理论是基于现有数学理论，而神经网络是基于人脑的物理模型。
8. 灰色理论预测和BP神经网络预测哪个难
BP神经网络相对比较难，基本的灰色理论GM（1，1）与最小二乘类似，当然，各有难度各有用处，希望对你有帮助。