导航:首页 > 编程大全 > 神经网络统计套利交易信号

神经网络统计套利交易信号

发布时间:2023-02-17 16:27:17

A. bp算法在人工神经网络中的作用是什么

BP(Back Propagation)算法是一种常用的人工神经网络训练算法,是通过反向传播来调整神经网络权值的算法。在人工神经网络中,BP算法的作用是帮助神经网络对输入的数据进行学习,并通过学习来调整神经网络的权值,以使得神经网络能够较好地对未知数据进行预测。

B. 卷积神经网络参数解析

(1)现象:

        (1-1)一次性将batch数量个样本feed神经网络,进行前向传播;然后再进行权重的调整,这样的一整个过程叫做一个回合(epoch),也即一个batch大小样本的全过程就是一次迭代。

        (1-2)将训练数据分块,做成批(batch training)训练可以将多个训练数据元的loss function求和,使用梯度下降法,最小化 求和后的loss function ,进而对神经网络的参数进行优化更新

(2)一次迭代:包括前向传播计算输出向量、输出向量与label的loss计算和后向传播求loss对权重向量 w 导数(梯度下降法计算),并实现权重向量 w 的更新。

(3)优点:

        (a)对梯度向量(代价函数对权值向量 w 的导数)的精确估计,保证以最快的速度下降到局部极小值的收敛性;一个batch一次梯度下降;

        (b)学习过程的并行运行;

        (c)更加接近随机梯度下降的算法效果;

        (d)Batch Normalization 使用同批次的统计平均和偏差对数据进行正则化,加速训练,有时可提高正确率 [7]

(4)现实工程问题:存在计算机存储问题,一次加载的batch大小受到内存的影响;

(5)batch参数选择:

        (5-1)从收敛速度的角度来说,小批量的样本集合是最优的,也就是我们所说的mini-batch,这时的batch size往往从几十到几百不等,但一般不会超过几千

        (5-2)GPU对2的幂次的batch可以发挥更佳的性能,因此设置成16、32、64、128...时往往要比设置为整10、整100的倍数时表现更优

    (6)4种加速批梯度下降的方法 [8] :

        (6-1)使用动量-使用权重的 速度 而非 位置 来改变权重。

        (6-2)针对不同权重参数使用不同学习率。

        (6-3)RMSProp-这是Prop 的均方根 ( Mean Square ) 改进形式,Rprop 仅仅使用梯度的符号,RMSProp 是其针对 Mini-batches 的平均化版本

        (6-4)利用曲率信息的最优化方法。

(1)定义:运用梯度下降算法优化loss成本函数时,权重向量的更新规则中,在梯度项前会乘以一个系数,这个系数就叫学习速率η

(2)效果:

        (2-1)学习率η越小,每次迭代权值向量变化小,学习速度慢,轨迹在权值空间中较光滑,收敛慢;

        (2-2)学习率η越大,每次迭代权值向量变化大,学习速度快,但是有可能使变化处于震荡中,无法收敛;

    (3)处理方法:

        (3-1)既要加快学习速度又要保持稳定的方法修改delta法则,即添加动量项。

    (4)选择经验:

        (4-1)基于经验的手动调整。 通过尝试不同的固定学习率,如0.1, 0.01, 0.001等,观察迭代次数和loss的变化关系,找到loss下降最快关系对应的学习率。

        (4-2)基于策略的调整。

                (4-2-1)fixed 、exponential、polynomial

                (4-2-2)自适应动态调整。adadelta、adagrad、ftrl、momentum、rmsprop、sgd

    (5)学习率η的调整:学习速率在学习过程中实现自适应调整(一般是衰减)

        (5-1)非自适应学习速率可能不是最佳的。

        (5-2)动量是一种自适应学习速率方法的参数,允许沿浅方向使用较高的速度,同时沿陡峭方向降低速度前进

        (5-3)降低学习速率是必要的,因为在训练过程中,较高学习速率很可能陷入局部最小值。

参考文献:

[1]  Simon Haykin. 神经网络与机器学习[M]. 机械工业出版社, 2011.

[2]   训练神经网络时如何确定batch的大小?

[3]   学习笔记:Batch Size 对深度神经网络预言能力的影响  

[4]   机器学习算法中如何选取超参数:学习速率、正则项系数、minibatch size.  http://blog.csdn.net/u012162613/article/details/44265967

[5]   深度学习如何设置学习率 . http://blog.csdn.net/mao_feng/article/details/52902666

[6]   调整学习速率以优化神经网络训练. https://zhuanlan.hu.com/p/28893986

[7]   机器学习中用来防止过拟合的方法有哪些?

[8]   Neural Networks for Machine Learning by Geoffrey Hinton .

[9]   如何确定卷积神经网络的卷积核大小、卷积层数、每层map个数

[10]   卷积神经网络的卷积核大小、卷积层数、每层map个数都是如何确定下来的呢?

C. 人工神经网络预测信贷的意义

人工神经网络算法的信用风险预测
信用风险或信用违约表明未偿还已提供给客户的银行金融服务的可能性。信贷风险一直是银行贷款决策中广泛研究的领域。信用风险对银行和金融机构,特别是对商业银行而言,起着至关重要的作用,并且始终难以解释和管理。由于技术的进步,银行已经设法降低成本,以便开发强大而复杂的系统和模型来预测和管理信贷风险。
为了预测信用违约,已经创建并提出了几种方法。方法的使用取决于银行和金融机构的复杂程度,贷款的规模和类型。常用的方法是判别分析。这种方法使用了有助于决策的得分函数,而一些研究人员由于其限制性假设而对区分分析的有效性表示怀疑。变量之间的正态性和独立性[4]。人工神经网络模型的创建是为了克服其他效率低下的信用违约模型的缺点。
本文的目的是研究神经网络算法解决预测信用违约问题的能力,该能力衡量一段时间内贷款申请的信用度。前馈神经网络算法被应用于银行的住宅抵押贷款应用的小型数据集,以预测信用违约。模型的输出将生成一个二进制值,该值可用作分类器,以帮助银行识别借款人是否违约。本文将采用一种经验方法,该方法将讨论两个基于神经网络的模型,并且将通过训练和验证有关住宅抵押贷款申请的模型来报告实验结果。作为该方向的最后一步,还对数据集执行了线性回归方法。
2方法论
2.1数据
数据是从kaggle.com(贷款俱乐部贷款数据)收集的,其中包含850万条记录。从数据集中抽取了60
因变量: loan_status(0和1);如果借款人将违约,那么投资将是不良的;如果借款人不违约,则他或她将能够偿还全部贷款额。因此,要区分神经网络,0表示借方将违约,而1表示借方将不违约。
自变量:以下变量被视为自变量,loan_amnt,funded_amnt,emp_length,等级,funded_amnt_inv,期限,int_rate,分期付款,year_inc,issue_d和application_type
2.2模型
在这项研究中,使用了经典的前馈神经网络。前馈网络由一个具有10个输入变量的输入层,7个隐藏层和一个具有代表分类器的神经元的输出层组成。使用监督学习算法(反向传播算法)对网络进行训练。该算法通过最小化实际和期望输出之间的误差来优化神经元权重。对于神经元i,权重将通过公式进行更新,其中f为学习系数是隐藏层的输出,算法将一直运行到找到停止标准为止。
对于图3所示的神经网络算法,必须仔细选择参数,例如f的值以及神经元数和隐藏层数。在图3中,连接由每层之间的黑线表示和权重,蓝线显示每个步骤中的偏差(模型的截距)。网络是一个黑匣子,训练算法可以在融合时随时使用。同样,已经从提取的数据集中为网络算法创建了一个随机样本。然后创建一个训练和测试数据集,分别用于训练模型和验证模型的性能。
图3:信用违约模型的神经网络图
3实验与结果
已将10个归一化变量作为按顺序排列的输入作为网络输入。网络的输出是一个分类器,结果为0和1。首先,已检查数据是否缺少数据点值,没有数据丢失;无需修复数据集。输入的相关矩阵如图4所示。
图4:输入数据集的相关图
训练完数据集后,将在测试数据集上对其进行测试。为了基于其他输入来计算输出,已使用了计算功能。将7个隐藏层添加到网络并创建了模型。网络已生成以下结果矩阵:
表1:经典前馈神经网络的结果矩阵
属性

错误
322.833
达到阈值
0.0998
脚步
6765
总共需要6765个步骤,直到误差函数的所有导数都小于默认阈值(0.01)。在实现经典的前馈算法之后,通过使用学习速率为0.01的反向传播算法实现了另一个模型。经典过程和反向传播过程具有几乎相同的错误率。因此,经典模型拟合不如反向传播算法令人满意。
图5:输入的广义权重
表2:预测输出与期望输出的比较
实际
预测
火柴
0
0.0032
真正
0
0.00017
真正
0
0.0114
真正
1个
0.985
真正
0
0.0060
真正
0
0.0132
真正
0
0.9704

0
0.0101
真正
1个
0.00128
真正
最后,将线性回归应用于数据集以比较两种算法的准确性。glm()函数已用于拟合线性回归模型。对于回归,已分配了大于0.5的概率,如果回归中的预测值大于0.5,则该值为1,否则为0。已经通过合并错误分类误差来计算准确性,并且混淆矩阵的计算也如图6所示。 。
图6:混淆矩阵和线性回归统计
为了强调比较,已计算了线性回归和神经网络的均方误差,如表3所示。从表中可以看出,两个过程的均方误差大致相同,因此两个过程都相同工作。有必要知道,MSE中的偏差取决于训练和测试划分。
表3:两个过程的均方误差
MSE神经网络
MSE线性回归
0.0220449
0.0227334
4。结论
本文研究了人工神经网络和线性回归模型来预测信用违约。两种系统都已经过kaggle.com提供的贷款数据培训。两种系统的结果对数据集均显示出相同的效果,因此非常有效,通过人工神经网络的准确率为97.67575%,准确率为97.69609%。系统对输出变量的分类正确,误差很小。因此,这两个过程都可以用来识别信用违约率。而且,神经网络代表黑匣子方法,因此与线性回归模型相比,难以解释结果。因此,使用哪种模型取决于必须使用的应用程序。此外,在使用神经网络过程拟合模型时,用户需要格外注意属性和数据规范化以提高性能。总之,神经网络提供了强有力的证据来有效预测贷款申请的信用违约。
神经网络算法具有广泛的应用范围,不仅对住宅抵押至关重要。其他应用可以是由公司发行的债券评级,通常称为债券评级,对可以持续使用长达一年的短期投资进行评级,对本地和外币的长期和短期评级,主权或国家评级。通过使用适当的算法和技术,可以进一步增强预测系统,以为应用程序分配信用等级。
题库

D. 交易策略的七种类型

交易系统的生命来源于交易策略。只见树林,不见森林;只见森林,不见生态,这也是我们常做的事。在交易策略这个问题上,我相信现在还没有多少人能见到森林。从最近的畅销书排行榜就能看出,我们中间多数人对交易策略的认识还只盯在跟庄这一种类型。实际上,据我的理解,理性的交易策略应该包括以下7种基本类型:

价值型策略

即着眼于股票的内在价值。最典型的是巴菲特,完全从公司基本面上寻找投资机会。还有一个奥尼尔的CANSLIM模型,其中多半要素也属于价值范围。如果细分,可以说巴菲特是价值挖掘型,而奥尼尔是价值增长型。

趋势型策略

通俗地说,就是追涨杀跌。从众心理是趋势的主要基础。趋势也是股市运行的最明显特徵。虽然牛市上具有明显上涨趋势的时间只占总时间的15%左右,但由于它的特徵显着,还是受到众多的投资者偏爱。

顺便提醒炒股时间不长的朋友,运用趋势型策略最关键的是资金管理和止损,而不是信号的成功率。

趋势型策略的典型人物一个是索罗斯,他不仅运用趋势,还提出走在趋势的前面,就是找趋势转折点。另一个是范·撒凯在《通向金融王国的自由之路》一书中提到的巴索,建议大家都去找一下这本书看看,理解一下R系数的理念会使您对趋势型策略有全新的认识。

能量型策略

前面的趋势型主要关注价格,而能量型主要关注的是成交量。成交量是股价的元气,这句话十分到位地表达了这类策略的观点。例如OBV指标就是一个最简单的能量型策略的例子。

周期型策略

螺旋式上升是世界上最常见的发展方式,股市也不例外。一个螺旋就是一个周期。我们常说的波段,它的学名应该也叫周期。周期型策略的代表人物我认为第一个是艾略特,波浪就是周期嘛,只不过他那里的波浪还只是非理性的,靠肉眼看,就像看云彩似的。好在现在有了不怕苦不怕累的电脑,能够代替我们把波浪数得更统一,如果再加上神经网络技术,波浪的前景应该很光明的。

突变型策略

我不是在说突变论的突变,这里我们不需要那么复杂的。这里说的突变就是价格发生突然变化的意思。突变往往是容易把握的好机会。只不过全国80%的个人投资者都是业馀股民、上班族,用不上,所以不多说了。

跟庄型策略

我把这个策略排在第六位,也是想请各位注意,除它之外,还有其他可能是更好的策略。

数理型策略

不是数理化的数理,而是数术之理的意思。我对此一窍不通,曾有朋友想教化我,但我一看就晕,学不了。

请注意,以上说的是7种基本类型。所谓“基本”,就是指它是一种在理想模型中抽象概括出的东西。在实际中,大可不必说我只用一种基本策略。把不同的策略组合进一个交易系统一般能得到更好的甚至是出奇好的效果。

E. 完全不懂金融,想学习量化投资需要学习哪些金融科目

我个人认为学习量化投资在金融方面需要具备两个方面的知识:
1、首先是要了解金融市场与金融产品,只有这样才能在众多市场与标的中选择合适的来构建投资组合,这一方面需要了解的基础知识有:金融市场与金融机构、投资学、金融衍生品等等;
2、其次是需要了解如何量化,相信你应该有足够的IT背景,编程没啥问题,其次的话就是要了解数理来沟通金融产品选择与编程落地,需要了解的科目有:概率论、统计学、计量经济学、金融经济学、数理金融等。

F. 外汇中所说的EA是什么

什么是EA?

EA是一个专门针对MetaTrader平台所编写的软件,EA可以建议交易者进行交易,也可以被编程出来自动执行账户上的交易,我们通常都是在指后者。

那么EA是什么呢?

EA就是将您自己或别人的外汇交易策略用特殊的编程语言(MQL)编写成一个电脑软件程序, 让电脑按照您事先设定好的条件自动地为您买卖与交易,当然盈亏结果取决于您的自动交易系统设计得好坏。

EA的主要执行过程可分为:盯盘--开仓--再盯盘--平仓,如此循环执行的过程。

而一个EA主要包括三个要素:订单执行、风险管理和资金管理

订单执行:就是什么时候进场下单,什么时候平仓卖出,主要依据的是指标组合。

风险管理:在外汇交易中风险管理和资金管理都是非常重要的,风险管理通常就是设置止盈止损。

资金管理:资金管理就是仓位管理,每次下单多少手,是固定的手数还是基于总资金的一个比例?

G. 什么是神经网络

神经网络是机器学习的一个流派。这是现今最火的一个学派。我们在第一讲中,已经知道人学习知识是通过神经元的连接,科学家通过模仿人脑机理发明了人工神经元。技术的进一步发展,多层神经元的连接,就形成了神经网络。那么神经网络是怎么搭建起来的呢?神经元是构建神经网络的最基本单位, 这张图就是一个人工神经元的原理图,非常简单,一个神经元由一个加法器和一个门限器组成。加法器有一些输入,代表从其他神经元来的信号,这些信号分别被乘上一个系数后在加法器里相加,如果相加的结果大于某个值,就「激活」这个神经元,接通到下个神经元,否则就不激活。原理就这么简单,做起来也很简单。今天所有的神经网络的基本单元都是这个。输入信号乘上的系数,我们也叫「权重」,就是网络的参数,玩神经网路就是调整权重,让它做你想让它做的事。 一个神经元只能识别一个东西,比如,当你训练给感知器会「认」数字「8」,你给它看任何一个数字,它就会告诉你,这是「8」还不是「8」。为了让机器识别更多更复杂的图像,我们就需要用更多的神经元。人的大脑由 1000 亿个神经元构成,人脑神经元组成了一个很复杂的三维立体结构。

H. 神经网络——BP算法

对于初学者来说,了解了一个算法的重要意义,往往会引起他对算法本身的重视。BP(Back Propagation,后向传播)算法,具有非凡的历史意义和重大的现实意义。

1969年,作为人工神经网络创始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一书,论证了简单的线性感知器功能有限,不能解决如“异或”(XOR )这样的基本问题,而且对多层网络也持悲观态度。这些论点给神经网络研究以沉重的打击,很多科学家纷纷离开这一领域,神经网络的研究走向长达10年的低潮时期。[1]

1974年哈佛大学的Paul Werbos发明BP算法时,正值神经外网络低潮期,并未受到应有的重视。[2]

1983年,加州理工学院的物理学家John Hopfield利用神经网络,在旅行商这个NP完全问题的求解上获得当时最好成绩,引起了轰动[2]。然而,Hopfield的研究成果仍未能指出明斯基等人论点的错误所在,要推动神经网络研究的全面开展必须直接解除对感知器——多层网络算法的疑虑。[1]

真正打破明斯基冰封魔咒的是,David Rumelhart等学者出版的《平行分布处理:认知的微观结构探索》一书。书中完整地提出了BP算法,系统地解决了多层网络中隐单元连接权的学习问题,并在数学上给出了完整的推导。这是神经网络发展史上的里程碑,BP算法迅速走红,掀起了神经网络的第二次高潮。[1,2]

因此,BP算法的历史意义:明确地否定了明斯基等人的错误观点,对神经网络第二次高潮具有决定性意义。

这一点是说BP算法在神经网络领域中的地位和意义。

BP算法是迄今最成功的神经网络学习算法,现实任务中使用神经网络时,大多是在使用BP算法进行训练[2],包括最近炙手可热的深度学习概念下的卷积神经网络(CNNs)。

BP神经网络是这样一种神经网络模型,它是由一个输入层、一个输出层和一个或多个隐层构成,它的激活函数采用sigmoid函数,采用BP算法训练的多层前馈神经网络。

BP算法全称叫作误差反向传播(error Back Propagation,或者也叫作误差逆传播)算法。其算法基本思想为:在2.1所述的前馈网络中,输入信号经输入层输入,通过隐层计算由输出层输出,输出值与标记值比较,若有误差,将误差反向由输出层向输入层传播,在这个过程中,利用梯度下降算法对神经元权值进行调整。

BP算法中核心的数学工具就是微积分的 链式求导法则 。

BP算法的缺点,首当其冲就是局部极小值问题。

BP算法本质上是梯度下降,而它所要优化的目标函数又非常复杂,这使得BP算法效率低下。

[1]、《BP算法的哲学思考》,成素梅、郝中华著

[2]、《机器学习》,周志华著

[3]、 Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现

2016-05-13 第一次发布

2016-06-04 较大幅度修改,完善推导过程,修改文章名

2016-07-23 修改了公式推导中的一个错误,修改了一个表述错误

I. (BP进阶1)从M-P模型到BP神经网络

经过两天的研究,终于更加清晰地搞明白了所谓BP,做此记录。

M-P模型,其实就是按照生物神经元的结构和工作原理来构造出来的比较简单的模型。下图为M-P模型的示意图:

具体的推论详见 http://blog.csdn.net/u013007900/article/details/50066315
抛去繁重的公式,我们可以把这个模型理解为:
要想下一个神经元接收到信息,那么接收到的信号一定要大于某一个阙值θ才能由输出信号yj输出,该阙值由具体的神经元决定;也就是说,输入的信号总和在经过神经元后失去了阙值θ的信号以后,转化为输出信号输出。
我们假每一个输出信号x都输入一定的神经元Wij,那么该神经元共接收到的输入信号即为

这个公式不难理解,于是在神经元中失去了阙值量θ后:

经过信号转化(激活函数f(x)的作用)为输出信号:

然而神经元突触的信号类型又分为兴奋和抑制两种状态,于是,在M-P模型中,这种性质体现为权值w的正负,如果权值是负,那么输出y值就也为负,体现为抑制状态;如果权值是正,那么输出y值就也为正,体现为兴奋状态。

这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model ),也称为神经网络的一个处理单元( PE, Processing Element )。

常用的激活函数有五种:
线性激活函数:

非线性激活函数:

在进行BP神经网络进行训练的时候,我们常用的函数是S形函数。

简单来说,感知器就是一个简单的神经网络模型,以下是感知器的拓扑结构图:

而oi表现形式为两种,1和-1,来表示兴奋和抑制。

因此,单层感知器的作用为可以使用一条直线来对输入数据进行线性分类,如果仍旧不太明白的话,可以从公式入手来进行分析:

所以可以得知,这是一个关于x1,x2的线性函数,而在图1中用于分类的红色直线,则是与函数w1j x1+w2j x2-θj=0成线性关系的函数。

到此,我们已经讲解了单层感知器的实现分类原理,引入多层分类器的原因在于,单层感知器的局限性只能区分二维平面中的线性函数,而对于多维平面,或着非线性函数来说,则无法实现分类。

可以看出,在加入了隐层以后输入层的数据不再直接经过简单的权值激活运算就直接进入输出层,而是在多层的隐层经过复杂计算后,再输入层输出,这样的计算方法,可以保证输出的o和输入信号x1,x2,不再是简单的线性关系,而其中的计算也将会随着隐层的增加而无限度地复杂化。
我们可以比较一下单层感知器和多层感知器的分类能力:

由上图可以看出,随着隐层层数的增多,凸域将可以形成任意的形状,因此可以解决任何复杂的分类问题。实际上,Kolmogorov理论指出:双隐层感知器就足以解决任何复杂的分类问题。
异或问题的解决:

在M-P模型中,我们得知,为了实现有效的分类,需要加入一定数量的隐层来加强算法的复杂性,而在隐层内部的计算我们是无法得知的,因此,我们需要进行神经网络的训练。
这样说可能有点突兀,我们不妨这样想,我们已知的是一组数据和它们相对应的分类状况,求解的是如何可以用同类的数据来得到正确的分类。
或者这样说,我们已知:
x1=2,x2=3时,y=5,x1=4,x2=5时,y=9,那么,求解x1=8,x2=0时,y的值,这样是不是好理解很多?
总之,我们需要的是一个可以满足当前条件的“公式”,让它可以计算出更多的数据,这在我们的小学数学里叫做解算式,在这里就可以叫做训练。
我们需要知道这些数据在隐层里是经过怎样的计算,才得到了输出结果,于是,我们需要先进性数据的训练,然后再根据现有未知结果的数据套进去,得到预期结果。
而我们在这里,得出的所谓隐层结构的计算,就是需要训练出的“公式”。
具体的BP训练方式下次更新。

J. 用于量子计算机的深度卷积神经网络

量子计算机将用于什么用途?量子计算机有望在许多领域帮助解决难题,包括机器学习。

本文详细讲述 量子计算机 卷积神经网络 (CNN)的理论实现。我们将此算法称为 QCNN ,我们证明了它可以比CNN 更快 地运行,并且精度 很高

为此,我们必须提出 卷积积 量子形式 ,找到实现非线性和池化的方法,以及对 表示图像 量子态 进行层析成像的新方法,以 保留有意义的信息



简而言之,我们可以说 量子物理系统可以描述为 维度为2^n的某些希尔伯特空间中的 向量 ,其中n是粒子数。实际上,这些向量表示许多可能的观察结果的叠加。

另一方面,机器学习,尤其是神经网络,正在粗略地使用向量和矩阵来理解或处理数据。 量子机器学习(QML)旨在使用量子系统对向量进行编码,并使用新的量子算法对其进行学习 。一个关键的概念是在许多矢量上使用量子叠加,我们可以同时处理它们。

我不会更深入地介绍量子计算或QML。有关更多详细信息,可以参考NeurIPS 2019中有关 Quantum k-means的 一篇文章 :

卷积神经网络(CNN)是一种流行且高效的神经网络,用于图像分类,信号处理等。在大多数层中,将 卷积积 应用于图像或张量的输入上。通常后面是 非线性层和池化层

3D张量输入X ^ 1(RGB图像)和4D张量内核K ^ 1之间的卷积。



在本章中,我将重点介绍一层,解释什么是量子CNN。

这里的核心思想是我们可以根据矩阵乘法来重新构造卷积积。

该算法首先以量子叠加方式加载矩阵的 所有行和列 。然后,我们使用先前开发的 Quantum Inner Proct Estimation估算 输出的每个像素。在实践中,这就像只计算一个输出像素(图中的红点),但是以 量子叠加的方式进行计算可以使它们同时全部都具有 !然后,我们可以同时对它们中的每一个应用非线性。

不幸的是,我们所拥有的只是一个量子状态,其中所有像素并行存在,并不意味着我们可以访问所有像素。如果我们打开"量子盒"并查看结果(一个度量),我们 每次都会随机地只看到一个输出像素 。在打开盒子之前,这里都有"四处漂浮"的东西,就像著名的薛定谔的死活猫。

为了解决这个问题,我们引入了一种 只检索最有意义的像素的方法 。实际上,量子叠加中的每个输出像素都有一个幅度,与我们测量系统时 被看到 的幅度有关。在我们的算法中,我们强制此幅度等于像素值。 因此,具有高值的输出像素更有可能被看到。

在CNN中,输出中的高值像素非常重要。它们代表输入中存在特定模式的区域。通过了解不同模式出现的位置,神经网络可以理解图像。因此,这些 高价值像素承载着有意义的信息 ,我们可以舍弃其他希望CNN适应的 像素

图像上量子效应(噪声,随机性,采样)的小示例。凭直觉,我们仅对高值像素采样后仍可以"理解"图像。

请注意,在对这些输出像素进行采样时,我们可以在存储它们时应用任何类型的 合并 (有关技术细节,请参见论文)。我们将这些像素存储在经典内存中,以便可以将它们重新加载为 下一层的 输入。



传统上,CNN层需要时间 Õ( 输出大小 x 内核大小 。这就是为什么例如使用许多大内核来训练这些网络变得昂贵的原因。我们的 量子CNN 需要时间 为O( σ X 输出大小) X Q) ,其中 σ 是我们从输出(<1)绘制样品的比率,和 Q 表示量子精度参数和数据相关的参数一束。有 没有在内核大小更依赖 (数量和尺寸),这可能允许进行更深入的CNN。

通过量子CNN的这种设计,我们现在也想用量子算法对其进行训练。训练包括遵循梯度下降规则更新内核参数。在这里也可以找到一种更快的量子算法,它几乎等同于具有某些额外误差的通常的梯度下降。

QCNN和量子反向传播看起来不错,但暗示了很多近似,噪声和随机性。尽管有这些伪像,CNN仍然可以学习吗?我们比较了小型经典CNN的训练和QCNN在学习对手写数字进行分类(MNIST数据集)的任务上的模拟。这表明 QCNN可以以相似的精度学习

量子和经典CNN训练曲线之间的比较。 σ 是从每一层后的输出提取的高值像素的比率。期望 σ 太小,QCNN可以很好地学习。请注意,此数值模拟很小,只能给出直觉,不是证明。

在这项工作中,我们设计了第一个量子算法,通过引入量子卷积乘积和检索有意义的信息的新方法,几乎​​可以重现任何经典的CNN体​​系结构。它可以允许使用更深,更大的输入或内核来大大加快CNN的速度。我们还开发了量子反向传播算法,并模拟了整个训练过程。

请读者思考的问题:我们可以在其他数据集使用大型架构上训练QCNN吗?


阅读全文

与神经网络统计套利交易信号相关的资料

热点内容
4kb的txt文件差不多多少字 浏览:984
u盘文件突然变成exe 浏览:164
现在哪些学校初中有学编程的 浏览:402
word查找全选 浏览:599
开工报告附什么文件资料 浏览:150
分区工具app怎么用 浏览:212
安卓坚果云文件路径 浏览:591
sqllog文件 浏览:236
如何在电脑中找到文件路径 浏览:830
数据结构访问和查找有什么区别 浏览:401
怎么清空icloud内的数据 浏览:338
微信锁屏后音乐停止 浏览:668
applepay苹果手机卡 浏览:835
一个14mb的文件能储存多少万汉字 浏览:478
腾讯文档里如何导出数据 浏览:979
java面试题csdn 浏览:410
rpgnvp是什么文件 浏览:594
如何将一列数据复制到excel 浏览:488
sd卡怎么恢复excel文件 浏览:282
gdblinux内核多核调试 浏览:24

友情链接