DDOS防御专家-提供超强DDoS高防/CC防护/大流量清洗服务!
当前位置:主页 > DDOS防御 > 正文

网站安全防护_苍云盾立技能介绍_秒解封

11-08 DDOS防御

通常,我们希望能够对代表整体(低维)概念的高维数据点的概率分布进行建模。这使我们能够了解相关数据的相关特征,并使我们能够轻松地从数据分布中进行采样。要理解用低维概念表示某个事物意味着什么,请考虑一下内部机器对图像的表示之间的区别,以及您如何向您的朋友Alice描述相同的图像。对爱丽丝来说,当描述一个需要数百万像素矩阵存储在计算机上的图像时,你可以简单地说"这是一座小山,上面有一棵大树和一匹马"。"山,上面有一棵大树和一匹马"是图像的低维表示(ASCII为32字节),并且只有当Alice理解如何将这些高级概念转换为图像时才有效。更具体地说,根据以前的经验,爱丽丝了解到,图像在世界上的工作方式是有限制的:马一般有四条腿,脚放在地上,树木一般不呈紫色,通常山丘只存在于室外,所以一个合理的背景是天空。图像、视频、文本和听觉信号包含了数量庞大的组合配置,但这些配置中的大多数将永远不存在。所有这些关于数据分布的背景知识使Alice能够听到您对图像的描述,并想象一个在某种程度上相当相似的图像。这篇博文的激励性问题是:我们如何设计我们的模型来学习这种背景背景,以及正确的低维表示?这类约束的一些实际示例如下:人的脸不会显得随意。在所有的脸上都会有一些结构常数,哪些方法无法防御ddos攻击,例如,对于任何直立的人脸,眼睛将位于鼻孔上方,dns高防和cdn区别,鼻孔将位于嘴上方。面部也会表现出某些特征——例如,男性/女性、肤色、眼睛颜色、微笑、皱眉——其中许多都是相关的(例如,长着突出胡子的脸更可能是男性而不是女性)。服装:有许多不同的款式、颜色等,但它们都必须符合人体的轮廓,至少在某种程度上。音乐:有许多不同的风格、乐器等,但只有固定数量的流派和和谐的节奏。语音模式:有许多不同的口音、语调等,但或多或少有一套固定的单词和音素。图1:认识这些名人吗?可能不会吧!这些脸都不是真人的。它们是由一个从名人数据集中训练出来的VAE人工生成的!图片来源:[1]变分自动编码器(VAEs)是一种生成模型,其设计目标是学习这种表示,怎么自己搭建高防cdn,已应用于上述每个应用。在这篇博文中,我们将研究vae的机制,特别关注那些很酷的部分——应用程序,同时提供足够的潜在直觉来理解它们在高层是如何工作的。为了对VAEs进行深入的数学推导,我们鼓励读者查看Kingma和Welling的VAE原始论文[1]。VAEs的目标是学习有关数据在低维潜在空间(Z)中的高维空间(X)中的信息内容,该空间描述了数据中概念的分布。VAEs不同于典型的自动编码器的主要方式是,它们将内部Z分布限制为接近固定的先验Z,这使得从模型中进行采样变得更加容易。一个普通的自动编码器学习将X映射到一个潜在的编码分布Z中,对它施加的唯一约束是Z包含有助于通过解码器重建X的信息。但是,如果你想从代表你的数据的分布中取样呢?你会怎么做?可能你的Z值集中在Z空间的某些区域,但是,除非你记录了你的编码器在训练过程中创建的所有Z值,否则你没有任何好的方法来根据某些标准选择任意的Z值,并确信通过对Z应用解码器生成的X将代表数据分布的有效成员。图2:左图:使用传统自动编码器时,Z空间密度的二维描述。这种分布是多模态的,难以量化,也很难从中取样。右图:由VAE产生的Z空间,相比之下,在设计上假设近似各向同性高斯的形式。图3:VAE是什么样子的?端到端拓扑结构与标准自动编码器的拓扑结构差别不大,代码空间由隐藏层表示。然而,在这种情况下,鼓励隐层采用各向同性高斯先验的形式。在数据生成过程中,去掉网络的左半部分,并假设先验分布对代码空间进行采样。在这个简化的示意图中,各向同性高斯是二维的,但是对于N维的潜在空间,高斯可以看作是一个指数衰减函数,与超球体的径向距离有关。采样Z空间分布假设我们要从数据分布P(X)中取样。对于高维的X,这在计算上是很困难的,但是如果我们能够了解数据中潜在概念的分布,以及如何将概念空间(Z)中的点映射回原始样本空间(X)呢?我们该怎么做呢?让我们回顾一下贝耶斯法则:$latex P(Z | X)=\frac{P(X | Z)P(Z)}{P(X)}=\frac{P(X | Z)P(Z)}{\int_Z P(X,Z)dZ}=\frac{P(X | Z)P(Z)}{\int|Z P(X | Z)P(Z)dZ}&s=3&bg=f8f8$分母中的表示是通过将X和Z的联合分布边缘化而得到的。注意积分的自变量可以用联合分布或似然与先验的乘积来写。不幸的是,对于高维的问题,这种积分在计算上是很困难的,所以必须使用替代。一种可能的解决方案是通过蒙特卡罗估计来抽样P(Z | X)。典型的马尔可夫链蒙特卡罗(MCMC)方法是在给定当前构型的情况下,根据某种接受准则跳转到Z空间中的一个新构型。值得注意的是,如果我们像Metropolis Hastings采样器那样考虑相对跃迁概率,我们会随机接受到Z空间中新点的转换,根据:$latex P{accept}=\frac{P(Z{new}| X)}{P(Z{current}| X)}&s=3&bg=f8f8$请注意,这可以避免在联合分配中被边缘化,因为条款在分割中被取消。在较小的假设和足够的迭代次数下,保证了采样的遍历性1,允许根据后验分布在Z空间中随机行走。然而,出现了几个问题,包括1)行走收敛到后面所需的时间2)Z空间中的步长,3)分离的多模态分布(其中多个高概率区域相距很远,因此过渡到它们需要很长时间),100G高防cdn,以及4)采样中的顺序条件依赖性,即一个小步骤大小需要几个随机步骤才能在Z空间上获得良好的采样。VAEs采用了一种完全不同的方法:我们不依赖马尔可夫链的收敛性,而是选择一个很好的参数化分布Q(Z | X),例如,我们可以用神经网络参数化的分布,在参数约束下尽可能接近P(Z | X)。在训练时,VAE学习使用近似Q(Z | X)重构X中的样本,当生成数据时,我们对学习到的Q(Z | X)近似进行采样,并对网络的其余部分进行前馈,以从X生成样本。我们如何比较两个分布?一种方法是通过最小化KL发散:$latex D{KL}(Q(Z | X)| Q(Z | X))&s=3&bg=f8f8$不幸的是,我们不知道P(Z | X),但事实证明,通过数学处理,这就相当于最大化所谓的"变分下限":$latex E|Q\左[对数(p(X | Z)\右]–KL(Q(Z | X)| p(Z))&s=3&bg=f8f8$注意,期望项(EQ)看起来像传统的MLE项,而KL散度项有效地将近似分布Q拉向先验值。这个先验通常被选为各向同性高斯(共轭先验在数学上比较方便)。还要注意,在期望值中,似乎存在某种解码项,即X给定Z,而在散度中,似乎存在某种编码项,即Z给定X,这表明一个好的解决方案可以采用自动编码器的形式。虽然它可能不是立即明显的,我们可以使用变分下界作为一个优化准则来学习一个表示,将样本从原始输入空间映射到Z空间,其中潜在向量将以近似高斯分布。从Z空间中的高斯分布采样,我们可以从原始数据分布构造输入。然而,如果我们有一些隐藏层,将X打消到Z,并从Z重建X。加上这些,似乎我们可以做某种反向传播,但我们如何在联合调整Q参数的同时做到这一点呢?深入学习深入网络安全观看视频重新参数化技巧VAEs通常选择Q为高斯型,均值μ和协方差矩阵∑。为了数学上的方便,P(Z)通常是零平均各向同性高斯。观察到我们可以通过随机梯度上升使变分下限最大化,其中,在前向过程中,对于x的每个值,成功防御ddos,我们根据Q采样一个z值,并将结果用作批处理更新。不幸的是,一个随机抽样操作没有梯度,所以我们需要数学史密斯层。通过将采样操作与参数分离

版权保护: 本文由 DDOS防御专家 原创,转载请保留链接: /ddos1/51535.html

DDoS防御专家简介孤之剑
国内资深白帽子二十人组成员,前BAT资深网络安全工程师,知名网络安全站点板块大神,每年提交Google及微软漏洞,原sina微博负载插件开发者,现在整体防御复合攻击长期接受1-4.7T攻击,CC防护自主开发指纹识别系统,可以做到99.9999%的无敌防御。
  • 文章总数
  • 6945029访问次数
  • 建站天数

    QQ客服

    400-0797-119

    X