猫史档案馆

四九圣尊

Lv.1

获赞:3262收藏:1354浏览:123801作品收藏:2805

在【只有大佬才能看懂系列】kernels-kmeans解决非线性问题。中回复

二阶多项式核： center_image

图片没发出去。。。

2018-10-04T12:27:26 点赞:0

在【只有大佬才能看懂系列】kernels-kmeans解决非线性问题。中回复

z就是坐标系中的高啊、 center_image

2018-10-04T16:33:04 点赞:0

在【只有大佬才能看懂系列】kernels-kmeans解决非线性问题。中回复

转载一下知乎上的例子:

作者：王赟 Maigo
链接： https://www.zhihu.com/question/24627666/answer/28440943
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

我来举一个核函数把低维空间映射到高维空间的例子。

下面这张图位于第一、二象限内。我们关注红色的门，以及“北京四合院”这几个字下面的紫色的字母。我们把红色的门上的点看成是“+”数据，紫色字母上的点看成是“-”数据，它们的横、纵坐标是两个特征。显然，在这个二维空间内，“+”“-”两类数据不是线性可分的。

</figure>

我们现在考虑核函数 K(v_1,v_2) = <v_1,v_2>^2 ，即“内积平方”。
这里面 v_1=(x_1,y_1), v_2=(x_2,y_2) 是二维空间中的两个点。

这个核函数对应着一个二维空间到三维空间的映射，它的表达式是：
$P(x,y)=(x^2,\sqrt{2}xy,y^2)$
可以验证，
$\begin{align} <P(v_1),P(v_2)> &= \, <(x_1^2,\sqrt{2}x_1y_1,y_1^2),(x_2^2,\sqrt{2}x_2y_2,y_2^2)> \\ &= \, x_1^2x_2^2 + 2x_1x_2y_1y_2+y_1^2y_2^2 \\ &= \, (x_1x_2 + y_1y_2)^2 \\ &= \, \, <v_1,v_2>^2 \\ &= \, K(v_1,v_2) \end{align}$

在P这个映射下，原来二维空间中的图在三维空间中的像是这个样子：

</figure>

（前后轴为x轴，左右轴为y轴，上下轴为z轴）

注意到绿色的平面可以完美地分割红色和紫色，也就是说，两类数据在三维空间中变成线性可分的了。

而三维中的这个判决边界，再映射回二维空间中是这样的：

</figure>

这是一条双曲线，它不是线性的

2018-10-04T16:38:15 点赞:0

在【只有大佬才能看懂系列】kernels-kmeans解决非线性问题。中回复

升维后直接用感知机就可以了：（参数多了一个，也就是：x*a1 + y*a2 + z*a3 + b)

a1 = 0
a2 = 0
a3 = 0
b = 0
lr = 0.1
def predict(x,y,z):
    return x*a1 + y*a2 + z*a3 + b
for i in range(100):
    for i in range(len(x1)):
        if predict(x1[i][0],x1[i][1],x1[i][2])>=0 and y1[i] == -1:
            a1 = a1 + lr*y1[i]*x1[i][0]
            a2 = a2 + lr * y1[i] * x1[i][1]
            a3 = a3 + lr * y1[i] * x1[i][2]
            b = b+lr*y1[i]
        if predict(x1[i][0],x1[i][1],x1[i][2])<0 and y1[i] == 1:
            a1 = a1 + lr * y1[i] * x1[i][0]
            a2 = a2 + lr * y1[i] * x1[i][1]
            a3 = a3 + lr * y1[i] * x1[i][2]
            b = b + lr * y1[i]
right = 0
for i in range(len(x1)):
    if predict(x1[i][0],x1[i][1],x1[i][2])<0 and y1[i] == -1:
        right += 1
    if predict(x1[i][0],x1[i][1],x1[i][2])>=0 and y1[i] == 1:
        right += 1
    print(predict(x1[i][0], x1[i][1], x1[i][2]))
print(right)

全对，效果不错。

2018-10-04T22:06:56 点赞:1

在【只有大佬才能看懂系列】kernels-kmeans解决非线性问题。中回复

之前核函数的概念写错了，它跟将数据映射到高维不是一个东西。他是将高维数据在低维计算。也就是说我们的数据分布图最后应该是这样的：

————>变成高维

-------------->回到低维计算（取x，z坐标） center_image

2018-10-05T10:06:04 点赞:0

在【梯度下降】梯度下降入门中回复

求：(x,y)在y=x²上的斜率：

∴(x+∆x) ² = y+ ∆y

∴x²+ ∆x ² + 2 x ∆x = y + ∆y

∴x²/∆x + ∆x + 2x = y/∆x + ∆y/∆x(上面除以∆x ）

∴x²/∆x + ∆x + 2x - y/∆x = ∆y/∆x

又： ∆x， ∆y= 1/∞， x²= y

∴ ∆x + 2x = ∆y/∆x

∴ 2x = ∆y/∆x 注释：快速求K法

2018-10-26T19:22:49 点赞:0

在【梯度下降】梯度下降入门中回复

import matplotlib.pyplot as plt
th = 1
def function(a,devi=False):
    if devi:
        return 2*a
    else:
        return a ** 2
F = [i for i in range(-100,100)]
print(F)
F = [function(i) for i in F ]
lr = 0.01
x = []
y = []
for i in range(100):
    th = th-lr*function(th,True)
    x.append(th*3)
    y.append(th**2)
    print(th)
plt.scatter(x,y)
plt.show()
plt.plot(F)
plt.show()