广州列举网 > 商务服务 > 网站/软件服务 > META2032质押NFT系统开发
广州
[切换城市]

META2032质押NFT系统开发

更新时间:2023-03-18 14:37:34 浏览次数:56次
区域: 广州 > 天河 > 珠江新城/跑马场
类别:软件开发
地址:广州天河区
META2032的正式启动标志着【18I链上合约-259l开发系统3365】CVNT意识网络开启了面向所有区块链项目在CVNT意识网络链上建设元宇宙生态的大门,用户和开发者可以基于CVNT意识网络感受到高速、稳定的网络生态。

据悉,CVNT意识网络作为全新升级的元宇宙公链,其所提供的解决方案加速了元宇宙生态基础设施的建设,丰富了元宇宙生态内数据的流转使用和价值体现形式,为区块链市场的发展和用户规模的壮大提供强大动力。

(1)torch.view_as_complex

把一个tensor转为复数形式,要求这个tensor的后一个维度形状为2。

torch.view_as_complex(torch.Tensor([[1, 2], [3, 4], [5, 6]]))
# tensor([1.+2.j, 3.+4.j, 5.+6.j])
(2)torch.view_as_real
把复数tensor变回实数,可以看做是是刚才操作的逆变换。
torch.view_as_real(torch.view_as_complex(torch.Tensor([[1, 2], [3, 4], [5, 6]])))
# tensor([[1., 2.],
#       [3., 4.],
#       [5., 6.]])
(3)torch.outer

一个向量的转置乘以另一个向量:torch.outer(a, b) = a^T * b

a = torch.arange(1, 5)
b = torch.arange(1, 4)
torch.outer(a, b)
# tensor([[ 1, 2, 3],
#       [ 2, 4, 6],
#       [ 3, 6, 9],
#       [ 4, 8, 12]])
(4)torch.polar

torch.polar(abs, angle)利用一个数值,和一个角度值,在极坐标下构造一个复数张量abs∗cos⁡(angle)+abs∗sin⁡(angle)jabs * \cos(angle) + abs * \sin(angle) jabs∗cos(angle)+abs∗sin(angle)j。

torch.polar(torch.tensor([1], dtype=torch.float64), torch.tensor([np.pi / 2], dtype=torch.float64))
# tensor([6.1232e-17+1.j], dtype=***plex128)
接下来进入RoPE的计算,首先为了更加具象的表达,我们在此对各个维度的尺寸进行假设,假设batch_size为2,seq_len固定为512,attention_head的数量为12,每个attention_head的维度为64,那么,对于输入到multi-head attn中的输入xqx_qxq​的尺寸就是(2, 512, 12, 64)。

回到我们刚才提出的问题,freqs_cis所指是什么东西,其实它就是需要计算出来的mθm\thetamθ也就是跟位置相关的旋转的角度,在极坐标下对应的复数tensor。

而函数precompute_freqs_cis就是提前将这些旋转角度对应的tensor给创建出来,并可以重复利用。因为确定了序列的大长度,所以这个tensor是固定死的。根据后续的数据流我们可以发现,在调用该函数时,传入的两个参数分别是attention_head的维度,以及大长度的两倍,具象地,也就是64和1024。
广州网站/软件服务相关信息
11月19日
11月11日
11月11日
11月11日
11月11日
11月11日
11月9日
注册时间:2022年07月01日
UID:739123
---------- 认证信息 ----------
手机已认证
查看用户主页