资料待读列表
High-Resolution Image Synthesis with Latent Diffusion Models:https://arxiv.org/abs/2112.10752
Denoising Diffusion Probabilistic Models:https://arxiv.org/abs/2006.11239
Denoising Diffusion Implicit Models:https://openreview.net/forum?id=St1giarCHLP
ERNIE-ViLG 2.0: Improving Text-to-Image Diffusion Model with Knowledge-Enhanced Mixture-of-Denoising-Experts:https://arxiv.org/abs/2210.15257
Latent Diffusion Models 原始代码项目:https://github.com/CompVis/latent-diffusion
Stable Diffusion 工程优化后的项目:https://g ...
3. A Survey on Generative Diffusion Model
# 生成扩散模型综述
摘要: 由于深度潜在表示,抽象 - 深度学习在生成任务中显示出卓越的潜力。生成模型是一类可以随机生成关于某些隐含参数的观察值的模型。近年来,扩散模型凭借其能量生成能力成为一种新兴的生成模型。如今,已经取得了巨大的成就。除了计算机视觉、语音生成、生物信息学和自然语言处理外,该领域还有待探索更多的应用。然而,扩散模型有其真正的缺点,即生成过程缓慢、数据类型单一、似然度低以及无法进行降维。它们正在导致许多改进工程。本文对扩散模型的研究现状进行了综述。首先,我们阐述了两个地标性作品 DDPM 和 DSM 以及一个统一地标性作品 Score SDE 的主要问题。然后,针对扩散模型领域存在的问题,提出了分类改进技术;为了提高模型的速度,本文提出了各种各样的先进技术来加速扩散模型 —— 训练计划、免训练采样、混合建模以及得分和扩散统一。针对数据结构多样化问题,提出了在连续空间、离散空间和约束空间应用扩散模型的改进技术。对于似然优化,本文提出了改进 ELBO 和最小化变分差距的理论方法。对于降维问题,我们提出了几种解决高维问题的技术。对于现有模型,还根据具体的 NFE 提供了 F ...
2. PaLM-E:一种具象化的多模态语言模型
# PaLM-E: An Embodied Multimodal Language Model PaLM-E:一种具象化的多模态语言模型
摘要 大型语言模型擅长处理范围广泛的复杂任务。然而,在现实世界中实现一般推理,例如,针对机器人问题,提出了基础的挑战。我们提出具身语言模型,将现实世界的连续传感器模式直接纳入语言模型,从而建立单词和感知之间的联系。我们具体化语言模型的输入是多模态句子,它们交织着视觉、连续状态估计和文本输入编码。我们端到端地训练这些编码,结合预训练的大型语言模型,用于多个具体任务,包括顺序机器人操作规划、视觉问答和字幕。我们的评估表明,PaLM-E 是一个单一的大型具身多模态模型,可以解决各种具身推理任务,来自多种观察方式,在多个实施例中,进一步展示了正迁移:该模型受益于跨互联网规模语言、视觉和视觉语言领域的多样化联合训练。我们最大的模型,具有 562B 参数的 PaLM-E-562B,除了在机器人任务上接受训练外,还是视觉语言通才,在 OK-VQA 上具有最先进的性能,并随着规模的扩大保留了通才语言能力.
# 1. 导语
大型语言模型 (LLMs) 在包括对 ...
云主机实现大数据
本文为分布式计算 - 云计算课程课程实验的记录。
本实验通过购买华为云 ECS 和在华为云上选取对象存储服务 OBS 服务,为后续实验提供搭建
环境基础。(华为发放的有代金券)
实验流程
本实验的基本步骤包含:购买并配置 ECS;购买 OBS 并获取 AK、SK 信息;搭建
Hadoop 集群;搭建 MapReduce 集群并验证存算分离。
实验目的
・掌握华为云上购买 ECS 步骤。
・掌握华为云上选取对象存储服务 OBS。
・掌握 Hadoop 集群搭建。
・掌握 MapReduce 实验实现存算分离。
# 环境准备
购买四台 ECS 服务器
购买一个 OBS 对象存储服务并创建桶
配置 Access Key 和 Secret Key
# 搭建 Hadoop 集群
命令行 ssh 登录服务器
12345678910C:\Users\cy>ssh [email protected] authenticity of host '124.70.xxx.xxx (124.70.xxx.xxx)' can't be establishe ...
PaddleX在Windows平台的部署
本文基本参照 PaddleX 官方部署方式, 只进行 paddlex 模型的 c# 端部署和验证,而不进行模型的训练相关操作。
目前已经具备的CUDA环境和cuDNN环境情况
123456C:\Users\cy\paddle_deploy>nvcc --versionnvcc: NVIDIA (R) Cuda compiler driverCopyright (c) 2005-2022 NVIDIA CorporationBuilt on Tue_May__3_19:00:59_Pacific_Daylight_Time_2022Cuda compilation tools, release 11.7, V11.7.64Build cuda_11.7.r11.7/compiler.31294372_0
cudnn_version.h 中
123#define CUDNN_MAJOR 8#define CUDNN_MINOR 6#define CUDNN_PATCHLEVEL 0
当前 CUDA 版本:11.7,cuDNN 版本:8.6.0
需要根据实际情况进行多 CUDA 环境部 ...
使用yolov6进行街景字符编码识别
# 下载 YOLOv6 并安装
下载地址:https://github.com/meituan/YOLOv6.git
1git clone https://github.com/meituan/YOLOv6.git
创建指定版本的虚拟环境
1conda create -n yolov6 python=3.8
安装依赖
12cd YOLOv6pip install -r requirements.txt
# 数据集准备
赛题来源自 Google 街景图像中的门牌号数据集(The Street View House Numbers Dataset, SVHN),该数据来自真实场景的门牌号。训练集数据包括 3W 张照片,验证集数据包括 1W 张照片,每张照片包括颜色图像和对应的编码类别和具体位置;为了保证比赛的公平性,测试集 A 包括 4W 张照片,测试集 B 包括 4W 张照片。
从天池官方发的 csv 文件中找到对应的数据集下载链接:
file
size
link
mchar_train.zip
345.91MB
http://tianchi-competition.oss ...
project joee 开发日志(十三)——DebugConsole实现插件参数的加载和修改
由于修改了参数配置的实现,Debug Console 中加载配置参数会出现问题,因此需要修改相应的逻辑实现。
实现思路
在 onload () 事件中(执行 onload 的时候所有插件都已经完成初始化 init (),所以会在对应的 Attributes 中包含需要保存的参数),读取主程序和各个插件的 Attributes,然后找出 bool 类型的变量,将其加入到开关字典 switches<string,object > 中,并且根据读取到的变量列表 l_MainWnd、l_cfg、l_plugin 来生成 checkbox 控件,最后定义其点击事件,在事件中将对应键值与 checkbox 的 Checked 属性进行绑定,最终实现点击选择框修改对应的变量。
该思路的核心部分在于读入插件参数并创建控件的过程,其实现如下:
12345678910111213141516171819202122232425262728293031323334353637383940414243//根据反射获取属性字典 动态添加开关控件private void CreateContorls( ...
project joee 开发日志(十二)——灯光控制器的添加以及插件参数自动保存
# 1. 存在的问题
当前只能对一个灯光控制模块进行控制,但是由于产线中的灯光有两组,需要对两个灯光控制模块同时控制,因此需要对插件 PluginAlarm 的 Plugin.cs 进行修改。以及目前插件中的参数并不能实现自动保存,只有手动在 config.cs 代码中添加相应项才能实现对应参数的保存和读取。
# 2. 思路
# 2.1 灯光部分:
在插件代码中添加灯光控制器的对象,并且在增益算法中添加对新增灯光调整。
# 2.2 参数保存部分:
每个插件都存在 Attributes 用于存储当前插件下的控制参数,同时在 config.cs 中定义 Settings 类用来辅助存储插件的控制参数和主程序的控制参数。然后由 config 模块实现运行时 Settings 装载,Settings 实例在保存过程中会被序列化为 json 字符串,然后保存到本地配置文件中,而在读取时会反序列化本地配置文件生成运行时 Settings 实例,当配置文件不存在时,会根据生成默认值的配置文件,当本地配置文件中没有对应的配置项时,会使用预先输入的字段作为默认值。
# 3. 实现
# 3.1 灯光
在对 ...
project joee 开发日志(十一)——使用虚拟串口设备进行开发和调试
# 概述
由于先前远程机器没有开机,不能进行调试硬件设备,无法进行灯光功能和警报器功能的开发调试,因此尝试使用本地串口设备模拟来进行协助相应开发调试。
# 报警器控制部分
根据报警器输入输出设备的硬件示意图和相关资料可以得知:
其输入输出模块使用了 Modbus 协议,使用读写寄存器来控制对应功能的信号;
该模块的输入端有三路接入了硬件设备,分别为红灯、绿灯、报警器;
该模块使用 USB 串口设备接入工控机,所以能通过设备管理器找出对应的串口号;
该模块的输出端输出一个信号
# 接入虚拟串口设备
根据以上信息,目前首先使用 Vitual Serial Port Driver 来创建虚拟串口连接
其中 COM2-COM3 COM4-COM5 COM6-COM7 分别为三组虚拟串口组用于模拟设备连接,分别对应两个灯光模组,一个报警器的输入输出模组.
# 虚拟 Modbus 从机设备
使用 Modbus Slave 来创建虚拟 Modbus 从设备,来模拟输入输出模块
# 寄存器定义
经过多次测试得知,该模块的寄存器如下:
保持寄存器 4 个,其地址定义为:
0: 绿灯; 1: 红灯 ...
计算机网络课程作业记录
# 0. 作业要求
课程报告题目自己拟定,选题范围:IPv6、SDN 和 IP 多播。参考选题如下:
(1)在实际互联网环境或在模拟环境下设计并构建网络拓扑结构,访问 IPv6 网络,用 Wireshark 抓包分析,观察 IPv6 网络的访问过程,分析地址解析、无状态地址自动配置、IPv6/IPv4 共存访问等过程中的相关数据包。
(2)在 mininet 平台上构建网络拓扑结构,设计网络场景,抓包并分析控制器与 OF 交换机的交互报文,理解 SDN 技术和 OpenFlow 协议机制。也可以进一步对 RYU 进行 python 编程,结合 REST API 和 OpenFlow 实现一些应用,例如:负载均衡、防火墙功能等。
(3)华为 eNSP、Cisco Packet Tracer 模拟环境下,搭建网络拓扑结构,设计场景,通过抓包,分析 IGMP 和路由协议 PIM-DM/PIM-SIM/MSDP/MBGP 报文,理解 IGMP 和多播路由协议的工作机制。
注意 1:网络拓扑结构中标识节点 IP 地址和 MAC 地址,拓扑图不能与课件中的相同!!!
注意 2:数据包分析时,注意地 ...