4. 3d unet : 基于稀疏标注的稠密体分割学习
# 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation
Abstract. This paper introduces a network for volumetric segmentation that learns from sparsely annotated volumetric images. We outline two attractive use cases of this method: (1) In a semi-automated setup, the user annotates some slices in the volume to be segmented. The network learns from these sparse annotations and provides a dense 3D segmentation. (2) In a fully-automated setup, we assume that a representative, spar ...
project-joee-readme
# projectJoee
更新时间 2023-03-29
# 软件整体架构和逻辑
TODO:具体描述
# 整体架构
# 主程序流程图
# 任务数据流
# 功能模块
该项目主要分为主程序模块(包含主界面部分和控制逻辑,配置项相关逻辑),核心功能模块(检测算法实现、采集卡相机控制实现、数据库调用实现、开发工具集、外部插件接口实现、虚拟设备实现等),以及通过接口实现的外部插件功能模块(图标功能插件、串口报警器插件、相机串口控制插件、debug 控制台插件等可扩展插件)
其中主程序模块和核心功能模块(位于 core 目录下),是主程序运行所必须的部分,插件功能模块(位于 plugins 目录下) 是可以根据插件模块文件是否存在动态添加去除的。
# 主程序模块
Windalsa: 主要业务逻辑实现
子类:
MainWnd.cs: 主窗体,是程序的主要框架,负责主要业务逻辑和实现外部插件加载
Lists.cs: 自定义列表和控件数组
Plugins.cs: 实现插件加载和抽象接口调用
Utilties.cs: 扩展工具
CustomException.cs: 自定义异常 ...
资料待读列表
High-Resolution Image Synthesis with Latent Diffusion Models:https://arxiv.org/abs/2112.10752
Denoising Diffusion Probabilistic Models:https://arxiv.org/abs/2006.11239
Denoising Diffusion Implicit Models:https://openreview.net/forum?id=St1giarCHLP
ERNIE-ViLG 2.0: Improving Text-to-Image Diffusion Model with Knowledge-Enhanced Mixture-of-Denoising-Experts:https://arxiv.org/abs/2210.15257
Latent Diffusion Models 原始代码项目:https://github.com/CompVis/latent-diffusion
Stable Diffusion 工程优化后的项目:https://g ...
3. A Survey on Generative Diffusion Model
# 生成扩散模型综述
摘要: 由于深度潜在表示,抽象 - 深度学习在生成任务中显示出卓越的潜力。生成模型是一类可以随机生成关于某些隐含参数的观察值的模型。近年来,扩散模型凭借其能量生成能力成为一种新兴的生成模型。如今,已经取得了巨大的成就。除了计算机视觉、语音生成、生物信息学和自然语言处理外,该领域还有待探索更多的应用。然而,扩散模型有其真正的缺点,即生成过程缓慢、数据类型单一、似然度低以及无法进行降维。它们正在导致许多改进工程。本文对扩散模型的研究现状进行了综述。首先,我们阐述了两个地标性作品 DDPM 和 DSM 以及一个统一地标性作品 Score SDE 的主要问题。然后,针对扩散模型领域存在的问题,提出了分类改进技术;为了提高模型的速度,本文提出了各种各样的先进技术来加速扩散模型 —— 训练计划、免训练采样、混合建模以及得分和扩散统一。针对数据结构多样化问题,提出了在连续空间、离散空间和约束空间应用扩散模型的改进技术。对于似然优化,本文提出了改进 ELBO 和最小化变分差距的理论方法。对于降维问题,我们提出了几种解决高维问题的技术。对于现有模型,还根据具体的 NFE 提供了 F ...
2. PaLM-E:一种具象化的多模态语言模型
# PaLM-E: An Embodied Multimodal Language Model PaLM-E:一种具象化的多模态语言模型
摘要 大型语言模型擅长处理范围广泛的复杂任务。然而,在现实世界中实现一般推理,例如,针对机器人问题,提出了基础的挑战。我们提出具身语言模型,将现实世界的连续传感器模式直接纳入语言模型,从而建立单词和感知之间的联系。我们具体化语言模型的输入是多模态句子,它们交织着视觉、连续状态估计和文本输入编码。我们端到端地训练这些编码,结合预训练的大型语言模型,用于多个具体任务,包括顺序机器人操作规划、视觉问答和字幕。我们的评估表明,PaLM-E 是一个单一的大型具身多模态模型,可以解决各种具身推理任务,来自多种观察方式,在多个实施例中,进一步展示了正迁移:该模型受益于跨互联网规模语言、视觉和视觉语言领域的多样化联合训练。我们最大的模型,具有 562B 参数的 PaLM-E-562B,除了在机器人任务上接受训练外,还是视觉语言通才,在 OK-VQA 上具有最先进的性能,并随着规模的扩大保留了通才语言能力.
# 1. 导语
大型语言模型 (LLMs) 在包括对 ...
云主机实现大数据
本文为分布式计算 - 云计算课程课程实验的记录。
本实验通过购买华为云 ECS 和在华为云上选取对象存储服务 OBS 服务,为后续实验提供搭建
环境基础。(华为发放的有代金券)
实验流程
本实验的基本步骤包含:购买并配置 ECS;购买 OBS 并获取 AK、SK 信息;搭建
Hadoop 集群;搭建 MapReduce 集群并验证存算分离。
实验目的
・掌握华为云上购买 ECS 步骤。
・掌握华为云上选取对象存储服务 OBS。
・掌握 Hadoop 集群搭建。
・掌握 MapReduce 实验实现存算分离。
# 环境准备
购买四台 ECS 服务器
购买一个 OBS 对象存储服务并创建桶
配置 Access Key 和 Secret Key
# 搭建 Hadoop 集群
命令行 ssh 登录服务器
12345678910C:\Users\cy>ssh [email protected] authenticity of host '124.70.xxx.xxx (124.70.xxx.xxx)' can't be establishe ...
PaddleX在Windows平台的部署
本文基本参照 PaddleX 官方部署方式, 只进行 paddlex 模型的 c# 端部署和验证,而不进行模型的训练相关操作。
目前已经具备的CUDA环境和cuDNN环境情况
123456C:\Users\cy\paddle_deploy>nvcc --versionnvcc: NVIDIA (R) Cuda compiler driverCopyright (c) 2005-2022 NVIDIA CorporationBuilt on Tue_May__3_19:00:59_Pacific_Daylight_Time_2022Cuda compilation tools, release 11.7, V11.7.64Build cuda_11.7.r11.7/compiler.31294372_0
cudnn_version.h 中
123#define CUDNN_MAJOR 8#define CUDNN_MINOR 6#define CUDNN_PATCHLEVEL 0
当前 CUDA 版本:11.7,cuDNN 版本:8.6.0
需要根据实际情况进行多 CUDA 环境部 ...
使用yolov6进行街景字符编码识别
# 下载 YOLOv6 并安装
下载地址:https://github.com/meituan/YOLOv6.git
1git clone https://github.com/meituan/YOLOv6.git
创建指定版本的虚拟环境
1conda create -n yolov6 python=3.8
安装依赖
12cd YOLOv6pip install -r requirements.txt
# 数据集准备
赛题来源自 Google 街景图像中的门牌号数据集(The Street View House Numbers Dataset, SVHN),该数据来自真实场景的门牌号。训练集数据包括 3W 张照片,验证集数据包括 1W 张照片,每张照片包括颜色图像和对应的编码类别和具体位置;为了保证比赛的公平性,测试集 A 包括 4W 张照片,测试集 B 包括 4W 张照片。
从天池官方发的 csv 文件中找到对应的数据集下载链接:
file
size
link
mchar_train.zip
345.91MB
http://tianchi-competition.oss ...
project joee 开发日志(十三)——DebugConsole实现插件参数的加载和修改
由于修改了参数配置的实现,Debug Console 中加载配置参数会出现问题,因此需要修改相应的逻辑实现。
实现思路
在 onload () 事件中(执行 onload 的时候所有插件都已经完成初始化 init (),所以会在对应的 Attributes 中包含需要保存的参数),读取主程序和各个插件的 Attributes,然后找出 bool 类型的变量,将其加入到开关字典 switches<string,object > 中,并且根据读取到的变量列表 l_MainWnd、l_cfg、l_plugin 来生成 checkbox 控件,最后定义其点击事件,在事件中将对应键值与 checkbox 的 Checked 属性进行绑定,最终实现点击选择框修改对应的变量。
该思路的核心部分在于读入插件参数并创建控件的过程,其实现如下:
12345678910111213141516171819202122232425262728293031323334353637383940414243//根据反射获取属性字典 动态添加开关控件private void CreateContorls( ...
project joee 开发日志(十二)——灯光控制器的添加以及插件参数自动保存
# 1. 存在的问题
当前只能对一个灯光控制模块进行控制,但是由于产线中的灯光有两组,需要对两个灯光控制模块同时控制,因此需要对插件 PluginAlarm 的 Plugin.cs 进行修改。以及目前插件中的参数并不能实现自动保存,只有手动在 config.cs 代码中添加相应项才能实现对应参数的保存和读取。
# 2. 思路
# 2.1 灯光部分:
在插件代码中添加灯光控制器的对象,并且在增益算法中添加对新增灯光调整。
# 2.2 参数保存部分:
每个插件都存在 Attributes 用于存储当前插件下的控制参数,同时在 config.cs 中定义 Settings 类用来辅助存储插件的控制参数和主程序的控制参数。然后由 config 模块实现运行时 Settings 装载,Settings 实例在保存过程中会被序列化为 json 字符串,然后保存到本地配置文件中,而在读取时会反序列化本地配置文件生成运行时 Settings 实例,当配置文件不存在时,会根据生成默认值的配置文件,当本地配置文件中没有对应的配置项时,会使用预先输入的字段作为默认值。
# 3. 实现
# 3.1 灯光
在对 ...






