2. PaLM-E：一种具象化的多模态语言模型
PaLM-E: An Embodied Multimodal Language Model PaLM-E：一种具象化的多模态语言模型 摘要 大型语言模型擅长处理范围广泛的复杂任务。然而，在现实世界中实现一般推理，例如，针对机器人问题，提出了基础的挑战。我们提出具身语言模型，将现实世界的连续传感器模式直接纳入语言模型，从而建立单词和感知之间的联系。我们具体化语言模型的输入是多模态句子，它们交织着视觉、连续状态估计和文本输入编码。我们端到端地训练这些编码，结合预训练的大型语言模型，用于多个具体任务，包括顺序机器人操作规划、视觉问答和字幕。我们的评估表明，PaLM-E 是一个单一的大型具身多模态模型，可以解决各种具身推理任务，来自多种观察方式，在多个实施例中，进一步展示了正迁移：该模型受益于跨互联网规模语言、视觉和视觉语言领域的多样化联合训练。我们最大的模型，具有 562B 参数的 PaLM-E-562B，除了在机器人任务上接受训练外，还是视觉语言通才，在 OK-VQA 上具有最先进的性能，并随着规模的扩大保留了通才语言能力. 1.导语 大型语言模型(LLMs)在包括对话在内的...
云主机实现大数据
本文为分布式计算-云计算课程课程实验的记录。 本实验通过购买华为云ECS 和在华为云上选取对象存储服务OBS 服务，为后续实验提供搭建 环境基础。（华为发放的有代金券） 实验流程 本实验的基本步骤包含：购买并配置ECS；购买OBS 并获取AK、SK 信息；搭建 Hadoop 集群；搭建MapReduce 集群并验证存算分离。 实验目的 ·掌握华为云上购买ECS 步骤。 ·掌握华为云上选取对象存储服务OBS。 ·掌握Hadoop 集群搭建。 ·掌握MapReduce 实验实现存算分离。 环境准备 购买四台ECS服务器 购买一个OBS对象存储服务并创建桶 配置 Access Key 和 Secret Key 搭建Hadoop集群 命令行ssh登录服务器 12345678910C:\Users\cy>ssh [email protected] authenticity of host '124.70.xxx.xxx (124.70.xxx.xxx)' can't be established.ECDSA key fingerprin...
PaddleX在Windows平台的部署
本文基本参照 PaddleX官方部署方式， 只进行paddlex模型的c#端部署和验证，而不进行模型的训练相关操作。 info 目前已经具备的CUDA环境和cuDNN环境情况123456C:\Users\cy\paddle_deploy>nvcc --versionnvcc: NVIDIA (R) Cuda compiler driverCopyright (c) 2005-2022 NVIDIA CorporationBuilt on Tue_May__3_19:00:59_Pacific_Daylight_Time_2022Cuda compilation tools, release 11.7, V11.7.64Build cuda_11.7.r11.7/compiler.31294372_0 cudnn_version.h中 123#define CUDNN_MAJOR 8#define CUDNN_MINOR 6#define CUDNN_PATCHLEVEL 0 当前CUDA版本：11.7，cuDNN版本：8.6.0 需要根据实际情况进行多CUDA...
使用yolov6进行街景字符编码识别
下载YOLOv6并安装 下载地址：https://github.com/meituan/YOLOv6.git 1git clone https://github.com/meituan/YOLOv6.git 创建指定版本的虚拟环境 1conda create -n yolov6 python=3.8 安装依赖 12cd YOLOv6pip install -r requirements.txt 数据集准备 赛题来源自Google街景图像中的门牌号数据集（The Street View House Numbers Dataset, SVHN），该数据来自真实场景的门牌号。训练集数据包括3W张照片，验证集数据包括1W张照片，每张照片包括颜色图像和对应的编码类别和具体位置；为了保证比赛的公平性，测试集A包括4W张照片，测试集B包括4W张照片。 从天池官方发的csv文件中找到对应的数据集下载链接： file size link mchar_train.zip 345.91MB http://tianchi-competition.oss-cn-hangzhou.aliyun...
project joee 开发日志（十三）——DebugConsole实现插件参数的加载和修改
由于修改了参数配置的实现，Debug Console中加载配置参数会出现问题，因此需要修改相应的逻辑实现。 实现思路 在onload()事件中（执行onload的时候所有插件都已经完成初始化init()，所以会在对应的Attributes中包含需要保存的参数），读取主程序和各个插件的 Attributes，然后找出bool类型的变量，将其加入到开关字典switches<string,object>中，并且根据读取到的变量列表 l_MainWnd、l_cfg、l_plugin 来生成checkbox控件，最后定义其点击事件，在事件中将对应键值与checkbox的 Checked属性进行绑定，最终实现点击选择框修改对应的变量。 该思路的核心部分在于读入插件参数并创建控件的过程，其实现如下： 12345678910111213141516171819202122232425262728293031323334353637383940414243//根据反射获取属性字典 动态添加开关控件private void CreateContorls(Form f) { ...
project joee 开发日志（十二）——灯光控制器的添加以及插件参数自动保存
1. 存在的问题 当前只能对一个灯光控制模块进行控制，但是由于产线中的灯光有两组，需要对两个灯光控制模块同时控制，因此需要对插件 PluginAlarm 的 Plugin.cs 进行修改。以及目前插件中的参数并不能实现自动保存，只有手动在 config.cs 代码中添加相应项才能实现对应参数的保存和读取。 2. 思路 2.1 灯光部分： 在插件代码中添加灯光控制器的对象，并且在增益算法中添加对新增灯光调整。 2.2参数保存部分： 每个插件都存在Attributes用于存储当前插件下的控制参数，同时在config.cs 中定义Settings类用来辅助存储插件的控制参数和主程序的控制参数。然后由config模块实现运行时Settings装载，Settings实例在保存过程中会被序列化为json字符串，然后保存到本地配置文件中，而在读取时会反序列化本地配置文件生成运行时Settings实例，当配置文件不存在时，会根据生成默认值的配置文件，当本地配置文件中没有对应的配置项时，会使用预先输入的字段作为默认值。 3. 实现 3.1 灯光 在对应控件的Plugins.cs中 12345678...
project joee 开发日志（十一）——使用虚拟串口设备进行开发和调试
概述 由于先前远程机器没有开机，不能进行调试硬件设备，无法进行灯光功能和警报器功能的开发调试，因此尝试使用本地串口设备模拟来进行协助相应开发调试。 报警器控制部分 根据报警器输入输出设备的硬件示意图和相关资料可以得知: 其输入输出模块使用了Modbus协议,使用读写寄存器来控制对应功能的信号; 该模块的输入端有三路接入了硬件设备,分别为红灯、绿灯、报警器; 该模块使用USB串口设备接入工控机,所以能通过设备管理器找出对应的串口号; 该模块的输出端输出一个信号 接入虚拟串口设备 根据以上信息,目前首先使用 Vitual Serial Port Driver来创建虚拟串口连接 其中COM2-COM3 COM4-COM5 COM6-COM7 分别为三组虚拟串口组用于模拟设备连接,分别对应两个灯光模组,一个报警器的输入输出模组. 虚拟Modbus从机设备 使用Modbus Slave 来创建虚拟Modbus从设备,来模拟输入输出模块 寄存器定义 经过多次测试得知,该模块的寄存器如下: 保持寄存器4个,其地址定义为: 0:绿灯; 1:红灯; 2:报警器; 对应的值为...
计算机网络课程作业记录
0.作业要求 课程报告题目自己拟定，选题范围：IPv6、SDN和IP多播。参考选题如下： （1）在实际互联网环境或在模拟环境下设计并构建网络拓扑结构，访问IPv6网络，用Wireshark抓包分析，观察IPv6网络的访问过程，分析地址解析、无状态地址自动配置、IPv6/IPv4共存访问等过程中的相关数据包。 （2）在mininet平台上构建网络拓扑结构，设计网络场景，抓包并分析控制器与OF交换机的交互报文，理解SDN技术和OpenFlow协议机制。也可以进一步对RYU进行python编程，结合REST API和OpenFlow实现一些应用，例如：负载均衡、防火墙功能等。 （3）华为eNSP、Cisco Packet Tracer模拟环境下，搭建网络拓扑结构，设计场景，通过抓包，分析IGMP和路由协议PIM-DM/PIM-SIM/MSDP/MBGP报文，理解IGMP和多播路由协议的工作机制。 注意1：网络拓扑结构中标识节点IP地址和MAC地址，拓扑图不能与课件中的相同！！！ 注意2：数据包分析时，注意地址的作用，例如IPv6地址（尤其是特殊地址）、MAC地址、多播地址等！ 选题 根...
project joee 开发日志（十）——串口设备配置
接上回串口识别和保存部分 串口配置项 可行性验证 先完成串口配置的保存，以便在配置文件中修改串口信息 首先在Config.cs中添加相应项 12//硬件串口号public Dictionary<string,string> DEVICE_COM = new Dictionary<string, string>(); 1234567public class Settings{ ...; //串口号 public Dictionary<string, string> DEVICE_COM; ...;} 12345678910//读取配置文件 加载各类参数public void load(string file = "./config.toml"){ if (file.Length > 0 && File.Exists(file)) { ...; DEVICE_COM = settings.DEVICE_C...
1.SimMatch:基于相似度匹配的半监督学习
摘要 在计算机视觉和机器学习研究领域，使用少量标记数据进行学习一直是一个长期存在的问题。本文提出了一种新的半监督学习框架SimMatch，该框架同时考虑了语义相似度和实例相似度。在SimMatch中，一致性正则化将同时应用于语义级和实例级。鼓励同一实例的不同增强视图具有与其他实例相同的类预测和相似关系。接下来，我们实例化一个标记的内存缓冲区，以充分利用实例级的基本事实标签，并弥合语义和实例相似性之间的差距。最后，我们提出了一种可使这两个相似点相互同构变换的展开和聚合运算。通过这种方式，语义伪标签和实例伪标签可以相互传播，从而生成更高质量和更可靠的匹配目标。大量的实验结果表明，SimMatch提高了跨不同基准数据集和不同设置的半监督学习任务的性能。值得注意的是，在400轮次的训练中，SimMatch在ImageNet上1%和10%的标记示例中获得了67.2%和74.4%的Top-1准确性，显著优于基线方法，优于以前的半监督学习框架。代码和预先训练的模型可在https://github.com/KyleZheng1997/simmatch获得。 1.导语 得益于过去几十年大规模标注数...
