Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
思维链提示在大型语言模型中引发推理 摘要 我们探索了如何生成一个思想链--一系列中间推理步骤--显著提高大型语言模型执行复杂推理的能力。特别地，我们展示了这种推理能力是如何在足够大的语言模型中通过一种简单的方法--思维链提示--自然产生的，其中提供了几个思维链演示作为提示的例子。 在三个大型语言模型上的实验表明，在一系列算术、常识和符号推理任务上，思维链提示提高了性能。经验上的收益可能是惊人的。例如，仅用8个思维链示例就提示一个PaLM 540B，在数学应用题的GSM8K基准上达到了最先进的精度，甚至超过了用验证器微调的GPT-3。 图1：思想链提示使大型语言模型能够处理复杂的算术、常识和符号推理任务。突出了思维链推理过程。 1. Introduction 引言 NLP领域最近被语言模型(Peters等,2018;Devlin等,2019;Brown等, 2020)所革命化。扩大语言模型的规模已经被证明可以带来一系列的好处，例如提高性能和样本效率(Kaplan等,2020;Brown等,2020)。然而，在诸如算术、常识和符号推理(Rae等,2021)等具有挑战性的任务上，仅仅...
Reflexion: Language Agents with Verbal Reinforcement Learning
反射：言语强化学习的语言代理 原论文：Reflexion: Language Agents with Verbal Reinforcement Learning 摘要 大型语言模型( Large Language Models，LLMs )作为目标驱动的智能体被越来越多地用于与外部环境(例如,游戏、编译器、API等)进行交互。然而，由于传统的强化学习方法需要大量的训练样本和昂贵的模型微调，这些语言智能体快速有效地从试错中学习仍然具有挑战性。我们提出了一种新的框架Reflex，它不是通过更新权重来加强语言代理，而是通过语言反馈来加强语言代理。具体来说，反应主体会对任务反馈信号进行言语反思，然后在情景记忆缓冲器中保持自己的反射性文本，以便在随后的试次中诱发更好的决策。反射足够灵活，可以包括各种类型(标量值或自由形式的语言) 1. 引言 最近的工作如ReAct[ 30 ]、SayCan[ 1 ]、Toolformer[ 22 ]、HuggingGPT[ 23 ]、生成式Agent[ 19 ]、WebGPT[ 17 ]等已经证明了构建在大型语言模型(large language mode...
Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond
在实践中利用LLMs的能力：对Chatgpt和更大范围的调研 原论文：Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond 本文为从事大型语言模型( Large Language Models，LLMs )工作的从业者和最终用户在其下游自然语言处理( Natural Language Processing，NLP )任务中提供了一个全面而实用的指南。我们从模型、数据和下游任务的角度对LLMs的使用提供了讨论和见解。首先，我们对现有的GPT型和BERT型LLM进行了简单的介绍和总结。然后，我们讨论了预训练数据、训练数据和测试数据的影响。最重要的是，我们对各种自然语言处理任务的大型语言模型的使用和非使用情况进行了详细的讨论，例如知识密集型任务、传统的自然语言理解任务、自然语言生成任务、突现能力和注意事项 1. INTRODUCTION 导语 近年来，大语种模型的快速发展使自然语言处理领域发生了革命性的变化。这些强大的模型在解决各种各样的NLP任务方面表现出了巨大的潜力，从自然语言理解( NL...
ac平台在Jupyter Notebook中使用自定义conda环境
基本步骤 本文使用的dtk版本为22.10.1，其他版本应该也可用。 使用conda 本文默认已经配置好了conda环境（要求python==3.7，与jupyter环境一致) 使用命令 1conda env list 列出当前存在的conda环境，如果不包含需要的环境需要根据超算ac平台使用conda搭建pytorch环境自行创建和配置。 推荐使用平台上存在的预置conda环境，这样可以节省很多手动下载安装依赖的时间。 本文选取的是当前平台上存在的预置环境pytorch1.10.0a0-py37-dtk22.04.2 123# 本文选取当前平台上存在的预置环境pytorch1.10.0a0-py37-dtk22.04.2[xxxxx@login08]$ conda activate pytorch1.10.0a0-py37-dtk22.04.2(pytorch1.10.0a0-py37-dtk22.04.2) [xxxxxx@login08]$ 创建Jupyter Notebook 环境 在ac平台创建Notebook环境，选择适合的框架版本（dtk)，和加速器数量进行创建，...
ac平台使用conda搭建pytorch环境
基本步骤 本文使用的dtk版本为22.10.1，其他版本应该也可用。 启用conda 1234567module purgemodule load compiler/devtoolset/7.3.1module load mpi/hpcx/2.11.0/gcc-7.3.1module load compiler/dtk/22.10.1module load apps/anaconda3/5.2.0conda env list # 默认只有base环境 创建并启用自定义环境 123conda create -n env_name python=3.8 # env_name 为自己定义的环境名称 python版本根据需要来自行选择conda activate env_name#(env_name) [acg1fa4eq1@login05 ~]$ 注：要注意安装的python版本和pytorch以及dtk的对应关系 下载并安装下面的依赖 12345678# 下面的包对应的都是 py38-dtk22.10的版本。其他版本需要自行从开发者社区中下载# 下载链接： https://canc...
ac平台部署Fooocus（Stable Diffusion非官方版本）
关于Fooocus fooocus是对 Stable Diffusion 的非官方开源实现，其可以轻松实现离线图像生成，并且部署十分方便。 https://github.com/lllyasviel/Fooocus/tree/main 下载和安装 进入Eshell，加载pytorch dtk23.04环境 123module rm compiler/rocm/2.9module load compiler/rocm/dtk-23.04module load apps/DeepLearning/PyTorch/1.13.1/pytorch-1.13.1-py3.9-dtk23.04 克隆官方仓库(这里同样是我自己创建的镜像仓库) 12git clone https://gitee.com/Cerber2ol8/Fooocus.gitcd Fooocus 克隆comfyUI的仓库 1234mkdir repositories && cd repositoriesgit clone https://gitee.com/Cerber2ol8/ComfyUI.gitmv C...
ac平台部署Stable Diffusion官方版本（无webui）
ac平台部署Stable Diffusion 记录 官方版本（无webui） sd官方仓库 https://github.com/Stability-AI/StableDiffusion 环境配置 进入Eshell，加载pytorch dtk23.04环境 123module rm compiler/rocm/2.9module load compiler/rocm/dtk-23.04module load apps/DeepLearning/PyTorch/1.13.1/pytorch-1.13.1-py3.9-dtk23.04 在登陆节点下载依赖 1pip install transformers==4.19.2 diffusers invisible-watermark 下载官方仓库 12# 超算服务器无法正常访问github，该链接为官方仓库同步镜像git clone https://gitee.com/Cerber2ol8/StableDiffusion 安装依赖 首先修改requirements.txt，否则会由于找不到合适版本的包无限循环 123#gradio==3...
4. 3d unet : 基于稀疏标注的稠密体分割学习
3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation Abstract. This paper introduces a network for volumetric segmentation that learns from sparsely annotated volumetric images. We outline two attractive use cases of this method: (1) In a semi-automated setup, the user annotates some slices in the volume to be segmented. The network learns from these sparse annotations and provides a dense 3D segmentation. (2) In a fully-automated setup, we assume that a representative, spa...
资料待读列表
High-Resolution Image Synthesis with Latent Diffusion Models：https://arxiv.org/abs/2112.10752 Denoising Diffusion Probabilistic Models：https://arxiv.org/abs/2006.11239 Denoising Diffusion Implicit Models：https://openreview.net/forum?id=St1giarCHLP ERNIE-ViLG 2.0: Improving Text-to-Image Diffusion Model with Knowledge-Enhanced Mixture-of-Denoising-Experts：https://arxiv.org/abs/2210.15257 Latent Diffusion Models原始代码项目：https://github.com/CompVis/latent-diffusion Stable Diffusion工程优化后的项目：https://...
3. A Survey on Generative Diffusion Model
生成扩散模型综述 摘要： 由于深度潜在表示，抽象-深度学习在生成任务中显示出卓越的潜力。生成模型是一类可以随机生成关于某些隐含参数的观察值的模型。近年来，扩散模型凭借其能量生成能力成为一种新兴的生成模型。如今，已经取得了巨大的成就。除了计算机视觉、语音生成、生物信息学和自然语言处理外，该领域还有待探索更多的应用。然而，扩散模型有其真正的缺点，即生成过程缓慢、数据类型单一、似然度低以及无法进行降维。它们正在导致许多改进工程。本文对扩散模型的研究现状进行了综述。首先，我们阐述了两个地标性作品DDPM和DSM以及一个统一地标性作品Score SDE的主要问题。然后，针对扩散模型领域存在的问题，提出了分类改进技术;为了提高模型的速度，本文提出了各种各样的先进技术来加速扩散模型——训练计划、免训练采样、混合建模以及得分和扩散统一。针对数据结构多样化问题，提出了在连续空间、离散空间和约束空间应用扩散模型的改进技术。对于似然优化，本文提出了改进ELBO和最小化变分差距的理论方法。对于降维问题，我们提出了几种解决高维问题的技术。对于现有模型，还根据具体的NFE提供了FID score、IS和NL...
