ChatGPT

ChatGPT 中文指南: https://github.com/yzfly/awesome-chatgpt-zh

【ChatGPT 超全面课程】“The Ultimate ChatGPT Course” http://t.cn/A69sSSgS #机器学习#

【ChatGPT 原理解析】《What Is ChatGPT Doing … and Why Does It Work? | STEPHEN WOLFRAM》http://t.cn/A6CwtHjy

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB https://mp.weixin.qq.com/s/Q4dw1vBzi6jfQWEYYQT1SQ

真·万字长文：可能是全网最晚的ChatGPT技术总结: https://www.techbeat.net/article-info?id=4766

ChatGPT 类大语言模型为什么会带来“神奇”的涌现能力？https://blog.csdn.net/csdnnews/article/details/129943047

‘ChatGPT Plugin TS - Everything you need to start building ChatGPT Plugins in JS/TS’ Travis Fischer GitHub: https://github.com/transitive-bullshit/chatgpt-plugin-ts

【Plugins Quickstart：获得 Todo列表ChatGPT 插件在5分钟内开始(本地)运行】‘Plugins Quickstart - Get a ChatGPT plugin up and running in under 5 minutes!’ OpenAI GitHub: github.com/openai/plugins-quickstart

【李老师400+页的ChatGPT全面介绍PPT】《ChatGPT的前世今生》http://lipiji.com/slides/ChatGPT_ppf.pdf

【GPTChat：GPT-4客户端，增加了记忆和自我完善工具】‘GPTChat - A GPT-4 client which gives your favourite AI a memory and tools for self-improvement’ Ian Kent GitHub: github.com/ian-kent/gptchat

【GPT-4相关资源/演示大列表】’awesome-gpt4 - Curated list of awesome resources, use cases and demos for GPT-4’ Taranjeet Singh GitHub: https://github.com/taranjeet/awesome-gpt4

【ChatGPT Enhancement Extension：支持ChatGPT的浏览器插件，支持Prompt 提示、PDF 自动阅读、Markdown 转换、复制、保存和导出等】’ChatGPT Enhancement Extension - An all-in-one plugin to improve your ChatGPT experience!’ Haozhe GitHub: https://github.com/sailist/chatgpt-enhancement-extension

An experimental open-source attempt to make GPT-4 fully autonomous. https://github.com/Significant-Gravitas/Auto-GPT

AI-Powered Function Magic: Never code again with GPT models! https://github.com/Torantulino/AI-Functions

【Chapyter：JupyterLab 的扩展，可将 GPT-4 无缝连接到JupyterLab编程环境。它具有代码解释器，用code interpreter将自然语言描述翻译成 Python 代码并自动执行】‘Chapyter: ChatGPT Code Interpreter in Jupyter Notebooks’ GitHub: github.com/chapyter/chapyter

【PyLLMCore：大型语言模型轻量级结构化接口API】‘PyLLMCore - A pythonic library providing light-weighted interface with LLMs’ Pierre Alexandre GitHub: https://github.com/paschembri/py-llm-core

OpenAI API

• https://www.openai-proxy.com/
• 【零基础入门OpenAI API：介绍了OpenAI开发的ChatGPT大型语言模型聊天机器人，以及如何使用OpenAI Python库构建自己的项目和工具，提供了获取API密钥、设置环境变量、使用Chat Completions API进行文本生成的步骤，提供了创建博客提纲生成器和简单ChatGPT样式聊天机器人的示例代码，还介绍了如何调整温度和top_p参数来增加LLM生成响应的创造性和多样性】《Beginner’s guide to OpenAI API》
• OpenAI Cookbook: https://github.com/openai/openai-cookbook
• 【OpenAI ChatGPT Code Interpreter入门：Code Interpreter允许GPT-4这种最先进的AI模型上传和下载信息，并为您编写和执行程序，对于那些不会编程的人可能最有用。它为AI提供了一个通用的工具箱来解决问题（通过使用Python编写代码），一个大容量的内存来处理数据（可以上传100MB的文件，包括压缩文件），并将这个工具箱与AI相结合，发挥出大型语言模型的优势。这有助于解决ChatGPT之前存在的一些问题，例如在数学和语言方面的不准确性。同时，Code Interpreter还降低了幻觉和虚构率，使AI更加多才多艺，并提供了更多令人惊叹的人工智能时刻】《What AI can do with a toolbox… Getting started with Code Interpreter》 https://www.oneusefulthing.org/p/what-ai-can-do-with-a-toolbox-getting
• ‘One API - All in one 的 OpenAI 接口，整合各种 API 访问方式，支持 Azure OpenAI API，可用于二次分发 key，也可作为 OpenAI API 代理使用，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用’ JustSong GitHub: github.com/songquanpeng/one-api
• 【(OpenAI实例教程)用Whisper和GPT-4创建自动会议纪要生成器：将会议的音频转录成文本，提供讨论摘要，提取主要要点和行动项，并进行情感分析】《Creating an automated meeting minutes generator with Whisper and GPT-4 - OpenAI API》 http://aicoco.net/s/4b

Prompt

• 吴恩达与 OpenAI 强强联手，《ChatGPT 提示工程》中文版教程，来了！https://mp.weixin.qq.com/s/K5Hf2k6PXPLIq1DaQCWKag
  • 中文视频：https://space.bilibili.com/15467823/channel/seriesdetail?sid=3247315
  • 英文原版：https://learn.deeplearning.ai/
• 五万字综述！Prompt Tuning：深度解读一种新的微调范式 https://mp.weixin.qq.com/s/CSYz81hwh1aNk9xaef_USQ
• 《构筑大语言模型应用：应用开发与架构设计》 https://aigc.phodal.com/
• ‘Prompt-Engineering-Guide-Chinese - 提示工程师指南，源自英文版，但增加了AIGC的prompt部分’ Richy Wang GitHub: github.com/wangxuqi/Prompt-Engineering-Guide-Chinese
• ‘Learning Prompt - 免费 Prompt Engineering 教程’ Jimmy Wong 网页链接 GitHub: github.com/thinkingjimmy/Learning-Prompt
• 指令原则大解锁！26条Prompt黄金法则，精准提问，显著提升ChatGPT输出质量！ (LZ老师亲自推荐！)

大模型

• 【大模型训练的秘诀】《A Recipe for Training Large Models | report – Weights & Biases》: https://wandb.ai/craiyon/report/reports/Recipe-Training-Large-Models--VmlldzozNjc4MzQz
• 大模型如何用好？亚马逊最新《大型语言模型(LLMs)实践: ChatGPT》综述，全面概述模型、数据、任务的实战指南 : https://mp.weixin.qq.com/s/IVRgILwfa-2E9xTSX6HhNQ
• The official GitHub page for the survey paper “A Survey of Large Language Models”. https://github.com/RUCAIBox/LLMSurvey
• 【关于LLM我们所知的一切：讨论了大型语言模型(LLM)的一些重要方面和研究趋势和挑战】《What We Know About LLMs (Primer)》Will Thompson https://willthompson.name/what-we-know-about-llms-primer
• 【大型语言模型评估详解：LLM的出现为解决以前被认为不可能的问题提供了机会。现在有多个开放和封闭的LLM可用，但如何有效评估基于LLM的应用仍然是个难题。本文通过介绍评估LLM的方法，讨论最先进的方法、可用的框架以及评估LLM应用中的挑战来解决这个问题】《All about evaluating Large language models》https://explodinggradients.com/all-about-evaluating-large-language-models
• 【LLM Learning Lab：关于训练、微调、优化和部署 LLM 的最新技术的学习资源】《LLM Learning Lab - Lightning AI》
• GPT系列来龙去脉大起底（一）｜第一代 GPT：无标注数据预训练生成式语言模型
• GPT系列来龙去脉大起底（二）｜GPT-2：GPT 在零样本多任务学习的探索
• GPT系列来龙去脉大起底（三）｜GPT-3：大型语言模型是少样本学习器
• 【OpenLM：简单高效可定制的LLM训练库】 《Introducing OpenLM | LAION》https://laion.ai/blog/open-lm/
  • OpenLM是一个极简的PyTorch代码库，用于训练中等规模的语言模型。OpenLM旨在最大化GPU利用率和训练速度，并易于修改用于新的语言模型研究和应用。
  • 经验证OpenLM通过在1.6T和1.25T个Token上分别训练OpenLM-1B和OpenLM-7B两个语言模型。在标准的零样本文本分类和多项选择任务上评估这些模型，发现OpenLM-1B的表现优于许多流行的同规模模型，如OPT-1.3B和Pythia-1B。OpenLM-7B取得了与LLAMA-7B和MPT-7B相似的表现。
  • 简要介绍了训练数据、模型评估设置和总体结果，还描述了使用这些模型和OpenLM框架计划探索的兴奋未来工作。
  • 所有模型和训练数据(tokenize且shuffle过)在Huggingface上公开可用。
  • 1B模型在128个A100 40GB GPU上以2M个标记的全局批次大小训练，7B模型在256个GPU上以4M个标记的全局批次大小训练。
  • 在训练过程中，使用最近的论文、新闻等作为验证集来跟踪验证损失。之后使用零样本任务和少样本MMLU任务评估模型性能。
  • 结果显示，OpenLM-1B在1.6T标记下，其零样本平均得分达到0.54，与OPT-1.3B相当。OpenLM-7B在1.25T标记下，其零样本平均得分达到0.61，与LLAMA-7B和MPT-7B相当。
  • 讨论了使用OpenLM支持的各种新研究方向，以及计划扩大OpenLM规模的想法。
• 【面向具有数学或物理背景读者的大语言模型讲座资料】《Large Language Models》M R. Douglas [Stony Brook University] https://arxiv.org/abs/2307.05782
• 【大型语言模型规模化的思考】《Large Language Models (in 2023)》Hyung Won Chung http://aicoco.net/s/65 Slides: http://aicoco.net/s/66
• 【用Optimum计算embedding在GPU上可获得7倍性能提升，基于 OnnxRuntime 的高级图优化实现】《Faster-Embeddings-with-Optimum.ipynb - Colaboratory》 http://t.cn/A6O8N6IK
• 【MIT的“TinyML语高效深度学习计算”课程，涵盖了、模型压缩、剪枝、量化、神经架构搜索、分布式训练、数据/模型并行、梯度压缩以及设备端微调等主题】《6.5940 TinyML and Efficient Deep Learning Computing》 http://t.cn/A6OQgaXg
• 【多模态和大型多模态模型 (LMM)】《Multimodality and Large Multimodal Models (LMMs)》https://huyenchip.com/2023/10/10/multimodal.html
  • 多模态让模型能处理和生成不同模态的数据，如文本、图像、音频等，这对实际应用的AI系统至关重要。
  • LMM将额外的模态集成到大型语言模型中，例如CLIP(文本+图像)、Flamingo(文本+图像+视频)。
  • LMM的关键组件包括每个模态的编码器，多模态嵌入的对齐，以及用于文本生成的语言模型。
  • CLIP通过对网页规模的文本-图像对进行对比学习来对齐多模态嵌入，支持零样本分类和检索。
  • Flamingo通过Perceiver Resampler和GATED XATTN-DENSE等技术微调语言模型，以基于文本和视觉条件化地生成文本。
  • LMM的前沿研究关注融入更多模态，指令遵循，使用适配器的高效训练，多模态生成，以及评估基准的建立。
• 【冷静对待LLM的评测结果】《AI hype is built on high test scores. Those tests are flawed. | MIT Technology Review》https://www.technologyreview.com/2023/08/30/1078670/large-language-models-arent-people-lets-stop-testing-them-like-they-were/ https://www.cs.princeton.edu/~arvindn/talks/evaluating_llms_minefield/
  • 人们通过让大型语言模型(LLM)参加人类智力测试来证明它们的能力，但这些测试存在缺陷。LLM在某些测试中表现不错，但在其他测试中却失败，因此很难判断这些成绩到底反映了什么。
  • 这些测试针对人类设计，基于很多假设。但对LLM却不一定成立。我们不能简单地把人类测试应用到LLM上，并据此下结论。
  • LLM的表现十分不稳定。人类通常在一个测试中得高分，在相似测试中也能得高分。但LLM的表现则具有巨大随机性。
  • LLM可能是通过纯记忆答案来“作弊”通过测试的。有证据显示它们在训练数据出现过的题目上表现优异，但在全新题目上就很差。
  • 我们需要更严谨的LLM评估方法。可以借鉴测试动物智力的科学实验方法，进行控制实验、多角度验证。
  • 应更关注LLM如何通过测试，而非仅仅通过与不通过。我们需要反向工程这些模型，了解它们运作的算法。
  • LLM在语言领域的表现将迫使我们重新思考“智能”的本质和评判标准。
• 【大语言模型研究的开放挑战】《Open challenges in LLM research》https://huyenchip.com/2023/08/16/llm-research-open-challenges.html
  • 测量和减少幻觉(hallucination)——减少LLM生成虚假信息。
  • 优化上下文长度和构建——更好地利用上下文信息提高模型表现。
  • 结合其他数据模态——多模态是提升模型表现的有力手段。
  • 提速降价——模型压缩、量化等技术可以大幅减少计算和存储成本。
  • 设计新的模型架构——超越Transformer架构是一个巨大的挑战。
  • 开发GPU替代硬件——光子芯片等新硬件或成为下一个潮流。
  • Agent实用化——研发可以执行任务的LLM仍面临可靠性等挑战。
  • 改进人工反馈驱动的学习——RLHF存在许多理论和实际问题。
  • 改进聊天界面效率——聊天界面可以在多轮交互等方面优化。
  • 构建非英语LLM——非英语LLM的数据和技术问题依然存在。
• ‘大语言模型（LLM）微调技术笔记’ by Tao Yang GitHub: github.com/ninehills/ninehills.github.io/issues/92
• 【关于大型语言模型(LLM)的一切，包括了LLMs的入门、微调方法、多模态模型、稳定扩散、注意力机制优化和数据效率等方面的信息，从nanoGPT到LoRA、QLoRA、RLHF到CLIP等多模态模型】’Everything-about-LLMs’ by Tianlin GitHub: github.com/tianlinxu312/Everything-about-LLMs
• 【上下文学习解析】《In-Context Learning, In Context》 https://thegradient.pub/in-context-learning-in-context/
  • 上下文学习是大语言模型的重要能力，可以通过给模型一些输入输出示例，让模型在推理时学习新的任务，而无需调整模型权重。
  • 提示设计非常重要，需要注意示例的输入分布、输出空间和格式，以帮助模型定位已学概念。
  • 一些研究表明上下文学习与梯度下降相关，大模型可以在一定程度上“学习”提示中的输入-输出映射，而不仅仅依赖先验知识。
  • 是否真正在上下文学习中发生“学习”还不清楚，证据表明大模型可以从提示获取新知识，但也可能仅是重新组合预训练知识。
  • 归纳头组件为理解在上下文学习内在机制提供了途径。
  • 上下文学习是一个重要的现象，需要研究模型何时以及如何在提示的上下文中真正“学习”新知识。
  • 未来需要关注在上下文学习中的“学习”问题，以及如何设计提示来帮助模型学习新任务。

对齐

• 【《对齐手册》，主题是如何使用不同技术来微调语言模型，以使其更符合人类和AI的偏好。其目标是为社区提供一系列强大的训练方法，覆盖整个微调语言模型的过程。这些方法包括监督微调、奖励建模、拒绝抽样以及直接偏好优化(DPO)】’The Alignment Handbook - Robust recipes for Alignment’ Hugging Face GitHub: https://github.com/huggingface/alignment-handbook

LLaMA

• 《使用 Docker 快速上手官方版 LLaMA2 开源大模型》 https://weibo.com/ttarticle/p/show?id=2309404925854957568872
• 【Perplexity推出pplx-api，可快速访问开源大型语言模型如Mistral 7B、Llama2 13B等】《Introducing pplx-api - Perplexity’s fast and efficient API for open-source LLMs》https://blog.perplexity.ai/blog/introducing-pplx-api
  • pplx-api易于使用，开发者可以在几分钟内通过REST API整合先进的开源模型。
  • pplx-api推理速度很快，比其他解决方案的延迟降低了2-3倍。
  • pplx-api基础设施经过验证，可以承载产品级流量。
  • pplx-api采用NVIDIA TensorRT-LLM和AWS A100 GPU等先进软硬件，实现了优化。
  • pplx-api已用于Perplexity的产品中，相比外部API每年节省了62万美元成本。
  • pplx-api兼容OpenAI API，可以轻松集成到现有应用中。
  • 未来pplx-api将支持更多定制和开源模型。
• 千元预算半天训练，效果媲美主流大模型，开源可商用中文LLaMA-2: https://mp.weixin.qq.com/s/PIe64Yo04EIc9xQh-lkyqg

APP

• 【RealChar - 可以实时创建、自定义并与AI角色/伙伴进行语音对话的平台，提供了与AI进行自然无缝对话的功能，基于LLM OpenAI GPT3.5/4, Anthropic Claude2, Chroma Vector DB, Whisper Speech2Text, ElevenLabs Text2Speech】’RealChar. - Your Realtime AI Character - Create, Customize and Talk to your AI Character/Companion in Realtime(All in One Codebase!). Have a natural seamless conversation with AI everywhere(mobile, web and terminal) using LLM OpenAI GPT3.5/4, Anthropic Claude2, Chroma Vector DB, Whisper Speech2Text, ElevenLabs Text2Speech’ shaun GitHub: github.com/Shaunwei/RealChar
• 【gpt-author：使用GPT-4和Stable Diffusion API调用链生成原创奇幻小说。用户提供初始提示和章节数，AI会生成整本小说，输出与电子书阅读器兼容的EPUB文件，一本15章的小说只需$4，几分钟写成】“gpt-author - utilizes a chain of GPT-4 and Stable Diffusion API calls to generate an original fantasy novel” mshumer GitHub: github.com/mshumer/gpt-author
• GPT-Engineer一夜爆火！一个提示生成整个代码库，GitHub狂飙19k星 https://mp.weixin.qq.com/s/fjrKWsjgsiCXBar9r9F4XQ
• https://github.com/JushBJJ/Mr.-Ranedeer-AI-Tutor
• 【GPT Lab：用户友好的Streamlit应用，可以让用户与OpenAI的GPT语言模型交互并创建自己的AI助手】‘GPT Lab - Streamlit Community Cloud’ Dave Lin GitHub: github.com/dclin/gptlab-streamlit
• 【Mentat：AI编程助手，能帮助完成任意编程任务，直接在命令行中使用。与Copilot不同，Mentat可以在多个位置和文件之间协调编辑，无需复制粘贴即可了解项目的上下文】’Mentat - The AI Coding Assistant’ biobootloader GitHub: github.com/biobootloader/mentat
• 【AI表情符号生成器：几秒内将你的想法变成表情符号】《AI Emoji Generator》: https://emojis.alexandru.so/
• 【localpilot：在本地运行的GitHub Copilot】’localpilot - Use GitHub Copilot locally on your Macbook with one-click!’ by Daniel Gross GitHub: https://github.com/danielgross/localpilot
• 【用于改善效率和学习的教育提示设计，旨在改变 K-12 和高等教育机构的学生、教育工作者和工作人员与 ChatGPT 和 Bing Chat 等生成式 AI 技术互动的方式】’Prompts for Education: Enhancing Productivity & Learning’ by Microsoft GitHub: https://github.com/microsoft/prompts-for-edu
• 【Octogen：为开发者打造的开源代码解释器】‘Octogen - an Open-Source Code Interpreter Powered by GPT3.5/4 and Codellama’ DBPunk Labs Teams GitHub: https://github.com/dbpunk-labs/octogen
• 【Hotshot-XL：根据文本生成 GIF 动图】‘Hotshot-XL - an AI text-to-GIF model trained to work alongside Stable Diffusion XL’ by Hotshot GitHub: https://github.com/hotshotco/Hotshot-XL
• 【BionicGPT：ChatGPT的本地替代品，提供生成式AI功能的同时，保持严格的数据私密性，可以在笔记本电脑上运行，也可以扩展到数据中心】’BionicGPT - BionicGPT is an on-premise replacement for ChatGPT, offering the advantages of Generative AI while maintaining strict data confidentiality’ purton-tech GitHub: https://github.com/purton-tech/bionicgpt
• 【qrGPT：在几秒钟内生成漂亮的 AI 二维码】‘qrGPT - An AI QR Code Generator，Generate beautiful AI QR Codes in seconds. Powered by Vercel and Replicate’ Hassan El Mghari GitHub: https://github.com/Nutlope/qrGPT
• 【MusicGen流式音乐生成Demo】《Musicgen Streaming - a Hugging Face Space by sanchit-gandhi》https://huggingface.co/spaces/sanchit-gandhi/musicgen-streaming
• 【GitWit Agent：基于容器的Agent，专门用于向 git 存储库提交有用的commits，在临时沙箱中与文件系统交互，因此可以运行任意 shell 命令】’GitWit Agent - Create repos and commits with AI.’ James Murdza GitHub: github.com/jamesmurdza/gitwit-agent
• 【Autonomous Agent for Test-Driven Development (TDD)：测试驱动开发(TDD)自主Agent，可以用 ReactJS、Flask、Express 等构建应用，遵循测试驱动开发 (TDD) 方法，其运行完全无需人工​​干预，从项目计划开始，tddGPT 将需求转化为测试，根据这些测试开发代码，并进行调试，直到所有测试通过】’Autonomous Agent for Test-Driven Development (TDD) - AutoGPT for Web App Development’ gimlet-ai GitHub: github.com/gimlet-ai/tddGPT
• 【Fireworks Cookbook：Fireworks方案集锦，旨在帮助开发、评估和部署生成式人工智能(GenAI)模型】’Fireworks Cookbook - Collection of recipes aiding Gen AI model development’ fw-ai GitHub: github.com/fw-ai/cookbook
• 【用基础模型构建用于科学发现的AI系统】《Scientists Begin Building AI for Scientific Discovery Using Tech Behind ChatGPT》https://www.simonsfoundation.org/2023/10/09/scientists-begin-building-ai-for-scientific-discovery-using-tech-behind-chatgpt
  • 一组国际科学家启动了一个称为Polymathic AI的项目，利用与ChatGPT相同的技术来建立一个强大的科学发现辅助AI系统。
  • 该系统将学习各科学领域的数值数据和物理模拟，以辅助科学家构建从恒星到气候的各种模型。
  • 该项目利用预训练的基础模型，这种方法可以比从零开始训练一个专用模型更快更准确。
  • 该项目团队由各领域专家组成，目标是创建一个真正跨学科的系统。
  • 该系统将学习包括物理、天体物理等在内的各种异构数据源，并将多学科知识应用到各种科学问题中。
  • 该项目将数据作为实际数字处理，而不仅仅是字符，以避免ChatGPT的某些缺陷。
  • 该项目强调透明开放，目标是向科学社区提供一个预训练模型，以帮助改进各个领域的科学分析。
  • 该项目连接了看似不相关的子领域，使之产生协同效应，推动科学发现。
• 【ChatGPT for Jupyter：在本地 Jupyter notebook 里使用 ChatGPT】’ChatGPT for Jupyter - A browser extension that lets you chat with ChatGPT from any local Jupyter notebook.’ John Lam GitHub: github.com/jflam/chat-gpt-jupyter-extension
• 【LLM for Phd：博士生实用 ChatGPT 提示集锦】’LLM for Phd - Examples and instructions about use LLMs (especially ChatGPT) for PhD’ Siyuan (Ryans) Zhuang GitHub: github.com/suquark/llm4phd
• ‘WeChat Bot - 一个基于OpenAi ChatGPT + WeChaty 实现的微信机器人 ，可以用来帮助你自动回复微信消息，或者管理微信群/好友，检测僵尸粉等…’ wangrongding GitHub: github.com/wangrongding/wechat-bot
• 【ChatPaper：一款论文总结工具，根据用户输入的关键词，自动在arxiv上下载最新的论文，再利用ChatGPT3.5的API接口的总结能力，将论文总结为固定的格式】’ChatPaper - Use ChatGPT to summary the Arxiv papers.’ kaixindelele GitHub: github.com/kaixindelele/ChatPaper