港中文联合MIT提出超长上下文LongLoRA大模型微调算法

LongLoRA具有很强的普适性,其可以保持LLM的原始架构,并且与大多数现有技术兼容,例如FlashAttention-2等,此外,为了让LongLoRA的模型具有对话能力,作者团队专门收集了一个LongAlpaca数据集(包含9k长上下文问答对和3k短问答对),用于监督微调。论文名称:LongLoRA:EfficientFine-tuningofLong-ContextLargeLanguage...

优化支付服务·使用指南篇 | 【甘肃】境外来甘人员支付服务指南...

WelcometoGansu!Inordertoenableyoutoenjoysafe,convenientandefficientpaymentservices,thePeople'sBankofChinaGansuBranchhasbuiltacomprehensivepaymentservicesystemsuchasmobilepayment,cashpaymentandoverseasbankcardacceptance,coveringtravel,shopping,entertainme...

中英文发布,青科会再度登上《Nature》|china|science|research|...

Xiongwen(David)Lou,amaterialsscientistfromtheCityUniversityofHongKong,sharesthisvision.HewashonoredwithaYoungScientistSDGsAwardforhisworkondevelopingefficient,cost-effective,andenvironmentallyfriendlynanomaterialsforenergystorageandconversionsystems.These...

中英双语翻译:地球上最早的生命和外星生命可能是紫色的

??That"somethingelse"wouldbesimpleorganismsthatcapturedsolarenergywithamoleculecalledretinal.Retinalpigmentsabsorbgreenlightbest.They"renotasefficientaschlorophyllsincapturingsolarenergy,buttheyaresimpler,theresearcherswroteintheirnewpaper.??这种...

固定参数的模型有多大潜力?港中文、上海AI Lab等提出高效视频理解...

代码链接:httpsgithub/OpenGVLab/efficient-video-recognition基于上述两方面特点,来自香港中文大学、上海人工智能实验室等机构的研究者提出了高效的视频理解迁移学习框架EVL,通过固定骨干基础模型的权重,节省了训练计算量和内存消耗;同时通过利用多层次、细粒度的中间特征,尽可能保持了传统端到端微调的灵活性。

KDD 2023奖项出炉:港中文、港科大等获最佳论文奖,GNN大牛Leskovec...

来自香港中文大学的孙相国博士、程鸿教授、香港科技大学(广州)的李佳教授、东南大学的刘波教授以及同济大学的关佶红教授获得了最佳论文奖(www.e993.com)2024年11月29日。获奖论文为《AllinOne:Multi-taskPromptingforGraphNeuralNetworks》。李佳教授获得最佳论文奖(研究方向)。

将LLaMA2上下文扩展至100k,MIT、港中文有了LongLoRA方法

现有的efficientattention设计也可以提高长上下文语言模型的效率。在下表2中,研究者将S^2-Attn与几种典型的efficientattention进行了比较,可以发现,前者不仅能够实现高效的微调,还支持fullattention测试。此外,S^2-Attn容易实现,它只涉及两个步骤:(1)转换半注意力头中的token(2)将to...

赋予LLM视觉理解能力,360人工智能研究院开源中文多模态对话模型...

在多模态能力的实现路线上,我们选择了能够充分复用不同领域已有成果的单模态专家模型缝合路线(Single-modalExpertsEfficientintegration),这也是SEEChat项目的命名来源。SEEChatv1.0的模型结构如下图6所示,通过projectionlayer桥接层,将visionencoder:CLIP-ViT-L/14与开源的中文LM:chatGLM6B...

有人做出了中文版GPT-2开源,可用于写小说、诗歌、新闻等

最直接的因素，就在于没有中文版，或者说是没有人基于中文语料去大规模复现。现在，有人这样做了。一位名叫”ZeyaoDu“（位于南京）的开发者，在GitHub上开源了的GPT-2Chinese。可以用于写诗、新闻、小说和剧本，或是训练通用语言模型。项目中默认使用BERT的tokenizer处理中文字符，支持字为单位或是分词模式或是...

中文BIOS+鼠标操控!微星P35 EFINITY主板评测

微星为这款多国语言BIOS命名为“EFI”,三个字母分别是“Efficient”、“Flexible”、“Intelligent”三个单词的首字母。开机后,画面提示按F2或者DEL进入BIOS界面,稍显可惜的是这里并没有中文提示。在进入BIOS后,首先映入眼帘的是六种语言的BIOS选择菜单,其中包括英文、简体中文、繁体中文、韩文、德文和日文。同时整个...