基于跨模态AI模型实现图像检索诗歌

news/2024/7/21 3:47:54 标签: 人工智能, 自然语言处理, 图像处理

基于跨模态AI模型实现图像检索诗歌

前言
一、原理
二、流程
三、代码

前言

生活中我们，我们常常会听到这样的说法：“啊，此时此景，我想作首诗”，或者“啊，此时此景，我想吟诗一首。”
在这里插入图片描述
清华大学九歌系统对上述图片已经生成的诗句如下：
一溪流水绕柴关
上有悬崖绝壁攀
丹灶烟霞通别岛
万年琪树接人寰

对于该博客介绍的方法检索出的诗句如下：
日照香炉生紫烟
遥看瀑布挂前川
飞流直下三千尺
疑是银河落九天

AI检索名诗名篇，引经据典，符合“啊，此时此景，我想吟诗一首”使用场景。

一、原理

在这里插入图片描述
与“CLIP”论文思想一致，本实现使用的是悟道公司的BriVL模型。

二、流程

在这里插入图片描述

三、代码

代码见github

http://www.niftyadmin.cn/n/1030573.html

UWA Pipeline 功能详解｜可视化配置自动测试

之前曾为大家介绍了UWA Pipeline的「私有云真机远程调试」功能，凭借“无需真机在手，一屏操作所有”的功能特性，测试团队可以在局域网内的PC网页端轻松实现对多台移动测试设备的手动操作。今天我们为大家介绍UWA Pipeline 2.x 版本的另一个功…

资源打包关系依赖树

1）资源打包关系依赖树 2）Coroutines产生了大量GC的问题 3）手机端的Soft Shadow如何生效 4）Skybox的环境照明问题这是第292篇UWA技术知识分享的推送。今天我们继续为大家精选了若干和开发、优化相关的问题，建议阅读时…

UWA真人真机测试权益升级说明

不少Unity开发者都了解UWA的真人真机测评服务，只需把集成了SDK的包提交到UWA官网，选定测试机型并提供用例，约一个工作日，报告即可完成。报告涵盖了CPU、GPU和内存等多方面大家关心的性能数据，并以丰富的优化建议和行业…

UWA Pipeline 功能详解｜如何快速创建UWA服务

今天为大家详细介绍的是如何在一条UWA Pipeline内快速创建UWA服务，包括自动化测试、GOT Online测试、真人真机测试、本地资源检测服务，让UWA性能保障体系无缝融入到项目工业化之中，进一步解放团队的生产力。 1. 创建自动化测试服务在之前的…

基于2022高考数学全国卷I概率题解题思路初步分析新冠病毒疫苗

基于2022高考数学全国卷I概率题解题思路初步分析新冠病毒疫苗1. 2022高考数学全国卷I概率题2. 卡方(χ2\chi^2χ2)检验原理回顾3. 解答2022高考数学全国卷I概率题4. 上海疫情分析5. 总结1. 2022高考数学全国卷I概率题一医疗团队为研究某地的一种地方性疾病与当地居民的卫生习惯…

AssetBundle加载的TMP字体材质赋值失败

1）AssetBundle加载的TMP字体材质赋值失败 2）资源打包关系依赖树 3）Shader中设置ColorMask后，最终输出颜色的计算 4）Time.deltaTime和Time.unscaledDeltaTime值不一致这是第293篇UWA技术知识分享的推送。今天我们继续…

Unity游戏内存分布概览

内存是游戏性能优化中一个非常重要的方面。尤其是移动设备，硬件设备受限，但又需要对该类机型的用户进行覆盖兼容的时候。游戏是在PC或者Mac下开发的，但是最终却是（大部分）在移动端（只考虑安卓iOS&#xff0…

解决matplotlib中文乱码问题

解决matplotlib中文乱码问题step 1: 下载SimHei字体step 2: SimHei字体放到matplotlib字体目录下step 3: 修改配置：matplotlibrcstep 4: 删除matplotlib缓存step 1: 下载SimHei字体点击下载SimHei字体 step 2: SimHei字体放到matplotlib字体目录下查看matplotli…

基于跨模态AI模型实现图像检索诗歌

基于跨模态AI模型实现图像检索诗歌

前言

一、原理

二、流程

三、代码

相关文章