手把手带你用Python和文心一言搭建《AI看图写诗》网页项目（附上完整项目源码）

今年年初，ChatGPT的火爆在全球掀起AI大模型的开发热潮，国内外的科技公司纷纷加入“百模大战”行列。百度在率先发布了国内第一款人工智能大语言模型“文心一言”后，又推出了文心千帆大模型平台，帮助企业和开发者加速大模型应用落地。

而最近百度创始人、董事长兼首席执行官李彦宏在一场活动上透露了百度世界大会2023的重磅消息，他将在10月17号百度世界大会召开的时候，“手把手教你怎么做AI原生应用”。

我自己也突发奇想用文心一言搭建一个AI小应用：《看图写诗》，说干就干，接下来就跟着博主一起实现这个网页吧！


文章目录

  • 一、实现思路
  • 二、《AI看图写诗》网页搭建实现步骤
    • 2.1 网页前端
    • 2.2 图像识别
      • 2.2.1 安装百度智能云Python SDK
      • 2.2.2 创建应用
      • 2.2.3 Python代码测试
    • 2.3 文心一言写诗
      • 2.3.1 安装ERNIE Bot SDK
      • 2.3.2 获取令牌Token
      • 2.3.3 Python代码测试
    • 2.4 网页后端
    • 2.5 完整项目拷贝
    • 2.6 项目运行步骤
    • 2.7 运行流程视频
  • 三、未来优化
  • 四、总结

一、实现思路

1、设计一款网页实现接受上传图片和接收文心一言令牌Token功能

2、Python调用百度智能云的图片识别接口，识别图片类别和内容

3、Python调用文心一言接口，输入图片类别，通过文心一言写诗

4、Python后端将诗返回到网页上

二、《AI看图写诗》网页搭建实现步骤

2.1 网页前端

网页前端采用HTML+CSS+JavaScript技术，实现了上传图片、展示图片，传入百度智能云AppId、百度智能云API Key、百度智能云Secret Key、飞浆星河Access Token和点击写诗功能，界面如下：

2.2 图像识别

百度智能图像识别接口是百度提供的一项人工智能服务，能够对图片进行高精度的内容识别，该接口支持多种图像识别任务，包括通用物体识别、场景识别、文字识别、动物识别等，这里我们通过Python直接调用免费的通用物体识别图像识别接口，极大的提高了开发工作的效率。

2.2.1 安装百度智能云Python SDK

可以通过pip安装百度智能云Python SDK。在终端下输入以下命令：

python">pip install baidu-aip

安装完毕后，你就可以在Python代码中导入该包了：

python">from aip import AipImageClassify

2.2.2 创建应用

1、登录百度智能云的官网：https://console.bce.baidu.com

2、依次找到点击 产品 》人工智能 》图像识别

3、登录控制台后点击免费尝鲜：

4、勾选全部然后点击0元领取：

5、创建成功后，点击应用进入应用详情页，进入应用管理菜单，点击API Key，可查看API Key和Secret Key，用于Python代码调用API。

在这里插入图片描述

2.2.3 Python代码测试

经过以上两步准备工作，我们便可以开始编写Python代码，实现百度智能图片识别。以下是一个简单的测试示例，需要修改AppId 、API Key、Secret Key和图片路径：

python">from aip import AipImageClassify

# 定义百度智能云API的参数
APP_ID = '你的API ID'
API_KEY = '你的API Key'
SECRET_KEY = '你的 Secret Key'

# 实例化AipImageClassify
client = AipImageClassify(APP_ID, API_KEY, SECRET_KEY)

# 读取并设置图片路径
filePath = "1.png"

# 打开图片文件
with open(filePath, 'rb') as fp:
   image = fp.read()

# 定义可选参数
options = {"baike_num": 1}

# 调用图片标签识别接口
result = client.advancedGeneral(image, options)

# 输出结果
for res in result['result']:
   print(res['keyword'], end=", ")

我输出图片是这张风景图，没有文字还是很有挑战的：

识别效果，图片上的信息都给识别出来了：

在这里插入图片描述

接下来我们就需要把识别出来的图像内容传给文心一言写诗了。

2.3 文心一言写诗

这里我是通过ERNIE Bot SDK提供便捷易用的接口，可以调用文心一言的能力，包含文本创作、通用对话、语义向量、Al作图等，并且可以免费调用100万Token：

2.3.1 安装ERNIE Bot SDK

ERNIE Bot SDK是文心&飞桨官方提供的Python软件开发工具包，简称EB SDK，通过下面的pip命令安装：

python">pip install erniebot

EB SDK认证鉴权主要是设置后端和access token，分别通过api_type和access_token参数来指定，默认使用aistudio后端（api_type为aistudio），将个人中心令牌Token，复制后填入下面代码中即可（替换{YOUR-ACCESS-TOKEN}）：

2.3.2 获取令牌Token

1、打开飞浆星河社区的官网：https://aistudio.baidu.com/cooperate/erniebotsdk

2、注册完账号后，点击查看：

3、获取自己的Token令牌并复制，后面我们用Python去调用接口会使用到：

2.3.3 Python代码测试

下面我们来单独测试一下通过ERNIE Bot SDK调用文心一言接口写诗的能力，完整代码如下（只需要替换为自己的Token）：

python">import erniebot


if __name__ == '__main__':
   # img_str，access_token需要传入
   img_str = '树, 瀑布, 江河, 峡谷, 山峦' # 这里需要图片识别的内容信息
   access_token = "这里替换为自己的TOken"
   content = '根据'+img_str,'写10首两句七言诗'

   erniebot.api_type = 'aistudio'
   erniebot.access_token = access_token
   response = erniebot.ChatCompletion.create(
       model='ernie-bot',
       messages=[{'role': 'user', 'content': f"{content}”"}],
   )
   print(response.result)

运行输出结果还是非常不错的：

在这里插入图片描述

接下来就只需要将生成的诗句传递给网页端展示出来就可以啦。

2.4 网页后端

使用到了下面两个Python库，执行pip命令安装一下：

python">pip install fastapi
pip install pydantic

网页后端实现接收前端传入的图片和令牌，然后调用百度智能云的图片识别接口和文心一言大模型接口，然后将生成的诗句返回给网页前端的功能，后端代码如下：

python">from fastapi import FastAPI, File, Form, UploadFile
from pydantic import BaseModel
from fastapi.middleware.cors import CORSMiddleware
import erniebot
from aip import AipImageClassify

app = FastAPI()
origins = [
   "http://localhost.tiangolo.com",
   "https://localhost.tiangolo.com",
   "http://localhost",
   "http://localhost:8000",
   "http://localhost:63342",
   # "http://127.0.0.1:8000"
]
app.add_middleware(
   CORSMiddleware,
   allow_origins=origins,
   allow_credentials=True,
   allow_methods=["*"],
   allow_headers=["*"],
)
class PoeSimpleReq(BaseModel):
   access_token: str
   app_id: str
   api_key: str
   classify_secret_key: str
   file: bytes = File(default=None)

@app.post("/poe")
async def read_root(access_token: str = Form(), app_id: str = Form(), api_key: str = Form(),
                   classify_secret_key: str = Form(), image: UploadFile = File()):
   if access_token is None or app_id is None or api_key is None or classify_secret_key is None or classify_secret_key is None or image is None:
       return "Supplementary information on the left"
   access_token = access_token

   APP_ID = app_id
   API_KEY = api_key
   CLASSIFY_SECRET_KEY = classify_secret_key

   client = AipImageClassify(APP_ID, API_KEY, CLASSIFY_SECRET_KEY)
   # 定义可选参数
   options = {"baike_num": 5}
   # 调用图片标签识别接口
   result = client.advancedGeneral(image.file.read(), options)
   print("pic result:", result)
   keyword_list = []

   for res in result['result']:
       keyword_list.append(res['keyword'])
   keyword_string = ', '.join(keyword_list)
   content = '根据' + keyword_string + '写10首两句七言诗'
   erniebot.api_type = 'aistudio'
   erniebot.access_token = access_token
   response = erniebot.ChatCompletion.create(
       model='ernie-bot',
       messages=[{'role': 'user', 'content': f"{content}”"}],
   )

   data_str = response.result
   return data_str.replace("\n", "  ")

2.5 完整项目拷贝

博主已经将这个项目的完整源码上传到Gitee上开源，小伙伴们可以自行下载和修改项目：
https://gitee.com/xiaoyuan-itsuper/AI.git

2.6 项目运行步骤

1、根据上面教程提前准备好百度智能云AppId、百度智能云API Key、百度智能云Secret Key、飞浆星河Access Token

2、下载拷贝完整源码，创建虚拟环境，pip安装依赖包

3、进入源码路径，启动对应虚拟环境，在cmd输入下面命令启动代码：

python">uvicorn main:app --reload

如图：

在这里插入图片描述

4、点击打开网页：

5、打开主界面如下所示：

6、点击选择图片，并展示图片：

7、填写根据上面教程准备好的百度智能云AppId、百度智能云API Key、百度智能云Secret Key、飞浆星河Access Token（注意：这个四个都需要填写）：

8、点击生成诗句：

在这里插入图片描述

9、等待一会就生成完成了：

在这里插入图片描述

OK这里完整项目运行流程就结束了，大家还不速度上号体验一番！

2.7 运行流程视频

《AI看图写诗》项目运行流程

三、未来优化

1、网页主页界面UI设计优化。

2、增强新功能，如：通过文心一言的接口实现根据文字绘画、文档整理等功能。

3、网站部署上线

大家有更好多想法可以评论区留言我们一起去实现！

四、总结

通过这小案例我们了解到了如何通过AI实现了看图写诗应用，主要依靠的还是百度智能云的图片识别接口和文心一言大模型的文本生成能力，当然除了文本生成以外，文心一言大模型还可以生成图片、音频和视频功能等等，这些非常都值得我们后续不断去探索和应用。

以“生成未来”为主题的百度世界大会将于10月17日在北京首钢园举行,除了李彦宏的现场教学“手把手教你怎么做AI原生应用”，百度世界大会2023还将带来大模型、AI原生应用、生成式AI生态等内容的最新进展。让我们一起抓住大模型应用这场机遇吧！

直播地址分享给大家：https://baiduworld.baidu.com/m/world/2023/#intro-title


http://www.niftyadmin.cn/n/5088153.html

相关文章

【数据结构-字符串 三】【栈的应用】字符串解码

【数据结构-字符串 三】【栈的应用】字符串解码

废话不多说，喊一句号子鼓励自己：程序员永不失业，程序员走向架构！本篇Blog的主题是【字符串转换】，使用【字符串】这个基本的数据结构来实现，这个高频题的站点是：CodeTop，筛选条件为&…
阅读更多...
Vue鼠标右键画矩形和Ctrl按键多选组件

Vue鼠标右键画矩形和Ctrl按键多选组件

效果图 说明 下面会贴出组件代码以及一个Demo&#xff0c;上面的效果图即为Demo的效果&#xff0c;建议直接将两份代码拷贝到自己的开发环境直接运行调试。 组件代码 <template><!-- 鼠标画矩形选择对象 --><div class"objects" ref"objectsR…
阅读更多...
python selenium下载一个合适的chromedriver.exe(稳定版本）

python selenium下载一个合适的chromedriver.exe(稳定版本）

可以使用该脚本来进行下载&#xff1a; 下载前需要安装如下的依赖 requests2.27.1 selenium4.14.0 webdriver_manager4.0.1下载脚本代码&#xff1a; import json import subprocess import shutil import os import time import zipfileimport requests from webdriver_mana…
阅读更多...
Linux 指令心法（十三）`mkdir` 创建新的目录（文件夹）

Linux 指令心法（十三）`mkdir` 创建新的目录（文件夹）

文章目录 命令的概述和用途命令的用法命令行选项和参数的详细说明命令的示例命令的注意事项或提示 命令的概述和用途 mkdir 是 “make directory” 的缩写&#xff0c;它是一个 Linux 和 Unix 系统中的命令&#xff0c;用于创建新的目录&#xff08;文件夹&#xff09;。mkdir…
阅读更多...
Kafka 开启SASL/SCRAM认证 及 ACL授权（一）认证

Kafka 开启SASL/SCRAM认证 及 ACL授权（一）认证

Kafka 开启SASL/SCRAM认证 及 ACL授权（一）认证。 kafka安全涉及3部份：传输加密，用户认证与授权，ZK开启ACL（Zookeeper存储了kafka的元数据以及用户信息，默认不开启acl所有用户可改，内网环境机器不对外开放可考虑使用默认不开启ZK ACL）。 官网地址：https://kafka.ap…
阅读更多...
跳动的爱心源码

跳动的爱心源码

话不多说直接上源码 关闭程序请按 AIt + F4 import random from math import sin, cos, pi, log from tkinter import * import ctypesuser32 = ctypes.windll.user32 CANVAS_WIDTH = user32.GetSystemMetrics(0
阅读更多...
10月13日，每日信息差

10月13日，每日信息差

今天是2023年10月13日&#xff0c;以下是为您准备的13条信息差 第一、欧盟投资4.5亿欧元在法国建设电池超级工厂。欧洲投资银行是欧盟的贷款机构&#xff0c;也是世界上最大的跨国银行之一 ​第二、北京银行推出数字人民币智能合约平台 数字人民币预付资金管理产品在商超场景…
阅读更多...
面向无线传感器网络WSN的增强型MODLEACH设计与仿真（Matlab代码实现）

面向无线传感器网络WSN的增强型MODLEACH设计与仿真（Matlab代码实现）

&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清晰&#xff0c;为了方便读者。 ⛳️座右铭&a…
阅读更多...
最新文章

Copyright @ 2022~2023