AI技术「通用物体与场景识别」开发体验
一、需求描述
大家在出去旅游的时候，往往会对景点里的特色事物感兴趣，而一般情况下，如果没有导游的介绍，我们不太清楚这个景区里的特色景点是什么，有时候即使看到了一个事物，都不认识它，只能等着导游来介绍，这样的话，旅游的可玩性、自由度都大大降低了。
而如果能够使用百度的【通用物体与场景识别】技术，只需要简单的拍照上传，就能知道这个物品是什么，这个景点叫什么名字，它的由来它的故事等等，那么基本上可以脱离导游，自己一行人按照自己的喜好去游玩，不仅自由，还能增长见识，这样的旅游才有意思，否则的话，只能跟着导游走。
二、应用价值
利用百度【通用物体与场景识别】技术，识别自己旅游/生活中遇到的不认识的物体、场景，了解其背景，增长见识。
三、使用攻略
说明：本文采用C# 语言，开发环境为.Net Core 2.1，采用在线API接口方式实现。
（1）、登陆 百度智能云-管理中心 创建 “图像识别”应用，获取 “API Key ”和 “Secret Key” ：https://console.bce.baidu.com/ai/?_=1561555561720&fromai=1#/ai/imagerecognition/overview/index
（2）、根据 API Key 和 Secret Key 获取 AccessToken。
///
/// 获取百度access_token
///
/// API Key
/// Secret Key
///
public static string GetAccessToken(string clientId, string clientSecret)
{
string authHost = "https://aip.baidubce.com/oauth/2.0/token";
HttpClient client = new HttpClient();
List> paraList = new List>();
paraList.Add(new KeyValuePair("grant_type", "client_credentials"));
paraList.Add(new KeyValuePair("client_id", clientId));
paraList.Add(new KeyValuePair("client_secret", clientSecret));
HttpResponseMessage response = client.PostAsync(authHost, new FormUrlEncodedContent(paraList)).Result;
string result = response.Content.ReadAsStringAsync().Result;
JObject jo = (JObject)JsonConvert.DeserializeObject(result);
string token = jo["access_token"].ToString();
return token;
}
（3）、调用API接口获取识别结果
1、在Startup.cs 文件 的 Configure(IApplicationBuilder app, IHostingEnvironment env) 方法中开启虚拟目录映射功能：
string webRootPath = HostingEnvironment.WebRootPath;//wwwroot目录
app.UseStaticFiles(new StaticFileOptions
{
FileProvider = new PhysicalFileProvider(
Path.Combine(webRootPath, "Uploads", "BaiduAIs")),
RequestPath = "/BaiduAIs"
});
2、 建立Index.cshtml文件
2.1 前台代码：
由于html代码无法原生显示，只能简单说明一下：
主要是一个form表单，需要设置属性enctype="multipart/form-data"，否则无法上传图片；
form表单里面有两个控件：
一个Input：type="file"，asp-for="FileUpload" ，上传图片用；
一个Input：type="submit"，asp-page-handler="Advanced" ，提交并返回识别结果。
一个img：src="@Model.curPath"，显示识别的图片。
最后显示后台 msg 字符串列表信息，如果需要输出原始Html代码，则需要使用@Html.Raw()函数。
2.2 后台代码：
[BindProperty]
public IFormFile FileUpload { get; set; }
private readonly IHostingEnvironment HostingEnvironment;
public List msg = new List();
public string curPath { get; set; }
public BodySearchModel(IHostingEnvironment hostingEnvironment)
{
HostingEnvironment = hostingEnvironment;
}
public async Task OnPostAdvancedAsync()
{
if (FileUpload is null)
{
ModelState.AddModelError(string.Empty, "本地图片！");
}
if (!ModelState.IsValid)
{
return Page();
}
msg = new List();
string webRootPath = HostingEnvironment.WebRootPath;//wwwroot目录
string fileDir = Path.Combine(webRootPath, "Uploads//BaiduAIs//");
string imgName = await UploadFile(FileUpload, fileDir);
string fileName = Path.Combine(fileDir, imgName);
string imgBase64 = GetFileBase64(fileName);
curPath = Path.Combine("/BaiduAIs/", imgName);//需在Startup.cs 文件 的 Configure(IApplicationBuilder app, IHostingEnvironment env)方法中开启虚拟目录映射功能
string result = GetImageJson(imgBase64, “你的API KEY”, “你的SECRET KEY”);
JObject jo =(JObject)JsonConvert.DeserializeObject(result);
try
{
List msgList = jo["result"].ToList();
int number = int.Parse(jo["result_num"].ToString());
int curNumber = 1;
msg.Add("返回结果：" + number + "");
foreach (JToken ms in msgList)
{
if (number > 1)
{
msg.Add("第 " + (curNumber++).ToString() + " 条：");
}
msg.Add("置信度：" + ms["score"].ToString());
msg.Add("标签：" + ms["root"].ToString());
msg.Add("名称：" + ms["keyword"].ToString());
if (ms["baike_info"] != null)
{
msg.Add("百科词条：");
if (ms["baike_info"]["baike_url"] != null)
{
msg.Add("页面链接");
}
if (ms["baike_info"]["description"] != null)
{
msg.Add("内容描述：" + ms["baike_info"]["description"].ToString());
}
if (ms["baike_info"]["image_url"] != null)
{
msg.Add("");
}
}
}
}
catch(Exception e1)
{
msg.Add(result);
}
return Page();
}
///
/// 上传文件,返回文件名
///
/// 文件上传控件
/// 文件绝对路径
///
public static async Task UploadFile(IFormFile formFile, string fileDir)
{
if (!Directory.Exists(fileDir))
{
Directory.CreateDirectory(fileDir);
}
string extension = Path.GetExtension(formFile.FileName);
string imgName = Guid.NewGuid().ToString("N") + extension;
var filePath = Path.Combine(fileDir, imgName);
using (var fileStream = new FileStream(filePath, FileMode.Create, FileAccess.Write))
{
await formFile.CopyToAsync(fileStream);
}
return imgName;
}
///
/// 返回图片的base64编码
///
/// 文件绝对路径名称
///
public static String GetFileBase64(string fileName)
{
FileStream filestream = new FileStream(fileName, FileMode.Open);
byte[] arr = new byte[filestream.Length];
filestream.Read(arr, 0, (int)filestream.Length);
string baser64 = Convert.ToBase64String(arr);
filestream.Close();
return baser64;
}
///
/// 图像识别Json字符串
///
/// 图片base64编码
/// API Key
/// Secret Key
///
public static string GetImageJson(string strbaser64, string clientId, string clientSecret)
{
string token = GetAccessToken(clientId, clientSecret);
string host = "https://aip.baidubce.com/rest/2.0/image-classify/v2/advanced_general?access_token=" + token;
Encoding encoding = Encoding.Default;
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(host);
request.Method = "post";
request.KeepAlive = true;
string str = "image=" + HttpUtility.UrlEncode(strbaser64)+”&baike_num=5“;
byte[] buffer = encoding.GetBytes(str);
request.ContentLength = buffer.Length;
request.GetRequestStream().Write(buffer, 0, buffer.Length);
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.Default);
string result = reader.ReadToEnd();
return result;
}
四、效果测试
1、页面：
2、识别结果：
2.1
完整识别结果：
返回结果：5
第 1 条：
置信度：0.797064
标签：
名称：诸城恐龙博物馆
百科词条：
页面链接
内容描述：诸城恐龙博物馆位于山东省诸城市，成立于2001年5月9日，是中国第一个县(市)级恐龙博物馆，展出了目前世界上最高大的巨型鸭嘴龙化石骨架和100多件恐龙化石。巨龙馆(诸城恐龙博物馆)。国家4A级旅游景区，建筑面积5400平方米，馆内陈列着世界上最高大的鸭嘴恐龙化石骨架——“巨大诸城龙”(高9.1米，长16.6米)，被中外专家誉为“世界第一龙”。展示有世界上最大的“巨型诸城暴龙”和最原始的“诸城中国角龙”等化石骨架以及恐龙骨骼化石、蛋化石等极具代表性的恐龙化石。珍藏于神妙龙骨厅的巨大恐龙股骨化石被誉为“华夏第一奇骨”。先后接待了30多位国家领导人、众多的社会知名人士和数以百万的中外游客。
第 2 条：
置信度：0.605301
标签：动物-爬行类
名称：恐龙骨格
百科词条：
第 3 条：
置信度：0.442616
标签：非人造物体-化石
名称：鱼化石
百科词条：
页面链接
内容描述：《鱼化石》是现代诗人艾青于1978年创作的一首新诗。是诗人艾青“归来”之后吟唱出的一曲独具特色的歌。作为咏物诗，它借助对一种生物被无故尘埋的血淋淋事实的描述，抒发了对于逝去生命的祭奠与悼惜之情。全诗分节匀齐，诗句和谐，抒情自然，语言有一种朴素美。《鱼化石》被选入《语文·第二册》课本中。
第 4 条：
置信度：0.279606
标签：动物-爬行类
名称：仿真恐龙
百科词条：
页面链接
内容描述：仿真恐龙是运用现代的科技手段，根据恐龙化石电脑复原图片制作出逼真的恐龙。复原制作的仿真恐龙外观、造型、动作等方面都非常逼真，形体栩栩如生，动作惟妙惟肖。仿真恐龙可以更直观的，更形象的让人们了解恐龙还原远古的恐龙时代风貌。仿真恐龙可以让孩子直接的了解恐龙。
第 5 条：
置信度：0.120145
标签：植物-黄脂木科
名称：恐龙
百科词条：
页面链接
内容描述：恐龙(英文名：Dinosaur)，是出现在中生代时期(三叠纪，侏罗纪,白垩纪)的一类爬行动物的统称，矫健的四肢、长长的尾巴和庞大的身躯是大多数恐龙的写照。它们主要栖息于湖岸平原(或海岸平原)上的森林地或开阔地带。1841年，英国科学家理查德·欧文在研究几块样子像蜥蜴骨头化石时，认为它们是某种史前动物留下来的，并命名为恐龙，意思是“恐怖的蜥蜴”。
2.2
完整识别结果：
返回结果：5
第 1 条：
置信度：0.805149
标签：植物-其它
名称：荷花
百科词条：
页面链接
内容描述：荷花(学名：Nelumbo SP.；英文名称：Lotus flower)：属毛茛目睡莲科，是莲属二种植物的通称。又名莲花、水芙蓉等。是莲属多年生水生草本花卉。地下茎长而肥厚，有长节，叶盾圆形。花期6至9月，单生于花梗顶端，花瓣多数，嵌生在花托穴内，有红、粉红、白、紫等色，或有彩纹、镶边。坚果椭圆形，种子卵形。荷花种类很多，分观赏和食用两大类。原产亚洲热带和温带地区，中国早在周朝就有栽培记载。荷花全身皆宝，藕和莲子能食用，莲子、根茎、藕节、荷叶、花及种子的胚芽等都可入药。其出污泥而不染之品格恒为世人称颂。“接天莲叶无穷碧，映日荷花别样红”就是对荷花之美的真实写照。荷花“中通外直，不蔓不枝，出淤泥而不染，濯清涟而不妖”的高尚品格，历来为诗人墨客歌咏绘画的题材之一。1985年5月荷花被评为中国十大名花之一。荷花是印度,越南的国花。
第 2 条：
置信度：0.635414
标签：植物-其它
名称：映日荷花
百科词条：
页面链接
内容描述：映日荷花是蔷薇属月季栽培品种，用于生产切花、容器栽培。
第 3 条：
置信度：0.467041
标签：植物-其它
名称：睡莲花
百科词条：
页面链接
第 4 条：
置信度：0.299206
标签：植物-其它
名称：莲荷
百科词条：
页面链接
内容描述：荷型藕色莲瓣，花色白红，丝纹浅灰，花背红多而花里白多。
第 5 条：
置信度：0.12756
标签：植物-其它
名称：莲花
百科词条：
页面链接
内容描述：睡莲(学名：Nymphaea L.)，多年生水生草本；根状茎肥厚。叶柄圆柱形，细长。叶椭圆形，浮生于水面，全缘，叶基心形，叶表面浓绿，背面暗紫。叶二型：浮水叶圆形或卵形，基部具弯缺，心形或箭形，常无出水叶；沉水叶薄膜质，脆弱。花单生，浮于或挺出水面；花萼四枚，绿色；花瓣通常八片。果实倒卵形，长约3厘米。花大形、美丽，浮在或高出水面，白天开花夜间闭合；萼片近离生；花瓣白色、蓝色、黄色或粉红色，成多轮，有时内轮渐变成雄蕊；药隔有或无附属物；心皮环状，贴生且半沉没在肉质杯状花托，且在下部与其部分地愈合，上部延伸成花柱，柱头成凹入柱头盘，胚珠倒生，垂生在子房内壁。浆果海绵质，不规则开裂，在水面下成熟；种子坚硬，为胶质物包裹，有肉质杯状假种皮，胚小，有少量内胚乳及丰富外胚乳。从东北至云南，西至新疆皆有分布；朝鲜，日本，印度，俄罗斯，北美也有。生于池沼、湖泊等静水水体中。许多公园水体栽培作为观赏植物，根状茎食用或酿酒，又入药，能治小儿慢惊风；全草可作绿肥。
根据识别结果可以看出，通用物体的识别结果还是比较准确的，再加上可以显示百度百科信息，这样的话，就能够得到更多更详细的知识了。
当然，对于动物、植物、花卉、地标等百度有专门的识别接口，可以得到更加准确的信息，不过一般情况下，可以调用【通用物体与场景识别】接口来识别，如果识别结果不太满意的话，再调用专门接口进行详细的识别。
原文链接：https://ai.baidu.com/forum/topic/show/951982
