非常实用的利用SAM分割一切大模型，进行抠图。_sam抠图-程序员宅基地

技术标签： YOLOV8系列  python  语义分割  实例分割  计算机视觉  pytorch  人工智能  sam  

目录

SAM简介

实现方法

SAM简介

引言： 介绍人工智能（AI）的发展趋势，特别是在图像分割领域。强调基础模型在AI发展中的作用，以及Meta AI开发的SAM模型如何定义这个新的里程碑。

SAM的介绍：

  • 背景： 描述SAM的历史和它是如何成为首个广泛适用的图像分割基础模型的。
  • 原理： 解释SAM的工作原理，包括它如何接收提示（如点击、边界框、文本等）并生成精确的对象掩码。
  • 数据集： 阐述SAM是如何在包含超过11亿掩码的11百万张图像上训练，以实现零样本泛化的​​​​​​。

技术进展：

  • 零样本泛化： 讨论SAM在未见过的对象和场景上的性能，强调其在多样化图像领域中的应用潜力。
  • 提示式设计： 介绍SAM如何通过不同的提示接口进行交互，为多样化的分割任务提供支持。
  • 性能优势： 分析SAM在各种场景下的性能，包括自然图像、农业、制造业等。

应用实例：

  • 真实世界挑战： 描述SAM在真实世界条件下的应用，如民用基础设施的缺陷评估和自然环境中的物体跟踪。
  • 特殊用例： 探讨SAM在医疗成像、视频目标跟踪和其他领域的潜在用途​​。

SAM的未来与挑战：

  • 跨领域的潜力： 展望SAM在增强现实、虚拟现实、内容创作等领域的应用前景。
  • 研究方向： 提出目前SAM面临的挑战和研究社区如何通过改进模型架构和训练方法来克服这些挑战。
  • 扩展性： 讨论如何通过组合不同基础模型来构建更加强大和通用的AI系统。

实现方法

        本文直接使用的ultralytics框架，直接进行模型下载实现的，这是我个人认为sam实现最简答的一种方法，基本有一定python基础的人直接都可以去实现它。在这里我进做演示和一些思路的说明，仅供参考。如果喜欢希望大家多多支持点赞收藏。

1. 搭建一个python环境：略。

2. 安装ultralytics：安装ultralytics说明，点击跳转。

3. 复制下面这段代码：

from ultralytics import SAM
from matplotlib import pyplot as plt
import numpy as np
import cv2

# 加载sam模型，如果没有这个框架也会自动的为你下载
model = SAM('sam_b.pt')

# 读取一张图片，
orig_img = cv2.imread('test.jpg')

# 使用模型进行推理， 后面save=True的参数可以输出测试分割的图片
results = model(orig_img,save=True)

# 这里是我获取mask编码部分的。 [22] 是你想切取对应mask部分的标签值，想切哪个填哪个
mask = results[0].masks.data[22].cpu().numpy()

# 应用掩码到原始图像
# 如果你想要背景是黑色的
masked_image = np.zeros_like(orig_img)
masked_image[mask] = orig_img[mask]

# 如果你想要背景透明（假设原始图像是RGB格式）
# 创建一个RGBA图像，其中背景是透明的
alpha_channel = np.ones(mask.shape, dtype=orig_img.dtype) * 255  # 创建alpha通道
masked_image_rgba = np.dstack((masked_image, alpha_channel))  # 将alpha通道添加到RGB通道
masked_image_rgba[~mask] = (0, 0, 0, 0)  # 将非掩码区域设置为透明

# 保存图片，黑色背景
cv2.imwrite('masked_image_test.jpg', masked_image)

# 如果背景是透明的
cv2.imwrite('masked_image_test.png', masked_image_rgba)

效果如下：

1. 在代码中，保存runs的结果是这样的：

 

在这里我们可以看到哪个类别是哪个标签，我们记住标签后，在后续的代码中， 填入你想切取的编码。比如我切的是这个女子的脸：

        有了这个之后，抠图就变得简简单单，同时如果是想做ui的小伙伴，还可以通过点击（获取鼠标以及mask所在区域，通过坐标包含的方式对图片进行选择或者多选。然后实现自定义抠图），这样抠图就变得简简单单。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42452134/article/details/136272305

智能推荐

5个超厉害的资源搜索网站，每一款都可以让你的资源满满！_最全资源搜索引擎-程序员宅基地

文章浏览阅读1.6w次，点赞8次，收藏41次。生活中我们无时不刻不都要在网站搜索资源，但就是缺少一个趁手的资源搜索网站，如果有一个比较好的资源搜索网站可以帮助我们节省一大半时间！今天小编在这里为大家分享5款超厉害的资源搜索网站，每一款都可以让你的资源丰富精彩！网盘传奇一款最有效的网盘资源搜索网站你还在为找网站里面的资源而烦恼找不到什么合适的工具而烦恼吗？这款网站传奇网站汇聚了4853w个资源，并且它每一天都会持续更新资源；..._最全资源搜索引擎

Book类的设计(Java)_6-1 book类的设计java-程序员宅基地

文章浏览阅读4.5k次，点赞5次，收藏18次。阅读测试程序，设计一个Book类。函数接口定义：class Book{}该类有 四个私有属性 分别是 书籍名称、 价格、 作者、 出版年份，以及相应的set 与get方法；该类有一个含有四个参数的构造方法，这四个参数依次是 书籍名称、 价格、 作者、 出版年份 。裁判测试程序样例：import java.util.*;public class Main { public static void main(String[] args) { List <Book>_6-1 book类的设计java

基于微信小程序的校园导航小程序设计与实现_校园导航微信小程序系统的设计与实现-程序员宅基地

文章浏览阅读613次，点赞28次，收藏27次。相比于以前的传统手工管理方式，智能化的管理方式可以大幅降低学校的运营人员成本，实现了校园导航的标准化、制度化、程序化的管理，有效地防止了校园导航的随意管理，提高了信息的处理速度和精确度，能够及时、准确地查询和修正建筑速看等信息。课题主要采用微信小程序、SpringBoot架构技术，前端以小程序页面呈现给学生，结合后台java语言使页面更加完善，后台使用MySQL数据库进行数据存储。微信小程序主要包括学生信息、校园简介、建筑速看、系统信息等功能，从而实现智能化的管理方式，提高工作效率。

有状态和无状态登录

传统上用户登陆状态会以 Session 的形式保存在服务器上，而 Session ID 则保存在前端的 Cookie 中；而使用 JWT 以后，用户的认证信息将会以 Token 的形式保存在前端，服务器不需要保存任何的用户状态，这也就是为什么 JWT 被称为无状态登陆的原因，无状态登陆最大的优势就是完美支持分布式部署，可以使用一个 Token 发送给不同的服务器，而所有的服务器都会返回同样的结果。有状态和无状态最大的区别就是服务端会不会保存客户端的信息。

九大角度全方位对比Android、iOS开发_ios 开发角度-程序员宅基地

文章浏览阅读784次。发表于10小时前| 2674次阅读| 来源TechCrunch| 19 条评论| 作者Jon EvansiOSAndroid应用开发产品编程语言JavaObjective-C摘要：即便Android市场份额已经超过80%，对于开发者来说，使用哪一个平台做开发仍然很难选择。本文从开发环境、配置、UX设计、语言、API、网络、分享、碎片化、发布等九个方面把Android和iOS_ios 开发角度

搜索引擎的发展历史

搜索引擎的发展历史可以追溯到20世纪90年代初，随着互联网的快速发展和信息量的急剧增加，人们开始感受到了获取和管理信息的挑战。这些阶段展示了搜索引擎在技术和商业模式上的不断演进，以满足用户对信息获取的不断增长的需求。

随便推点

控制对象的特性_控制对象特性-程序员宅基地

文章浏览阅读990次。对象特性是指控制对象的输出参数和输入参数之间的相互作用规律。放大系数K描述控制对象特性的静态特性参数。它的意义是：输出量的变化量和输入量的变化量之比。时间常数T当输入量发生变化后，所引起输出量变化的快慢。（动态参数） ..._控制对象特性

FRP搭建内网穿透(亲测有效)_locyanfrp-程序员宅基地

文章浏览阅读5.7w次，点赞50次，收藏276次。FRP搭建内网穿透1.概述：frp可以通过有公网IP的的服务器将内网的主机暴露给互联网，从而实现通过外网能直接访问到内网主机；frp有服务端和客户端，服务端需要装在有公网ip的服务器上，客户端装在内网主机上。2.简单的图解：3.准备工作：1.一个域名（www.test.xyz）2.一台有公网IP的服务器(阿里云、腾讯云等都行)3.一台内网主机4.下载frp，选择适合的版本下载解压如下：我这里服务器端和客户端都放在了/usr/local/frp/目录下4.执行命令# 服务器端给执_locyanfrp

UVA 12534 - Binary Matrix 2 (网络流‘最小费用最大流’ZKW)_uva12534-程序员宅基地

文章浏览阅读687次。题目：http://acm.hust.edu.cn/vjudge/contest/view.action?cid=93745#problem/A题意：给出r*c的01矩阵，可以翻转格子使得0表成1,1变成0，求出最小的步数使得每一行中1的个数相等，每一列中1的个数相等。思路：网络流。容量可以保证每一行和每一列的1的个数相等，费用可以算出最小步数。行向列建边，如果该格子是_uva12534

免费SSL证书_csdn alphassl免费申请-程序员宅基地

文章浏览阅读504次。1、Let's Encrypt 90天，支持泛域名2、Buypass：https://www.buypass.com/ssl/resources/go-ssl-technical-specification6个月，单域名3、AlwaysOnSLL：https://alwaysonssl.com/ 1年，单域名 可参考蜗牛（wn789）4、TrustAsia5、Alpha..._csdn alphassl免费申请

测试算法的性能（以选择排序为例）_算法性能测试-程序员宅基地

文章浏览阅读1.6k次。测试算法的性能 很多时候我们需要对算法的性能进行测试，最简单的方式是看算法在特定的数据集上的执行时间，简单的测试算法性能的函数实现见testSort()。【思想】：用clock_t计算某排序算法所需的时间，（endTime - startTime）/ CLOCKS_PER_SEC来表示执行了多少秒。【关于宏CLOCKS_PER_SEC】：以下摘自百度百科，“CLOCKS_PE_算法性能测试

Lane Detection_lanedetectionlite-程序员宅基地

文章浏览阅读1.2k次。fromhttps://towardsdatascience.com/finding-lane-lines-simple-pipeline-for-lane-detection-d02b62e7572bIdentifying lanes of the road is very common task that human driver performs. This is important ..._lanedetectionlite

推荐文章

热门文章

相关标签