import torchimport torch.nn as nnfrom torchvision.models import resnet50class SimpleDETR(nn.Module):"""Minimal Example of the Detection Transformer model with learned positional embedding""" def __init__(self, num_classes, hidden_dim, num_heads,             num_enc_layers, num_dec_layers):    super(SimpleDETR, self).__init__()    self.num_classes = num_classes    self.hidden_dim = hidden_dim    self.num_heads = num_heads    self.num_enc_layers = num_enc_layers    self.num_dec_layers = num_dec_layers    # CNN Backbone    self.backbone = nn.Sequential(         *list(resnet50(pretrained=True).children())[:-2])    self.conv = nn.Conv2d(2048, hidden_dim, 1)    # Transformer    self.transformer = nn.Transformer(hidden_dim, num_heads,         num_enc_layers, num_dec_layers)    # Prediction Heads    self.to_classes = nn.Linear(hidden_dim, num_classes+1)    self.to_bbox = nn.Linear(hidden_dim, 4)    # Positional Encodings    self.object_query = nn.Parameter(torch.rand(100, hidden_dim))    self.row_embed = nn.Parameter(torch.rand(50, hidden_dim // 2)    self.col_embed = nn.Parameter(torch.rand(50, hidden_dim // 2))                                   def forward(self, X):    X = self.backbone(X)    h = self.conv(X)    H, W = h.shape[-2:]    pos_enc = torch.cat([          self.col_embed[:W].unsqueeze(0).repeat(H,1,1),          self.row_embed[:H].unsqueeze(1).repeat(1,W,1)],       dim=-1).flatten(0,1).unsqueeze(1)    h = self.transformer(pos_enc + h.flatten(2).permute(2,0,1),    self.object_query.unsqueeze(1))    class_pred = self.to_classes(h)    bbox_pred = self.to_bbox(h).sigmoid()        return class_pred, bbox_pred

# Import required modulesimport torchfrom torchvision import transforms as T import requests # for loading images from webfrom PIL import Image # for viewing imagesimport matplotlib.pyplot as plt

detr = torch.hub.load('facebookresearch/detr',                      'detr_resnet50',                       pretrained=True)

url = 'https://www.tempetourism.com/wp-content/uploads/Postino-Downtown-Tempe-2.jpg' # Sample imageimage = Image.open(requests.get(url, stream=True).raw) plt.imshow(image)plt.show()

transform = T.Compose([T.Resize(800),                       T.ToTensor(),                       T.Normalize([0.485, 0.456, 0.406],                                  [0.229, 0.224, 0.225])])

CLASSES = ['N/A', 'Person', 'Bicycle', 'Car', 'Motorcycle', 'Airplane', 'Bus', 'Train', 'Truck', 'Boat', 'Traffic-Light', 'Fire-Hydrant', 'N/A', 'Stop-Sign', 'Parking Meter', 'Bench', 'Bird', 'Cat', 'Dog', 'Horse', 'Sheep', 'Cow', 'Elephant', 'Bear', 'Zebra', 'Giraffe', 'N/A', 'Backpack', 'Umbrella', 'N/A', 'N/A', 'Handbag', 'Tie', 'Suitcase', 'Frisbee', 'Skis', 'Snowboard', 'Sports-Ball', 'Kite', 'Baseball Bat', 'Baseball Glove', 'Skateboard', 'Surfboard', 'Tennis Racket', 'Bottle', 'N/A', 'Wine Glass', 'Cup', 'Fork', 'Knife', 'Spoon', 'Bowl', 'Banana', 'Apple', 'Sandwich', 'Orange', 'Broccoli', 'Carrot', 'Hot-Dog', 'Pizza', 'Donut', 'Cake', 'Chair', 'Couch', 'Potted Plant', 'Bed', 'N/A', 'Dining Table', 'N/A','N/A', 'Toilet', 'N/A', 'TV', 'Laptop', 'Mouse', 'Remote', 'Keyboard', 'Cell-Phone', 'Microwave', 'Oven', 'Toaster', 'Sink', 'Refrigerator', 'N/A', 'Book', 'Clock', 'Vase', 'Scissors', 'Teddy-Bear', 'Hair-Dryer', 'Toothbrush']

COLORS = [    [0.000, 0.447, 0.741],     [0.850, 0.325, 0.098],     [0.929, 0.694, 0.125],    [0.494, 0.184, 0.556],    [0.466, 0.674, 0.188],    [0.301, 0.745, 0.933]  ]

# Get coordinates (x0, y0, x1, y0) from model output (x, y, w, h)def get_box_coords(boxes):    x, y, w, h = boxes.unbind(1)    x0, y0 = (x - 0.5 * w), (y - 0.5 * h)    x1, y1 = (x + 0.5 * w), (y + 0.5 * h)    box = [x0, y0, x1, y1]    return torch.stack(box, dim=1)

# Scale box from [0,1]x[0,1] to [0, width]x[0, height]def scale_boxes(output_box, width, height):    box_coords = get_box_coords(output_box)    scale_tensor = torch.Tensor(                 [width, height, width, height]).to(                 torch.cuda.current_device())    return box_coords * scale_tensor

# Object Detection Pipelinedef detect(im, model, transform):    device = torch.cuda.current_device()    width = im.size[0]    height = im.size[1]       # mean-std normalize the input image (batch-size: 1)    img = transform(im).unsqueeze(0)    img = img.to(device)        # demo model only support by default images with aspect ratio    between 0.5 and 2    assert img.shape[-2] <= 1600 and img.shape[-1] <= 1600,    # propagate through the model    outputs = model(img)    # keep only predictions with 0.7+ confidence    probas = outputs['pred_logits'].softmax(-1)[0, :, :-1]    keep = probas.max(-1).values > 0.85       # convert boxes from [0; 1] to image scales    bboxes_scaled = scale_boxes(outputs['pred_boxes'][0, keep], width, height)    return probas[keep], bboxes_scaled

probs, bboxes = detect(image, detr, transform)

# Plot Predicted Bounding Boxesdef plot_results(pil_img, prob, boxes,labels=True):    plt.figure(figsize=(16,10))    plt.imshow(pil_img)    ax = plt.gca()        for prob, (x0, y0, x1, y1), color in zip(prob, boxes.tolist(),   COLORS * 100):        ax.add_patch(plt.Rectangle((x0, y0), x1 - x0, y1 - y0,               fill=False, color=color, linewidth=2))        cl = prob.argmax()        text = f'{CLASSES[cl]}: {prob[cl]:0.2f}'        if labels:            ax.text(x0, y0, text, fontsize=15,                bbox=dict(facecolor=color, alpha=0.75))    plt.axis('off')    plt.show()