Het toevoegen van ogen aan kunstmatige intelligentie is altijd iets lastig. Wil je dat het alles ziet wat je doet de hele tijd? Zeker niet, maar ik denk dat de meesten van ons het erover eens zijn dat een AI visuele assisting wanneer je het nodig hebt, heel handig kan zijn. De nieuwe Copilot-visie van Microsoft is misschien een van de meest veelbelovende toepassingen van AI-gebaseerde visuele mogelijkheden die ik tot nu toe heb gezien.
Microsoft onthulde de Copilot Vision Update voor zijn Windows -app en mobiele apps (u kunt uw camera op dingen richten, en Vision kan ze voor u identificeren) tijdens een spetterende, gecombineerde Copilot en Microsoft 50 -jarig jubileumevenement.
Copilot heeft alles behalve een hersentransplantatie, met behulp van zowel HomeGrown (Microsoft AI of Mai) als OpenAI GPT -generatieve modellen om updates te leveren over geheugen-, zoek-, personalisatie- en vision -mogelijkheden.
Nu ik Copilot Vision in actie heb gezien, kan ik je vertellen dat het een van de meest opwindende en belangrijke updates van het stel is – zelfs als het in twee fasen komt.
In de versie die u nu kunt openen voor uw ondersteunende Windows Desktop -app, kan Copilot Vision de apps zien die u op het bureaublad gebruikt. Wanneer u Copilot opent – door het pictogram te selecteren of op uw Copilot -toets op uw toetsenbord te drukken – kunt u nu het nieuwe pictogram met de bril selecteren.
Hiermee kunt u een lijst met open apps zien; In ons geval hadden we twee actief: Blender 3D en Clipchamp. Dit betekent dat hoewel Copilot op de hoogte is van de beschikbare apps die op Windows worden uitgevoerd, het niet automatisch wordt bekeken.
We hebben Blender 3D geselecteerd, en vanaf dat moment verschoof er iets in mijn Windows -bestaan. Ik realiseerde me dat Copilot echt kan zien welke app je uitvoert, en in plaats van naar je intentie te raden, antwoordt het op basis van de app en zelfs het project waar je aan werkt.
Een 3D -koffietafelproject was open, en met behulp van onze stem vroegen we hoe we het tafelontwerp meer traditioneel konden maken. Onze prompt bevatte bijna geen details over de app of het project, maar het antwoord van Copilot, in een mooie bariton, was volledig contextueel.
We zijn vervolgens overgestapt en gevraagd hoe we annotaties in de app kunnen maken. Copilot begon te antwoorden, maar we onderbroken en vroegen waar we het pictogram konden vinden om de annotaties toe te voegen. Copilot paste zich snel aan en vertelde ons onmiddellijk hoe we het konden vinden.
Dit kan enorm nuttig blijken te zijn omdat je je stroom niet meer doorbreekt om eruit te springen om te zoeken of zelfs om te veel uit te voegen welke app je of het project gebruikt. Copilot Vision ziet en weet het.
Laat me je echter vertellen over wat er gaat komen.
We hebben dezelfde stappen gevolgd om Copilot te openen en toegang te krijgen tot de visiecomponent, maar deze keer hebben we Copilot gericht op ons Open Clipchamp -project.
We vroegen Copilot hoe we onze video -overgangen naadlooser konden maken. In plaats van een tekstprompt die uitlegt wat te doen, liet Copilot Vision ons precies zien waar we het benodigde hulpmiddel in de app konden vinden.
Een gigantische pijl (in een geanimeerde cirkel) verscheen op het scherm en wees naar het tool van de overgangen die we aanbevelen te gebruiken bij het verklaren van de nodige stappen. We hebben deze demo een paar keer doorlopen, en vanwege de nog steeds onderontwikkelingskarakter, werkte het niet altijd.
Toen het echter deed, wees het op een potentieel opwindende verandering in hoe we zullen werken met apps in Windows.
We hebben ook een demo -video gezien die toont dat Copilot Vision nog dieper in de Photoshop -app graaft om de juiste tools te vinden. Dit, mijn vrienden, is knipper op steroïden.
Stel je de toekomst voor waar je tekstprompts of je stem gebruikt om erachter te komen hoe je taken kunt uitvoeren in een open app, en Copilot Vision neemt digitaal je hand en leidt je door. Er is geen teken dat het namens u acties op app-niveau zal ondernemen, maar dit kan een ongelooflijke visuele assistent zijn.
Het goede nieuws is dat de Copilot -visie die op zijn minst weet aan welke app en project u nu werkt, nu beschikbaar is. Het slechte nieuws is dat de Copilot -visie die ik echt wil geen duidelijke tijdlijn hebben. Maar ik moet aannemen dat het niet lang zal duren. We hebben het tenslotte live gezien.
