🔎 #373: 키보드와 마우스가 필요없는 AI Agent (Claude Computer use)

Created

2024/12/18 02:35

키보드와 마우스가 필요없는 AI Agent

by 소영

Claude에서 Sonnet 3.5 업데이트 소식과 함께 실험적인 베타 기능 'Computer use'를 출시했습니다. 'Computer use'는 API를 통해 클로드가 컴퓨터를 사용하도록 지시를 할 수 있습니다. (예. 화면을 보고 커서 움직이기, 버튼 클릭하기, 텍스트 입력하기 등)

아직 실험적인 단계에 있어서 오류가 많이 발생할 수 있지만, 개발자들로부터 피드백을 받기 위해 초기 단계임에도 불구하고 공개를 했다고 합니다. [공식 홈페이지]

커서를 움직이고, 정보를 찾고, 텍스트를 입력하여(폼 작성) 제출 버튼을 클릭하는 Claude

관련하여, 아래와 같이 Demo 영상이 공개되었습니다. 영상에서 커서를 움직이고 텍스트를 입력하는 것은 사람이 아닌 Claude입니다.

영상에서는 아래와 같은 프롬프트가 입력되었습니다.

프롬프트:

Please fill out the vendor request form for 'Ant Equipment Co.' using data from either the vendor spreadsheet or search portal tabs in window one. List & verify each field as you complete the form in window two. 첫 번째 창의 벤더 스프레드시트 또는 검색 포털 탭의 데이터를 사용하여 'Ant Equipment Co.'에 대한 벤더 요청 양식을 작성하세요. 두 번째 창에서 양식을 작성할 때 각 필드를 나열하고 확인합니다.

프롬프트 입력 결과: 아래 이미지 기준, 왼쪽 채팅창이 Claude입니다. 프롬프트에서 요청한 대로 가운데 창(스프레드 시트 탭, Vendor 검색 포탈 탭)에 있는 정보를 가장 오른쪽 창(Vendor Request Form)에 입력합니다.

마무리

1) 영화 <Her>에서는 키보드와 마우스를 사용하지 않는다는 사실, 아셨나요? 아래 이미지와 같이 OS1을 사용할 때 '음성대화'를 하며, 물리적인 키보드와 마우스가 아예 없습니다. 오늘 소개드린 Computer use가 보편적으로 사용되면, 아래 이미지가 곧 우리의 모습이 되겠습니다.

영화 <Her> 의 한 장면

2) Computer use는 AI Agent의 초기 모습에 해당됩니다. Claude Demo 영상에서는 텍스트 프롬프트를 입력하지만, 영화 <Her>처럼 음성대화로 컴퓨터를 사용하게 될 것입니다. 사용자가 원하는 바를 말하기만 하면, 알아서 검색하고 문서까지 정리해주는 AI Agent의 등장이 머지 않았습니다. 생성형 AI 업계의 빠른 업데이트 속도로 보아 이르면 내년이면 만나게 될 것 같습니다.

3) Demo를 진행하다가 웃픈 에피소드(amusing error)가 생기기도 했는데요, 긴 Demo를 녹화하다가 Claude가 화면녹화를 중단하고 옐로스톤 국립공원의 사진을 구글에서 검색하여 힐링의 시간을 가졌다고 합니다.

4) 위 에피소드가 재밌긴 하지만, 그만큼 AI로 인해 사용자가 컴퓨터 제어권을 상실할 수 있다는 점을 시사합니다. AI 연구자들이 계속해서 '안전한 AI'라는 키워드를 말하는 것을 보면, 이런 위험성을 개발과정에서 확인했기 때문일 것 같습니다. 조만간 타사보다 경쟁적으로 먼저 AI Agent를 선보이다가, 멋대로 컴퓨터를 작동시키거나 혹은 사용자의 제어권을 상실시킨 뒤 문제를 일으키는 사례가 아마 등장할 지도 모르겠습니다.

뉴욕 타임스퀘어에 전시한 작품, 이렇게 만들었습니다

지난 9월 초, Daily Prompt의 재홍은 뉴욕 타임스퀘어에 생성형 AI로 제작된 영상을 전시하였습니다. 뉴욕에서 전시한 작품 포함, 아래와 같이 가상 배우가 등장하는 영상의 제작 과정을 공유하는 강의를 패스트캠퍼스에 런칭하였습니다.

가상배우가 등장하는 영상 제작하는 법

재홍님이 제작한 영상들 | 이미지를 클릭하면 영상을 보실 수 있습니다

이런 분께 추천드립니다

•

배우의 연기와 생성형 AI를 활용해 영화 같은 영상을 제작하고 싶은 분

•

재홍님(뉴욕 타임스퀘어 전시, 한경국립대 출강)이 운영하는 강의 기반 질의응답 커뮤니티에 참여하고 싶으신 분 (선착순 50명, 24년 12월 9일~25년 3월 28일 동안 운영) [재홍님 포트폴리오 보기]

•

영상 제작에 필요한 이미지, 음악, 영상을 AI로 생성하는 법을 배우고 싶은 분

구독자를 위한 할인 쿠폰

•

쿠폰 코드 : PRDCOM241007_dailyprompt

•

유효기한 : ~ 24/11/14까지

•

사용 방법: 수강 신청 페이지 > '쿠폰 선택' > 쿠폰 코드 입력' 후 사용

오늘의 Midjourney 프롬프트

프롬프트 제공: @jae_hong__an

오늘의 프롬프트: An 8-bit pixel art dog, sitting by the street at sunset, waiting for its owner to return. The dog is made up of blocky brown and white pixels, the background has a pixelated sunset, streetlamp, and simple houses. Retro color palette with soft gradient sky. Created Using: 8-bit pixel art, retro shading, blocky design, sunset hues, pixelated landscape, nostalgic game aesthetics --c 5 --s 50 --style raw --ar 2:1 --v 6.1

Midjourney 프롬프트를 잘 쓰고 싶다면

필요할때마다 꺼내보는 생성형 AI 가이드북

뉴스레터 '데일리 프롬프트'는 2023년 5월에 시작하여, 오랜 관심을 바탕으로 다음과 같이 책을 출간하였습니다. 일상과 업무에서 사용할 수 있는 ChatGPT프롬프트가 필요하시다면 <데일리 프롬프트 101>을, 이미지 생성 AI를 집중적으로 탐구하고 싶은 분은 <AI 원더랜드>를 추천드립니다.