微軟建構AutoGen Studio用於AI代理原型設計

微軟的新低程式碼工具簡化了 AI 代理程式的創建,承諾在仍處於積極研究階段的同時徹底改變多代理程式工作流程的開發。
譯自Microsoft Builds AutoGen Studio for AI Agent Prototyping,作者 Darryl K Taft。
微軟研究院推出了AutoGen Studio, 這是一款新的低程式碼接口,旨在徹底改變開發人員原型設計 AI 代理程式的方式。
該公司表示,該工具建立在開源AutoGen框架之上,旨在簡化創建和管理多代理工作流程的複雜流程。 Elvis Saravia,分散式人工智慧研究所 (DAIR.AI)的機器學習和自然語言處理研究員,在 X 上發布了有關該技術的貼文(以前稱為 Twitter)。
Intellyx 分析師Jason Bloomberg表示:「『代理』一詞指的是一個獨立於其環境中其他軟體的自主軟體,它實現特定的業務目標。」「然而,它們究竟有多自主以及它們實際做什麼,取決於你問誰。的工作流程,並與代理商互動以完成各種任務。
Omdia 分析師Brad Shimmin表示:「這是微軟的一個非常酷的項目,實際上已經醞釀了幾個月。」「基本上,它運行在微軟的LLM 編排框架AutoGen 之上,並且確實加快了企業從業者建構GenAI 結果的原型設計過程——不僅僅是代理,而是任何他們可能想要對LLM 運作方式進行一些控制的結果。
該工具提供 Web 介面和PythonAPI,使開發人員能夠使用基於 JSON 的規範來表示支援 LLM 的代理程式。這種靈活性滿足了各種開發偏好和技能水平。
Shimmin 說:“它實際上是對你從其他代理框架(如LangGraph和CrewAI)獲得的功能的一個很好的圖形補充。”
「對於在Azure AI 之上建構的開發人員來說,這個工具加上框架可以幫助他們從PoC 過渡到生產,而不會遇到很多麻煩,並且還有一些額外的優勢,例如插入Microsoft [Azure] Purview等工具,以更好地保護AI 資料。
簡化開發的關鍵功能AutoGen Studio 包含一些旨在簡化開發過程的功能,例如用於指定代理工作流程的直覺的拖放式 UI;互動式評估和除錯功能;以及可重複使用代理程式元件庫。這些功能建立在無程式碼多代理開發工具的四個核心設計原則之上,儘管微軟尚未詳細揭露這些原則。
正在進行的工作雖然 AutoGen Studio 代表著 AI 代理開發的重大進步,但微軟指出,它是一個仍在開發中的研究項目,可能永遠不會成為獨立的產品。
該公司包含以下警告:「AutoGen Studio 目前正在積極開發中,我們正在快速迭代。
請注意,我們可能會在未來幾週的版本中引入重大更改…」然而,底層的AutoGen 框架已經在各個行業找到了應用,包括:廣告客戶支持網絡安全數據分析教育金融軟體工程巨大的潛力這廣泛的適用性突顯了AutoGen Studio 在各個領域的潛在影響。
Bloomberg 表示:“AI 代理可以在組織的雲端原生策略中發揮重要作用,因為每個代理程式都可以無狀態地運行在容器中。”
“因此,每個代理平台都有能力自動擴展代理,根據需要部署盡可能多的相同代理來應對任何情況。”
此外,基於生成式 AI 的代理商正在迅速取代機器人流程自動化 (RPA) 機器人——但彭博社告訴 The New Stack,故事還有更多內容。 “這些技術正在逐漸取代 RPA,以及業務流程自動化、低代碼/無代碼平台、規則引擎、數據集成技術等等。”
微軟鼓勵開發人員將 AutoGen Studio 用於原型設計和演示目的,而不是作為生產就緒的應用程式。對於需要身份驗證和高級安全性等功能的已部署應用程序,建議開發人員直接在 AutoGen 框架上建置。隨著 AI 不斷發展並重塑各個產業,像 AutoGen Studio 這樣的工具將在民主化 AI 開發和促進多代理系統創新方面發揮至關重要的作用。

比爾蓋茲:電腦領域將在五年內顛覆

21CTO
比爾蓋茲曾發表一篇部落格表示:個人AI代理將徹底改變人們使用電腦的方式。 這一言論出現在OpenAI剛宣布其「 Assistants API」邁出的「嬰兒步」幾天后。 蓋茲表示,個人AI代理將在科技業和社會中掀起一場「衝擊波」。
比爾蓋茲在部落格文章中寫道:「在不久的將來,任何上網的人都將能夠擁有由人工智慧驅動的個人助手,遠遠超越今天的技術水平。這些代理商將能夠幫助幾乎任何活動和生活 領域。
在部落格文章中未提到的是,比爾蓋茲已經在個人AI領域投入了大量資金。 在今年5月的一次與高盛和SV Angel關於人工智慧的活動中,比爾蓋茲表示,首家開發出顛覆SEO的個人代理的公司將在競爭中佔據優勢。
「誰能贏得個人代理,那才是大事,因為你將永遠不會再去搜尋網站,永遠不會再去生產力網站,你永遠不會再去亞馬遜。」他說。
去年6月,比爾蓋茲與Nvidia、微軟、Reid Hoffman和Eric Schmidt一起參與了Inflection AI的投資,該公司完成了高達13億美元的融資。

比爾蓋茲在舊金山的一次活動上提到了Inflection AI,稱“數字代理背後的AI贏家可能來自大科技公司或初創公司,這是一個50-50的概率”,並表示對Inflection等幾家初創 公司印象深刻。
此時,Inflection AI剛推出名為“Pi”的產品,代表“個人智能”,旨在表現得更個性化、口語化,比OpenAI的GPT-4、微軟的Bing或谷歌的Bard更具親和力, 同時又不顯得過於詭異。
儘管像Pi這樣的聊天機器人離比爾·蓋茲所想像的個人AI代理還有很長的路要走,而且他計劃在這一領域進行哪些其他投資並不清楚,但顯然,他希望能夠儘早參與 到AI代理的領域。 實際上,比爾蓋茲在部落格文章中提到,他已經「思考代理近30年了,並在1995年的《未來之路》一書中寫到過它們,但由於AI的進步,它們直到最近 才變得實際可行」。
他補充說:“代理不僅將改變每個人與計算機互動的方式。它們還將顛覆軟體行業,帶來自從我們從鍵盤輸入命令到點擊圖標以來的計算機領域最大的革命。”
蓋茲也討論了代理商的技術挑戰以及隱私問題。 但他表示:“代理即將到來。在接下來的幾年裡,它們將徹底改變我們的生活,無論是在線還是線下。”
以下是比爾蓋茲的部落格:
《AI即將徹底改變你使用計算機的方式》原文:
時至今日,我仍然像微軟剛創立時那樣熱愛軟體。 但儘管幾十年來軟體已經取得了很大改進,在許多方面它仍然相當愚蠢。
要在電腦上完成任何任務,你都必須告訴設備使用哪個應用程式。 你可以用Word和Google文件來起草商業提案,但它們無法幫助你發送郵件、分享自拍、分析數據、計劃派對或購買電影票。 即使是最好的網站,也只對你的工作、個人生活、興趣和關係有不完整的理解,並且能力有限,無法像親密的朋友或私人助理那樣為你做事。
在未來五年內,這種情況將會發生徹底改變。 你不必再為不同的任務使用不同的應用程式。 你只需要用日常語言告訴你的設備你想要做什麼。 根據你選擇與它共享的信息量,軟體將能夠給出個性化的回應,因為它對你的生活有著深入的理解。 在不久的將來,任何上網的人都能擁有一個由人工智慧驅動的個人助理,其功能將遠超今天的技術。
這種對自然語言做出反應、根據對使用者的了解完成多種不同任務的軟體,稱為代理。 我思考AI代理已經近30年,並在1995年的《通往未來之路》一書中寫道,但由於AI的進步,它們直到最近才變得實用。
代理不僅將改變每個人與計算機交互的方式,還將顛覆軟體行業,引發自我們從敲打命令轉向點擊圖標以來計算機領域最大的革命。

01 每個人的個人助理
一些評論者指出,軟體公司以前就提供過這種東西,用戶並不完全接受。 (人們還在開玩笑說Clippy,我們在Office中內置、後來移除的數字助手。)為何人們會使用代理呢?
答案是它們將大大優於過去。 你將能夠與它們進行細微的對話。 它們會更加個性化,不會僅限於相對簡單的任務,如寫一封信件。 Clippy與代理的共通點就像旋轉電話與行動裝置一樣。
如果你願意,代理將能幫助你完成所有活動。 如果允許它追蹤你的線上互動和真實世界位置,它將對你參與的人、地點和活動形成強大的理解。 它將了解你的個人和工作關係、愛好、偏好和時間表。 你可以選擇它在什麼時候以及如何幫助你做某件事或要求你做出決定。
要看到代理將帶來的劇烈變化,我們來比較一下它們與當今可用的AI工具。 這些工具大多是機器人。 它們僅限於一個應用程式,通常僅在你寫下特定單字或請求幫助時才會介入。 因為它們不記住你每次的使用方式,所以它們不會變得更好,也不會學習你的任何偏好。 Clippy是一個機器人,而不是代理。
代理更智能。 它們是主動的-能在你要求之前提出建議。 它們可以跨應用程式完成任務。 隨著時間的推移,它們會變得更好,因為它們會記住你的活動,並在你的行為中識別意圖和模式。 根據這些資訊,它們會提供你認為需要的東西,儘管你始終做出最終決定。
假設你想計劃一次旅行。 旅遊機器人將識別符合你預算的酒店。 代理將知道你要旅行的時間,並根據它對你是否總是嘗試新目的地還是喜歡重複返回同一地點的了解,它將能夠建議地點。 當被詢問時,它將根據你的興趣和冒險傾向推薦要做的事情,並預訂你會喜歡的餐廳。 如果你今天想要這種深度個性化的計劃,你需要支付旅行代理人的費用,並花時間告訴他們你想要什麼。
AI代理最令人興奮的影響是它們將為大多數人民主化當今過於昂貴的服務。 它們在四個領域將產生特別大的影響:醫療保健、教育、生產力和娛樂與購物。

02 醫療保健
如今,AI在醫療保健中的主要作用是幫助完成行政任務。 例如,Abridge、Nuance DAX和Nabla Copilot可以在就診期間錄音,然後為醫生寫摘要進行審查。
真正的轉變將發生在代理可以幫助患者進行基本的分類,就如何處理健康問題提供建議,並決定是否需要求診時。 這些代理還將幫助醫護人員做出決定並提高工作效率。 (例如,Glass Health應用可以分析患者摘要,並為醫生考慮的診斷提供建議。)幫助患者和醫護人員對那些從未看過醫生的貧困國家尤其有益。
由於事關生死,這些臨床醫生代理要慢一些推出。 人們需要看到證據表明,健康代理總體上是有益的,即使它們不會完美無缺並會出錯。 當然,人類也會出錯,完全得不到醫療照顧也是一個問題。
美國有一半需要心理健康照顧的軍人得不到照顧。
心理健康護理是代理將使幾乎所有人都能使用的另一項服務。 如今,每週一次的治療看起來像奢侈品。 但還存在很大的未滿足需求,許多可以從治療中受益的人無法獲得治療。 例如,蘭德公司發現,一半需要心理健康照顧的美國軍人得不到照顧。
訓練有素的心理健康AI代理將使治療更負擔得起,更容易獲得。 Wysa和Youper就是這裡的兩個早期聊天機器人。 但代理將走得更深入。 如果你選擇與心理健康代理分享足夠的資訊,它將理解你的生活歷史和你的關係。 它隨時為你提供幫助,永遠不會不耐煩。 如果你允許的話,它甚至可以透過你的智慧手錶監測你的身體反應,比如當你談到和老闆的問題時心跳加速,然後建議你何時應該看人類治療師。

03 教育
幾十年來,我一直對軟體將使教師的工作更輕鬆,幫助學生學習的所有方式感到興奮。 它不會取代教師,但會補充他們的工作,為學生提供個性化的學習材料,並讓教師免於文書工作和其他任務,以便他們可以花更多時間在最重要的工作上。 這些變化終於以戲劇性的方式開始發生。
目前的頂尖技術是可汗學院開發的基於文字的機器人Khanmigo。 它可以輔導學生數學、科學和人文學科,例如,它可以解釋二次函數公式並創建數學問題進行練習。 它還可以幫助教師完成製定課程計劃等事項。 我長期以來一直是Sal Khan的粉絲和支持者,最近在我的播客節目中採訪了他,討論教育和AI。
但基於文本的機器人只是第一波,代理將開闢更多的學習機會。
例如,很少有家庭負擔得起一對一聘請導師來補充學生的課堂學習。 如果代理可以捕捉到導師的有效因素,它們將為每一個想要的學生解鎖這種補充指導。 如果一個輔導代理知道一個孩子喜歡Minecraft和Taylor Swift,它會用Minecraft來教他們計算形狀的體積和麵積,用Taylor的歌詞教他們講故事和押韻格式。 與今天的基於文本的導師相比,體驗將更豐富,例如具有圖形和聲音等。

04 生產力
這個領域已經存在很大競爭。 微軟正在將其Copilot整合到Word、Excel、Outlook和其他服務中。 谷歌也在產品工具中做類似的事情,例如Assistant with Bard。 這些Copilot可以做很多事情,比如把書面文件轉化為幻燈片,用自然語言回答有關電子表格的問題,並從每個人的觀點總結郵件線程。
代理將做得更多。 擁有一個代理就像有一個專門幫助你完成各種任務的人,如果你願意,它可以獨立完成這些任務。 如果你有一個商業創意,代理將幫助你寫商業計劃、為其創建演示文稿,甚至生成你的產品外觀的圖像。 公司將能夠將代理商提供給員工直接諮詢,並成為每個會議的一部分,以便它們可以回答問題。
無論你是否在辦公室工作,你的代理都能像當今高管的私人助理那樣幫助你。 如果你的朋友剛做完手術,你的代理會主動提出發送花束,並能幫你訂購。 如果你告訴它你想和你的大學室友聯繫,它會與對方的代理配合,找到時間聚會,就在你到達之前,它會提醒你他們的大孩子剛進入當地大學。

05 娛樂與購物
AI已經可以幫助你挑選新電視,推薦電影、書籍、節目和播客。 類似地,我投資的一家公司最近推出了Pix,你可以提出問題(“我會喜歡哪些羅伯特·雷德福德的電影,在哪裡可以觀看?”),然後根據你過去喜歡的內容提出建議。 Spotify有一個由AI驅動的DJ,不僅會根據你的喜好播放歌曲,還會跟你說話,甚至可以叫出你的名字。
代理不會簡單做出建議;它們會幫你採取行動。 如果你想買個相機,你的代理商會幫你閱讀所有評論,為你總結,給出建議,然後在你做出決定後幫你下單。 如果你告訴你的代理商你想看《星際大戰》,它會知道你是否訂閱了正確的串流服務,如果沒有,它會主動為你註冊。 如果你不知道自己想看什麼,它會給出定制建議,然後搞定你選擇的電影或節目的播放。
你還可以獲得針對你興趣客製化的新聞和娛樂。 CurioAI最近推出的關於你要求的任何主題的客製化播客就是未來方向的一個預覽。

06 科技業的衝擊波
簡而言之,代理將能夠幫助幾乎所有活動和生活的各個領域。 對軟體業和社會的影響將是深遠的。
在電腦產業,我們討論平台,應用程式和服務建立在其上的技術。 Android、iOS和Windows都是平台。 代理將是下一個平台。
要創建新的應用程式或服務,你不需要知道如何編寫程式碼或進行圖形設計。 你只需告訴你的代理你想要什麼。 它將能夠編寫程式碼、設計應用程式的外觀和感覺、創建logo,並將應用程式發佈到線上商店。 OpenAI本週推出的GPTs提供了未來非開發者也可以輕鬆創建和共享自己的助理的預覽。
代理將影響我們使用軟體的方式以及編寫方式。 它們將取代搜尋網站,因為它們在找到資訊和為你總結方面更出色。 它們將取代許多電商網站,因為它們會為你找到最佳價格,不會僅限於幾家供應商。 它們將取代文字處理器、電子表格和其他生產力應用。 如今作為獨立業務的搜尋廣告、社群網路廣告、購物、生產力軟體,都將成為一門生意。
我不認為任何一家公司將主導代理業務,將有許多不同的AI引擎可用。 如今,代理嵌入到文字處理器和電子表格等其他軟體中,但最終它們將獨立運行。 儘管一些代理商可以免費使用(由廣告支援),但我認為你會為大多數代理商支付費用,這意味著公司會有動力讓代理商代表你而不是廣告商工作。 從今年剛開始研發AI的公司數量可以看出,競爭將異常激烈,這將使代理的價格非常低廉。
但是在我描述的複雜代理成為現實之前,我們需要面對關於這項技術及其使用方式的許多問題。 我以前寫過AI帶來的問題,所以在這裡我將具體關注代理。
07 技術挑戰
還沒有人弄清楚代理的資料結構會是什麼樣子。 要創建個人化代理,我們需要一種新型數據庫,可以捕獲你的所有興趣和關係的細微差別并快速檢索這些信息,同時保護你的隱私。 我們已經看到了儲存由機器學習模型產生的資料的新方法,例如向量資料庫,這可能更適合儲存代理資料。
另一個開放性問題是人們將與多少個代理人互動。 你的個人代理是否與你的治療師代理和數學導師代理分開?如果是這樣,你希望它們何時協同工作,何時應該各司其職?
你將如何與你的代理商互動?公司正在探索各種選擇,包括應用程式、眼鏡、吊墜、胸針甚至全像圖。 所有這些都有可能,但我認為人機互動的第一個重大突破將是耳機。 如果你的代理商需要與你聯繫,他們會與你通話或顯示在你的手機上。 (「你的航班延誤了。你想等嗎?或者我可以幫你重新預訂嗎?」)如果你願意,它會監控進入你耳朵的聲音,並透過阻擋背景噪音、放大難以聽到的語音來 增強聲音,或更容易理解口音很重的人說話。
還有其他挑戰。 目前還沒有一個標準協議允許代理相互交談。 成本需要降低,以便每個人都能負擔得起代理。 需要更容易向客服人員提示,以便為你1提供正確的答案。 我們需要防止幻覺,特別是在健康等準確性非常重要的領域,並確保代理人不會因為偏見而傷害人們。 我們不希望特工做他們不該做的事情。 (儘管我擔心的不是流氓Agent,而是人類罪犯利用其來達到惡意目的。 )

08 隱私和其他重大問題
當所有這些結合在一起時,線上隱私和安全問題將變得比現在更加緊迫。 你將希望能夠決定代理可以訪問哪些信息,以便你確信您的數據僅與您選擇的人員和公司共享。
但是誰擁有你與代理商共享的數據,以及如何確保這些數據得到適當使用? 沒有人願意開始收到與他們告訴治療師代理人的事情相關的廣告。 執法部門可以使用你的代理人作為對你不利的證據嗎? 你的代理商什麼時候會拒絕做可能對你或其他人有害的事情? 誰選擇代理內建的價值觀?
其中許多問題已經成為科技業和立法者最關心的問題。 最近,我與其他技術領袖一起參加了由參議員查克舒默 (Chuck Schumer) 組織、許多美國參議員參加的人工智慧論壇。 我們分享了有關這些問題和其他問題的想法,並討論了立法者採取強有力立法的必要性。
但其他問題不會由公司和政府決定。 例如,代理商可能會影響我們與朋友和家人互動的方式。 今天,你可以透過記住某人的生活細節(例如他們的生日)來向他們表明你關心他們。 但是,當他們知道你的Agents可能提醒過你這件事並負責送花時,這對他們來說還有意義嗎?
在遙遠的未來,Agents甚至可能迫使人類面對關於目的的深刻問題。 想像一下,代理變得如此優秀,以至於每個人都可以享受高品質的生活,而無需付出同樣多的工作。 在這樣的未來,人們會用時間做什麼? 當代理商擁有所有答案時,還會有人想接受教育嗎? 當大多數人都有大量空閒時間時,你能擁有一個安全、繁榮的社會嗎?
但我們距離那個目標還有很長的路要走。 同時,AI代理也來了。 在接下來的幾年裡,它們將徹底改變我們的生活方式,無論是線上還是線下。

勁爆! OpenAI CEO Altman 結婚了。 。 。 和程式設計師 Ollie(男)

原创 小云 云头条
OpenAI 執行長 Sam Altman 與基友 Oliver Mulherin 最近在夏威夷舉行了一場由其兄弟 Jack Altman 主持的私人婚禮,在全球科技界的熱烈祝福下,這對新人表達了準備組建大家庭的雄心。

全球領先的 AI 研究實驗室 OpenAI 執行長、Y Combinator 前總裁 Sam Altman 在夏威夷與男友 Oliver Mulherin 舉行了一場低調的婚禮。
婚禮於2024 年1 月10 日舉行,是一場僅限小圈子的活動,並未對外公開,全程又不失優雅的氛圍,一小群親朋好友出席,舉辦地是在Altman 島上住所的附近 。

Oliver Mulherin 被朋友和新郎暱稱為 Ollie。 他基本上一直遠離公眾的視線,更喜歡低調的生活方式。 外界形容他與 Altman 的關係紮根於深厚的友誼,一路走來互相扶持,共渡難關。
在婚禮當天,Altman 和 Ollie 都穿著隨意搭配的服裝,穿著白色襯衫、淺米色褲子和白色運動鞋,象徵著純潔的戀情。
Oliver Mulherin 是軟體工程師。
Altman 的兄弟 Jack Altman 主持了婚禮,更是增添了家庭氣氛。

Jack 本人在創業界是個耳熟能詳的人物,他是 Lattice 的創辦人兼前任首席執行官,這是一家專門開發員工績效管理軟體的公司。 他出席婚禮突顯了這個家庭的密切關係。

這對新人選擇透過一篇感人的Instagram 貼文與全世界分享他們的特殊時刻,Ollie 在貼文中寫道:「嫁給了我最好的朋友和一生的摯愛。」科技界迅速做出回應,一片 歡呼雀躍。 在數百名表示祝賀的人當中,有亞馬遜創辦人 Jeff Bezos 的未婚妻 Lauren Sanchez 等社會名媛,Zen Matoshi、Alexandr Wang、Shervin Pishevar 和 Adrian Aoun 等眾多科技企業家,以及科技社交媒體的一眾名人。