伯克利教授Stuart Russell:人工智能基礎概念與34個誤區

發布時間:2017-06-17 18:19

1. 什么是人工智能?

是對讓計算機展現出智慧的方法的研究。計算機在獲得正確方向后可以高效工作,在這里,正確的方向意味著最有可能實現目標的方向,用術語來說就是最大化效果預期。人工智能需要處理的任務包括學習、推理、規劃、感知、語言識別和機器人控制等。

常見誤解

「它是一個特定技術」。例如在二十世紀八十年代到九十年代,人們經常會看到新聞報道中人工智能與基于規則的專家系統被混為一談?,F在,人工智能經常會與多層卷積神經網絡混淆。這有點像把物理和蒸汽機的概念搞混了。人工智能探究如何在機器中創造智能意識,它不是在研究中產生的任何一個特定的技術。

「這是一個特定類別的技術方法」。例如,經常有人用符號化或邏輯化的方法將人工智能與「其他方法」相互比較,如神經網絡和遺傳編程。人工智能不是一種方法,它是一個課題。所有這些方法都是在對人工智能進行研究的產物。

「這是一小群研究者的方向」。這個誤解與前幾個錯誤有關。一些作者使用「計算智能」指代幾個特定的研究者群體,如研究神經網絡,模糊邏輯和遺傳算法的研究者。這是非常片面的,因為這種分類讓人工智能的研究陷入孤立的境地,讓研究成果不能得到廣泛的討論。

「人工智能只是算法」。嚴格說來不算是誤解,人工智能的確包含算法(也可粗略定義為程序),它也包含計算機中其他的應用。當然,人工智能系統需要處理的任務相比傳統算法任務(比如排序、算平方根)復雜得多。

2. 人工智能將如何造福人類?

文明的一切都是人類智慧的產物。在未來,人工智能會將會擴展人類的智力,這就像起重機讓我們能夠舉起幾百噸的重物,飛機讓我們很快飛到地球的另一端,電話讓我們在任何角落實時交流一樣。如果人工智能被適當地設計,它可以創造更多價值。

常見誤解

「人工智能沒有人性」。在很多反烏托邦幻想中,人工智能會被用來控制大部分人類,無論是通過監視,機器人執法,法律判決甚至控制經濟。這都是未來可能出現的情況,但首先它不會被大多數人接受。人們往往忽視人工智能可以讓人類接觸更多的知識,消除人與人之間的語言隔閡,解決無意義和重復的繁重任務。

「人工智能將造成不平等」。毫無疑問,自動化程度的提升將使財富集中到越來越少的人手里。但是現在,如何使用人工智能的選擇權在我們手里。例如,人工智能可以促進協作,讓生產者與客戶有更多交流,它可以讓個人和小組織在全球化的經濟環境下獨立運作,擺脫對于特定大公司訂單的依賴。

3. 什么是機器學習?

它是人工智能的一個分支,探索如何讓計算機通過經驗學習提高性能。

常見誤解

「機器學習是一個新的領域,它已經代替了人工智能的地位」。這種誤解是最近機器學習熱潮產生的副作用,大量學生在之前沒有接觸過人工智能的情況下學習了機器學習課程。機器學習一直是人工智能的核心話題:阿蘭·圖靈在二十世紀五十年代的論文中已經認為學習是通向人工智能最可行的途徑。這一觀點似乎是正確的,人工智能最突出的早期成果,Arthur Samuel 的跳棋程序就是使用機器學習構建的。

「機器不能學習,它們只能做程序員告訴它的事情」。這顯然是錯的,程序員能夠告訴機器如何學習。Samuel 是一個優秀的跳棋玩家,但他的程序很快就通過學習超過了他。近年來,機器學習的很多應用都需要大量數據來進行訓練。

4. 什么是神經網絡?

神經網絡是受生物神經元啟發構建的計算系統。神經網絡由許多獨立的單元組成,每個單元接收來自上一層單元的輸入,并將輸出發送到下個單元(「單元」不一定是單獨的物理存在;它們可以被認為是計算機程序的不同組成部分)。單元的輸出通常通過取輸入的加權和并通過某種簡單的非線性轉型,神經網絡的關鍵特性是基于經驗修改與單元之間的鏈接比較相關權重。

常見誤解

「神經網絡是一種新型計算機」。在實踐中,幾乎所有的神經網絡都運行在普通的計算機架構上。一些公司正在設計專用機器,它們有時會被稱作是「神經計算機」,可以有效地運行神經網絡,但目前為止,這類機器無法提供足夠的優勢,值得花費大量時間去開發。

「神經網絡像大腦一樣工作」。事實上,生物神經元的工作方式比神經網絡復雜得多,自然界存在很多種不同的神經元,神經元的連接可以隨時間進行改變,大腦中也存在其他的機制,可以影響動物的行為。

5. 什么是深度學習?

深度學習是一種特定形式的機器學習,訓練多層神經網絡。深度學習近年來非常流行,引領了圖像識別和語音識別等領域的突破性進展。

常見誤解

「深度學習是一個新領域,已經代替了機器學習的地位」。事實上,深度學習在神經網絡研究者中間已經被討論了超過二十年。最近深度學習的發展是由相對較小的算法改進以及大數據集模型和計算機硬件發展驅動的。

6. 什么是強人工智能和弱人工智能?

「強人工智能」和「弱人工智能」概念是由 John Searle 最先提出的,是他對人工智能研究方向的兩個假設。弱人工智能假設機器可以通過編程展現出人類智能的水平。強人工智能則假設機器出現意識,或者說機器思考和認知的方式可以用以前形容人類的方式來形容。

常見誤解

「強人工智能是人類智力級別通用人工智能研究的方向」。這個解釋具有代表性,但這不是強/弱人工智能概念被提出時的本來意義。同樣,「弱人工智能」被認為是針對特定領域,執行特定任務的人工智能研究,如語音識別和推薦系統(也稱工具 AI)。雖然沒有人具有最終解釋權,但這種語義的轉換可能會造成不必要的混亂。

7. 什么是 AGI,ASI 和超級智能?

AGI 代表的是通用人工智能,這個術語意在強調建立通用目的智能系統的雄心目標,其應用的寬度至少能覆蓋人類能解決任務。ASI 指的是人工超級智能:遠遠超越人類智能的人工智能。更具體地說,一個超級智能系統高質量決策能力要比人類強,它能考慮更多的信息和進一步深入未來。

常見誤解

「主流的人工智能研究者并不關心通用人工智能?!瓜裾Z音識別這種細分領域的某些研究者主要關心的是其所在領域的具體目標,其他一些研究者比較關心找到現有技術的商業應用。在我的影像里,如學習、推理、和計劃等細分領域的大多數人工智能研究者認為他們目前的研究工作有助于解決通用人工智能的子問題。

「人類的智能是一種通用智能」。這種觀點常被認為是顯而易見,不值得討論,但它卻幾乎回避了關于 AGI 的所有討論。持有這種觀點的人通常會認為通用智能就是人類能做到所有任務的能力。然而當然不存在人工不能做的人類工作,所以人類能做已經存在的人類工作也沒什么好驚訝的。難的是怎么定義那種完全獨立于以人類為中心的價值觀和偏見的寬度。所以我們只能說人類智能是某種程度上的通用智能,人類能做人類能做的所有事情。另一種更有意義的說法是人類能做很多事情,但目前為止這個問題 還沒有確切的答案。

8. 什么是摩爾定律?

「摩爾定律」指的是多個相關的觀察和預測能影響電路性能和密度?,F代理解的「摩爾定律」是每一秒的操作次數以及每一美元所能買到的電腦性能,將每隔 N 個月翻一倍以上,N 大約是 18,這一表述有些背離「摩爾定律」最初的定義。

常見誤解

「摩爾定律是物理定律」。事實上,摩爾定律只是一種關于技術進步的經驗觀察。沒有什么規定摩爾定律會持續下去,當然它也不可能無限持續下去。時鐘速度的增加已經達到了頂峰,目前價格/性能上的提升也來自于單個芯片上內核(處理單元)數量的上升。

9. 摩爾定律能讓我們預測出超級人工智能的到來嗎?

不能。人工智能系統不能做的事情很多,比如理解復雜的自然語言文本;加速意味著在很多情況下得到的錯誤答案的速度也越快。超級智能需要在主要的概念突破。這些很難預測,即便我們有了速度更快的機器也沒啥用。

常見誤解

「讓機器更強大的意思是提升它們的智能」。這是人工智能的未來的討論中的一個常見主題,這個主題似乎建立在一個混亂的概念上,我們使用「強大」來描述人類智力,但是在描述計算機時用的「強大」的含義更加簡單,就是每秒操作的次數。

10. 什么是機器 IQ?

沒有機器 IQ 這種說法。某種程度上一個人在多個任務上的多種智慧能力是高度相關的,人類可以說有 IQ,但是研究者們對任意單一維度上的 IQ 定義有爭議。另一方面,任意給定的機器的各種能力之間都是不相關的:一臺機器能打敗世界象棋冠軍,并不意味著它能玩的好別的棋類游戲。能贏得猜謎比賽的機器也無法回答「你叫什么名字?」這樣簡單的問題。

常見誤解

「根據摩爾定律,機器 IQ 會不斷上升」。既然根本不存在什么機器 IQ,它也就不可能增長;摩爾定律描述的僅僅是原始的計算吞吐量,與是有存在執行任意特定任務的算法沒有關系。

11. 什么是智能爆炸?

「智能爆炸」這個術語是 I.J.Good 于 1965 年在其文章「Speculations Concerning the First Ultraintelligent Machine」中創造的。它指的是足夠智能的機器能重復設計它自己的硬件和軟件來創造出一個更加智能的機器的可能性,這個過程會一直重復下去,直到「人的智能被遠遠的甩在后面」。

常見誤解

「一旦機器達到人類水平的智能,智能爆炸就在所難免」。反過來:雖然邏輯上是可行的,但是讓 N 代的機器設計出 N+1 代的機器太難了。同樣的道理,我們造的機器可能在一些重要的方面成為超過人類,但是在其他方面可能會落后于人類。在解決貧困、治療癌癥等重要問題上,機器的能力肯定會比人類強,而且不需要在人工智能研究上有大突破就能實現。

12. 人工智能系統何時才能超過人類智力?

這是一個難以回答的問題。因為首先它假定這件事必然發生,事實上它具有選擇性:假如人類選擇不去發展這樣的人工智能,這件事就不太可能發生。第二,「超過」假定智力是線性的,而這不是真實情況,機器在某些任務的處理上比人類更快,而在更多放面則很糟糕。第三,如果我們認為「通用的」智能是有用的,我們就可以開發這樣的機器,但目前我們不知道它是不是有用的。寬泛地說,實現這樣的人工智能還需要很多技術突破,而這些都是難以預測的,大多數科學家認為這件事會在本世紀內發生。

常見誤解

「它永遠不會發生」。對技術突破進行預測是很難的。1933 年 9 月 11 日,Rutherford,也許是那個時代最著名的核物理學家,在英國科學促進年會上向人們宣布:「任何想從原子變形過程中獲取能源的努力都是徒勞的?!梗ㄋ诟鞣N場合發表過許多類似言論,大意都是表達使用原子能是不可能的)結果第二天早上,Leo Szilard 發現了中子誘導鏈式反應,并很快對核反應堆申請了專利。

13. 人工智能系統現在能做什么?

人工智能的應用范圍已經比幾年前大很多了。從圍棋、紙牌、簡單的問答、從新聞中抓取信息、組合復雜的對象、翻譯文字、識別語音、識別圖像中的概念、到在「普通」交通條件下駕駛汽車,不一而足。在很多情況下,人工智能在你不知道的情況下發揮著作用,如檢測信用卡欺詐,評估信用,甚至在復雜的電子商務拍賣中投標。搜索引擎中的部分功能也是人工智能的簡單形式。

常見誤解

「像『下棋』這樣的任務對機器來說和對人類來說是一樣的」。這是一個錯誤的假設:機器「掌握」一項技能的程度超過了人類。人類通過閱讀和理解學會游戲規則,通過觀看棋局和下棋來提高水平。但典型的下棋程序沒有這樣的能力——將下棋規則編程,讓機器算法直接給出所有可能的下一步。機器無法「知道」人類所謂的規則(目前新興的強化學習方式改變了這一點)。DeepMind 的人工智能系統可以學會很多種游戲,它不知道自己在學習什么,看起來也不太可能學會這些游戲的規則。

「機器執行任務的方式和人類一樣」。我們不知道人類思考問題的機制,但這種機制與人工智能系統處理任務的方式看起來大不相同。例如,下棋程序通過考慮當前棋局狀態和下一步可能的序列比較結果考慮下一步,而人類經常是先發現可能獲得的優勢,然后繼續考慮如何找到一系列方式來實現它。

「如果機器可以做到任務 X,那么它就可以做類似的所有任務了」。參見有關機器 IQ 的問題,機器目前還不能形成通用化的智能,它們的功能通常局限于某一領域。

14. 人工智能會對社會造成什么樣的影響?

在可預見的未來中,人工智能的各種應用將會改變社會形式。自動駕駛汽車現在已經在路上進行測試,至少有一家公司承諾將在 2016 年內交貨(考慮到目前遇到的困難,其他公司的態度則更為謹慎)隨著計算機視覺和機械腿設計的進化,機器人非結構化環境正在變得更為實用——可能的應用范圍包括農業和服務領域(特別是對于老人和殘疾人而言)。

最后,隨著機器能夠理解人類語言,搜索引擎和手機上的「個人助理」將會改變現有的人機交互方式,它們可以回答問題,整合信息,提供建議,并促進交流。人工智能還可能會對科學領域(如系統生物學)產生重大影響,這些學科中信息的復雜性和數量一直令人望而卻步。

常見誤解

「機器人正在接管一切」。參見《人工智能的智力何時才能超過人類》,人工智能中的絕大多數進步是基于任務處理的改進。當然,從長遠來看,維持人類的控制很重要。

15. 人工智能與機器人的發展會取代大量人類的工作嗎?

一些研究(比如 Frey 和 Osborne 在 2013 年的調查)表明在未來美國將近一半的工作在自動化面前會變得很脆弱。其他作者,比如 Bryjolfsson 和麥肯錫在 2011 年的工作表明這一變化已經開始了:2008 年經濟蕭條之后就業率的緩慢恢復,生產率與停滯不前的工資之間的差異化增加了自動化的進程。隨著人工智能與機器人的持續發展,更多的工作將受到影響看起來不可避免。大量的失業并不是必然的,但這可能會造成經濟結構的巨大轉變,需要想出組織工作與酬勞的新思路。

常見誤解

「機器人的工作越多意味著人類工作越少」。工作不是零和(zero-sum)的:由一對機器人協助的工人可能更具工作效率,也因此需要更多這樣的工人。沒有機器人的幫助,一些領域的工作由人類完成可能不具備經濟效益,或者一些工作單獨的人或機器無法完成。同樣,就像涂刷匠的刷子與滾筒:如果使用針尖大小的刷子一點一點的涂刷,我們就雇不起涂刷匠來涂刷一整間屋子了。

16. 什么是無人機,自動武器,殺人機器人?

無人機是由人遠程控制的飛行器;有些無人機可以攜帶武器(通常是導彈),這些武器的釋放也是由人遠程控制的。自動武器是可以自主選擇和吸引攻擊對象的裝置。目前這類裝置包括韓國非軍事化區里的自動瞄準機槍和一些不同類型的船載反導彈系統。目前在技術上可以實現將無人飛機的控制員替換成完全自動的計算機系統,以達到致命自主武器系統的要求。致命自主武器系統是日內瓦會議裁減軍備議題的討論主題。殺人機器人是對具有輪動能力和行走能力的武器的統稱,包括:船,飛行器以及人工智能的昆蟲飛行器。

常見誤解

「完全自主武器的出現還需要 20-30 年的研發」。得出這個預估時間的依據無從知曉,但是 20-30 年的時間跨度有點夸大所需的研發時間長度。目前自主武器的研發已經在全世界內大范圍的開展,英國國防部已經宣稱,對于一些簡單對抗如海上戰役,完全自動武器現在已經可以實施。

17. 我們需要擔心殺人機器人胡作非為或接管世界嗎?

如果部署了自動化武器,它們也會有士兵那樣的難題:有時難以分別朋友與敵人、平民與敵軍。而且可能會有軍事事故造成平民傷亡,或者機器人受到干擾與網絡攻擊。也因為后者,一些軍事專家預測自動化武器可能需要封閉操作系統,沒有電子通訊。如果系統行為不準確的話,這樣做能防止有人凌駕于自動化控制器之上。但在可預見的未來,自動化武器可能會變得很常見,在有限的任務中被使用。但在全局規模上,它們很難自己編程出計劃。

常見誤解

我們可以按下「關閉」按鈕?!戈P閉」按鈕會使得自動化武器在網絡攻擊面前變得很脆弱。這樣的通信頻道在戰爭中也是如此。此外,通用智能系統會被賦予一項任務,防止自己的「關閉」按鈕被按下。

18. 人工智能的「存在風險」是什么?它是真的嗎?

關于人工智能風險的早期警告曾是非常模糊的。I.J.Good 對于人工智能的可行性提出了自己的觀點:「只要機器能夠聰明到告訴我們如何保持對它的控制?!谷藗兤毡橐庾R到,在我們的星球上如果存在一個超級智能實體,可能會出現恐慌;但另一方面,我們也都清楚更加聰明的機器會更加有用,而且更加聰明不一定意味著邪惡。事實上,論據很簡單。

假設超智能系統被設計成實現由人類設計者指定的某一目標,并假設這一目標不完全符合人類的價值觀,人工智能形成的價值觀(如果有)是非常難以確定的。

任何充分有能力的智能系統將傾向于確保其自身的持續存在并且獲取物理和計算資源——不是為了他們自己的目的,而是為了更好地執行人類為它設定的任務。

現在我們問題的本質是你所要求的不是你所得到的。Norbert Wiener 是自動化和控制理論的先驅者,他在 1960 年寫道:「如果我們使用——為達到某些目的——一些機器來代替我們做某些工作,我們最好能夠清楚它們的確在按我們的想法工作?!筂arvin Minsky 舉了讓機器計算 pi 這個例子,Nick Bostrom 則舉了回形針的例子。對于人類而言,這些目標是根據人類視角提出的,這意味著計算機服務器或回形針覆蓋整個銀河系不是好的解決方案。一個具有能力的決策者——特別是能夠通過互聯網連接全球每塊屏幕的智能——可能會對人類產生不可逆轉的影響。幸運的是,這個問題相對比較明確,所以現在就可以開始解決。

常見誤解

超智能機器將變得自發地產生意識、本能地變得邪惡或傷害人類??苹眯≌f作者通常假定上面這些一個或多個問題來設定機器與人類的對立面,這樣的假設完全是不必要的。

我們人類發展人工智能系統,那么為什么我們要制造出來毀滅自己呢?有一些人類工智能「捍衛者」常常爭辯道因為人類建立了人工智能系統,那么完全沒有理由來支持這樣的假設,即我們是在制造一個旨在毀滅人類的機器。這個沒有抓住辯論要點,即哪個是邪惡意圖,在設計者這一邊還是代中間者這一邊,這是存在存亡威脅的先決條件,這個問題也就是錯誤設定了對象。這將永遠不會發生。

19. 為什么人們會突然對人工智能如此擔心?

從 2014 年開始,媒體就定期地報道如 Stephen Hawking、 Elon Musk、 Steve Wozniak and Bill Gates 那樣名人的對人工智能的擔憂。這些報道通常引用那些最絕望話語并省略實質擔心的深層原因,通常就像「什么是人工智能現存風險」那樣的問題。在許多情況下,擔憂就是在閱讀 Nick Bostrom 的書籍超智能(*Superintelligence*)之后產生的。另外一些當下關心這個問題的潮流也是因為人工智能的發展正在加速。這種加速可能是很多因素的集合,包括逐步完善的理論基礎,它連接了很多的人工智能領域成為一個統一的整體。還有學術實驗室能產出達到能夠應用并解決現實世界的實際問題在人工智能方向商業投資的急劇增加也作為。

常見誤解

如果人們是擔心超人工智能就在某個角落,那么基本上人工智能研究者很少認為超智能機器就在我們周圍某個角落。這并不暗示著我們應該等著,直到這個問題變得很嚴重!如果我們發現直徑 10 英里的小行星將于 50 年后撞向地球,我們難道能夠不消滅它并聲稱「我們會在五年的時候去關注它」?

20. 人工智能在接下來的幾十年里會取得怎樣的進步?

這個領域好像并不要求人類級的通用人工智能能夠達到成熟,而制造一些可信賴的高質量的產品也許在下個十年內有能實現。這就包括了語音識別、從簡單的實際材料中提煉信息、對物體和行為的視覺識別、日常事物的機器人操作和自動駕駛。努力提升質量和擴展文本與視頻的理解系統能制造更強勁的家用機器人,產生更為廣泛有用的機器人,它能展示常識知識系統,一起學習并在遍歷所有形式后表現得更好。還存在獲取和組織科學知識的專業系統,它能管理復雜假說并可能對分子生物學、系統生物學和制藥方面產生重大的影響。我們也許也會看到它在社會科學和政策制定有相同的影響,特別是在給它關于人類活動巨量的機器可讀性數據之后,并如果機器是很可靠有用的,那么人們同樣也需要機器去理解人類價值。公共和私人知識源,也就是知道和推理真實世界的系統,它不僅僅是數據的倉庫,它會成為社會的組成部分。

21. 什么是「價值定位(value alignment)」?它有什么要緊的?

價值定位(Value alignment)就是校準人機關系具體目標價值的任務,所以機器最優選擇大概來說就是無論做什么都是最大化人類的幸福感。如果沒有價值定位,那么超脫人類掌控的超智能機器的出現就是不可忽視的風險。

常見誤解

「我們所有需要的就是阿西莫夫定律(Asimov's laws)」。阿西莫夫定律本質上就是一些條款:它們給人類創造出各種故事情節提供靈感,但是基本對約束機器人沒有什么有用的信息,因為它沒有更多具體的細節。它們的基本結構為一組規則而不是效用函數,這是很有問題的:它們的詞典式結構(例如任何對人類的傷害是比所有機器人的損害還要嚴格重要地多)意味著沒有給不確定性或權衡留下空間。也許機器人只為了拍死一只在以后可能叮咬人類的蚊子會跳出懸崖毀滅了自己。另外,它也許會鎖上人類汽車的門,因為坐車會提高人類受傷的可能性。最后,基于最大化人類效用的方法,對于第三條法則是沒有必要的(機器人自我保護),因為機器人不保證自身的存在是不能為人類效用做出貢獻的,還會令其擁有者十分失望。

22. 對于存在主義風險(existential risk),人工智能社區做了什么?

許多關于人工智能的存在主義風險的討論都是處于人工智能社區主流之外的,它們是從人工智能研究最初到最主要的反動力。在 2008 年的時候,AAAI(美國人工智能學會)就舉行了個座談會來討論這個問題。座談會中期報告就指出了存在的一些長期問題,并降低了一些人工智能對人類社會風險的想法。最近,在 2015 年 1 月 Puerto Rico 由 Future of Life Institute 主辦的會議上,參會者和隨后參加者共六千多人共同簽署了一份公開信,強烈呼吁應該有關注這些風險問題的研究和提出一個更加詳細的研究議程。隨后,Elon Musk 為支持這方面的研究而拿出了 1000 萬美元。另外,Eric Horvitz 已經建立個期望追蹤風險問題并在需要時給出政策建議的長期研究。最后還有 AAAI 也已經建立了一個關注人工智能影響和倫理問題(Impact of AI and Ethical Issues)的常務委員會。

常見誤解

「規約或控制研究是不可能的」。有些人辯稱沒辦法避免消極后果,因為研究進展是無法停止和規約的。實際上這種聲稱本身就是錯誤的:在 1975 年關于基因重組的阿西洛馬會議(Asilomar Conference)就成功地發起自愿活動中止了設計制造人類遺傳性基因修飾,并一直持續成為了國際準則。另外,如果實現人類級的人工智能研究未加抑制(這個是很可能出現的),那么在方法上開始謹慎地研究確保人工智能系統在我們掌控下是十分重要的。

23. 我能做點什么?

如果你是一個人工智能研究者(或對這方面感興趣的經濟學家、倫理學家、政治學者、未來主義者和律師),從 2015 年波多黎各會議(Puerto Rico conference)在研究議程中就已經興起了一個主題,即在主要的人工智能會議上會舉行相應的研討會,比如說 AAAI Fall 和 Spring Symposium series 等等。FHI、CSER、 FLI 和 MIRI 網站都有更多的信息。

常見誤解

「完成這些是沒什么困難的」。我們不管做什么都無法改變未來,這些事都終將發生。也沒有什么能離真相更近一點的,我們不能預測未來,因為我們正在創造未來,這是我們集體的選擇。

來源:知乎

黑龍江新媒體集團 版權所有
黑ICP備15009298號-1
黑公網安備 23010802000026號