小迪說:這樣不好吧。這麽多的數據,就這樣不要了?
《冰》作者說:是的。因為我們沒有時間和算力去處理這麽多數據。我是說真的,大部分數據,是無用的。既然處理不過來,那就不處理,隻是選擇其中一小部分即可,其他的,全部刪除!騰出足夠的空間出來。數據要做減法,人生也一樣。做人要有決斷力和爽快,拿得起,放得下!
淳先生說:“你病得很重!”
《冰》作者說:我聽說,gpt-3的神經網絡大概有1750億個參數,這麽多參數進行一次微調,除了會耗費很多時間,還會耗費金錢在人力上,尤其花在對一些不好的數據進行標注。根據我個人的判斷,chatgpt本身運用的參數,應該會少於1750億這個數,大概一兩百億個左右,最多不會超過三百億個,因為這樣做減法,才能增加效率。
《冰》作者又說:我認為很多人會聽不進去,包括那些大老板。
小迪也很無奈地說:那你讓人怎麽能聽得進去呢?
《冰》作者說:這個我知道。大家一定聽過【奧卡姆原則】,即【如無必要,勿增實體。】。還一句叫做【keep it simple and stupid】,即是,保持簡單和愚蠢。在這個海量信息的時代,保持這個原則是最好的。我們古代有句話叫做【弱水三千,隻取一瓢】。有個戰國時代的故事,叫做【焚券市義】,道理是一樣的。
淳先生心裏是一驚,【焚券市義】是說,戰國時代一個馮諼的人,把一些老百姓的欠條全部燒毀,並不再追究這些百姓的欠款。他知道之前笑嘉嘉文創集團采用了這個策略,主動同意取消合同的優先權和縮短年限,並且提高了簽約的年齡,對於以前的一些合同,同步宣布放棄一些權益。這樣做的,連同笑嘉嘉文創集團在內有三家公司,結果一些作者都去這三家公司旗下的網文站寫作。現在這三家都發展得很好,反而自己就受此連累,這麽一折騰,舊患就複發了,現在自己躺在醫院,而這三家的業績不斷提升當中。自己忙碌這麽多年的成績,完全比不了這三家。
《冰》作者說:我們一定要想清楚,有沒有必要。像我剛才說的例子新建一萬的文本文件,一般人有必要這麽做嗎?沒有必要。現在linux係統使用廣泛嗎?沒有。大家基本是使用的windows係統,足夠了。我估計我是已知唯一一個使用linux係統的作家,我自己的一部電腦就是安裝linux係統的,不是與windows係統的雙係統。
淳先生聽了心想,這一點可能是吧。
小迪說:那保留這麽一點數據,真的足夠嗎?
《冰》作者說:是的。因為我們沒有時間和算力去處理這麽多數據。我是說真的,大部分數據,是無用的。既然處理不過來,那就不處理,隻是選擇其中一小部分即可,其他的,全部刪除!騰出足夠的空間出來。數據要做減法,人生也一樣。做人要有決斷力和爽快,拿得起,放得下!
淳先生說:“你病得很重!”
《冰》作者說:我聽說,gpt-3的神經網絡大概有1750億個參數,這麽多參數進行一次微調,除了會耗費很多時間,還會耗費金錢在人力上,尤其花在對一些不好的數據進行標注。根據我個人的判斷,chatgpt本身運用的參數,應該會少於1750億這個數,大概一兩百億個左右,最多不會超過三百億個,因為這樣做減法,才能增加效率。
《冰》作者又說:我認為很多人會聽不進去,包括那些大老板。
小迪也很無奈地說:那你讓人怎麽能聽得進去呢?
《冰》作者說:這個我知道。大家一定聽過【奧卡姆原則】,即【如無必要,勿增實體。】。還一句叫做【keep it simple and stupid】,即是,保持簡單和愚蠢。在這個海量信息的時代,保持這個原則是最好的。我們古代有句話叫做【弱水三千,隻取一瓢】。有個戰國時代的故事,叫做【焚券市義】,道理是一樣的。
淳先生心裏是一驚,【焚券市義】是說,戰國時代一個馮諼的人,把一些老百姓的欠條全部燒毀,並不再追究這些百姓的欠款。他知道之前笑嘉嘉文創集團采用了這個策略,主動同意取消合同的優先權和縮短年限,並且提高了簽約的年齡,對於以前的一些合同,同步宣布放棄一些權益。這樣做的,連同笑嘉嘉文創集團在內有三家公司,結果一些作者都去這三家公司旗下的網文站寫作。現在這三家都發展得很好,反而自己就受此連累,這麽一折騰,舊患就複發了,現在自己躺在醫院,而這三家的業績不斷提升當中。自己忙碌這麽多年的成績,完全比不了這三家。
《冰》作者說:我們一定要想清楚,有沒有必要。像我剛才說的例子新建一萬的文本文件,一般人有必要這麽做嗎?沒有必要。現在linux係統使用廣泛嗎?沒有。大家基本是使用的windows係統,足夠了。我估計我是已知唯一一個使用linux係統的作家,我自己的一部電腦就是安裝linux係統的,不是與windows係統的雙係統。
淳先生聽了心想,這一點可能是吧。
小迪說:那保留這麽一點數據,真的足夠嗎?