# 資料處理  

編按：從ChatGPT等AI聊天機器人產生的熱門內容，到TikTok、Instagram和YouTube的內容，其實，都是由所謂的「資料處理員」的協助進行整理、標記和分類。不過作者指出，「資料標記工作訓練了AI系統，但AI系統最終將取代訓練它的人類」。

小金(化名)從小罹患遺傳性的痙攣疾病，發作時手、腳時常會顫抖，必須倚靠枴杖或輪椅方能行走。因求學時期曾有被同儕霸凌經驗，對自己的信心不佳，也常有悲觀想法，導致小金21歲從高職資料處理科畢業以後，並不常出門與外界聯繫，更別說外出就業。27歲那年爸爸過世，家裡少了一根頂樑柱，面對有形無形的生活經濟風暴壓力，小金依舊只想逃避。

上週Google表示，確定已在雲林購地，因應未來在台灣持續成長的需求。雲林縣長張麗善同時證實，Google斥資36億多元，買下「中纖」位於雲林斗六的雲林科技工業區竹圍子區20頃土地，預計興建第三座資料處理中心。

當你在處理一大批資料的時候，可能會需要將資料做比較有系統的彙整或是歸檔。而在做這清整的動作時，往往為了保持資料的正確性，我們會將重複的資料合併或是刪除。有時候刪除與整併需要逐項去比對、keyin欄位，但當資料量非常大宗時，用有限的眼力在海量資料中去瀏覽，不僅浪費時間，而且有可能出現遺漏，該怎麼辦呢？現在就讓你學會如何快速在大量的資料中，排除重複資料的方法。

在美國工作過、領過薪水的人應該都有聽過一間叫做ADP的公司，或者對於每個月（或者每兩週）收到的薪水明細右上方那個紅色商標很有印象。我自己在矽谷工作的那幾年，那個紅色商標對我來說就像是連鎖超市SAFEWAY的紅色太極商標一樣，是個不會讓人聯想太多的常態存在。