Skip to main content

[Raspberry pi] 陽台的老鼠偵測器

前言： 話說前陣子爸爸家陽台不斷出現米奇老鼠，立刻清理陽台所有東西，然後又跟市政部門反映問題，可是情況還沒有好轉，米老鼠來完一隻又一隻，我爸陽台在老鼠界應該是網紅打卡聖地(誤)，要不然就是米奇老鼠版米奇林三星餐廳(?) 雖然我們抓到了三隻，到上兩個禮拜為止還有至少一隻一直抓不到，每天淩晨還會來吃事後煙留下老鼠屎，真_北。 這隻老鼠對傳統攻擊有抗性，有IT9朋友前陣子用Raspberry pi自製了一台electric mouse trap ，用pi的超聲波雷達放在鞋盒裡，鞋盒裡有一堆食物，底部佈了鐵網，偵測到有老鼠進去以後立即關門通9V電，通個1分鐘再放牠離開，大推我自己也造一台 (Youtube片搜尋一大堆，人類真變態啊，朋友好變態啊)。可是我覺得這樣又好像有點太殘忍，不如先偵測牠們什麼時候來，嚇嚇牠們看看有沒有效果再說吧。 目的： 用Raspberry pi及手上有的感測器弄一隻放陽台用來偵測和嚇嚇老鼠的東西，並把紀錄圖像化到雲端給老爸使用。 邏輯及設計： 當老鼠進入偵測範圍，Motion Sensor偵測到生物活動Raspberry pi 處理來自Motion Sensor的訊號，如果夠強的話開始準備作出回應 Raspberry pi在Angry cats sounds中隨機選出叫聲，再經由Speaker輸出貓叫聲 Raspberry pi指示強光元件發出強光束照射目標 把偵測計數上傳到雲端圖表 材料： Sensor 在網路上看了一些Raspberry pi wild animal camera ，很多也是用Motion Sensor先偵測動物再來，我用的是PIR Motion Sensor被動式紅外線感測器，有低耗電成本便宜的好處。[1]，而且可手動調整靈敏度及反應時間。  PIR Motion Sensor就是下面這個 圖片來源: learn.adafruit.com 可手動調整敏感度還有反應時間，這個有點不好調，要試好多遍才找到最佳位置。 可以在Raspbian中輸入pinout查詢GPIO避免插錯 圖片來源: learn.adafruit.com . 一台Raspberry pi 這次使用較舊的Raspberry pi model B+ 萬一老鼠生氣被咬爛錢包也不太痛 . ...
Post a Comment

[SQL Server] 利用Linked Server轉移大量數據到SQL Server之方法(以AS400為例)

[20140110] 新增OLE DB版本
上次提到當我們進行異質資料庫的資料轉移，使用SQL Server內建的工具經常會發生很多不明的錯誤（例如Column size太大）。那怎麼辦呢？總不可能把資料全部變成insert Statement吧？經過爬文以後小弟最後選用了SQL Server裡的Linked Server功能. 也成功轉移了超過2000萬筆資料的資料庫，雖然可能並不是好方法也希望對大家有幫助 :-)

什麼是SQL Server 的Linked Server?
Linked Server (連結的伺服器) 根據msdn的解釋, 就是 "可讓 SQL Server Database Engine 對 SQL Server 執行個體外部的 OLE DB 資料來源執行命令。" 再說白一點, 就是可用T-SQL查詢其他品牌的資料庫。

來源資料特性：
  • 資料在老舊的V5R4 AS400上.
  • 很多資料表（Table）的欄位（Columns）很多，接近50個欄位以上。
  • 欄位的size很大, 長度達3000或以上, 而且因為是char的關係就算改成varchar也沒用.
  • 資料量大, 很多Table超過200萬筆.

 準備工作:
  • 由於這次使用的是AS400的ODBC或OLE DB, 所以在SQL Server端一定要先安裝IBM iSeries Client Access.
  • 在SQL Server中先建立一空的資料庫
  • 需要有SQL Server SA權限的帳號
動手做:
  • 建立Linked Server

    1. 打開SQL Server Management  Studio, 登入後到Server Objects->Linked Servers->按右鍵新增Linked Server
    2. 如果你用的是ODBC
      在"Linked Server"中填入此Linked Server的名字, 任意也OK, 由於這次對象是AS400, Server type要選擇Other data source, 由於這次使用的是ODBC connection, 所以Provider一欄要選擇 "Microsoft OLE DB Provider for ODBC Drivers", Product name先填as400, Data Source選擇ODBC中的來源名稱(如AS400ODBC), Provider string跟connection string類似, 主要是加入一些連結的資訊, 例如在這個例子我要傳送使用者名稱跟密碼去登入AS400的目的地資料庫, 就要填寫uid=XXXX;Password=XXXX; Location跟Catalog可以放空不用填寫, 確定無誤後按OK.


      如果你用的是OLE DB在"Linked Server"中填入此Linked Server的名字, 任意也OK, 由於這次對象是AS400, Server type要選擇Other data source, 由於這次使用的是OLE DB connection, 所以Provider一欄要選擇 "IBM DB2 UDB for iSeries IBMDA400 OLE DB Provider", Product name不用填寫, Data Source填寫AS400的IP或者DNS, Provider string跟connection string類似, 主要是加入一些連結的資訊, 例如在這個例子我要登入ABC資料庫, 就要填寫Default Collection=ABC; Location跟Catalog可以放空不用填寫, 確定無誤後按OK.


    3. 登登~成功的話會出現這樣的畫面

    4. 最後, 如果你是使用OLE DB的話, 
      1. 記得設定完以後需要進入 Linked Servers->Providers-> IBMDA400按右鍵->選擇Properties

      2. 勾選"Allow inprocess"以後按 OK.

      3. 不然可能會出現 "Cannot create an instance of OLE DB provider "IBMDA400" for linked server "XXX" (Microsoft SQL Server, Error:7302)" 這個錯誤.

  • 建立產生Table的Create Statement
    1. 接下來要把目的地的資料建立好, 例如我在AS400中有80個Table, 那麼在SQL Server端就要先建立80個名字跟欄位也一模一樣的空資料表.例如
    2. 建立好所有空的資料表以後, 我們就可以用T-SQL最強的語法
      INSERT INTO <目的地資料表>
      SELECT * FROM <Linked Server中的資料表>
      把資料從來源資料庫轉移到SQL Server上去了, 例如

      然後兩個小時以後, 兩千多萬筆資料就成功轉移了!!!!
  • 總結
    之前我們試過很多方法(例如SSIS的import/export expert, 把Data轉為過萬筆insert Statement)也無法成功的把AS400中有超過兩千萬筆的資料庫轉移到SQL Server上去. 使用Linked Server對我們來暫時是成功的一套方案, 希望對遇到同樣問題的大大有幫助, 如果有更好的方案歡迎提出討論喔. ^_^
  • 2013/09/02補充:
    要批次建立資料表及insert的SQL, 我自己是iSeries Navigator內建的工具產生的, 千萬不要血汗工廠自己慢慢寫, 賠了時間又容易出錯啊
  • 2014/01/15補充:
    經小弟測試後OLE DB跟ODBC在速度上很接近, 不過如果要連結大量linked server的話還是使用OLE DB比較好.
Labels:

Comments

Post a Comment

Popular posts from this blog

[SQL Server] 解決log檔(ldf file)過度膨脹的實戰經驗

背景： 公司最近把一套每天有相對大量交易 (之前公司更大很多很多倍) 的系統轉移到SQL Server去，不到一個月交易檔(ldf)已經貼近數據檔(mdf)的size，真的好可怕啊。 身為SQL Server的DBA當然  要替月行道，警惡懲奸  不能讓這種情況繼續下去。 解決方案選擇： 第一個我想到的方法是把Database的Recovery model設成Simple，簡單來說就是不需要交易記錄，對於Insert Delete Update 很少的系統勉強還說得過去，不過對於交易量大的系統來說就不行了，沒有交易記錄萬一資料庫突然往生，總不能用full backup還原然後要User重新輸入一天的交易吧。 第二個方法是定時進行備份。為什麼log大小跟備份有關係呢? 簡單來說，資料庫的ldf檔就是用來儲存Full Backup後所發生的所有交易。如果你從今天從來沒有為資料庫進行過備份， 理論上ldf檔會無限的膨脹下去 ，而且利用Shrink指令也無法把交易檔壓縮。因為沒備份的話就等於ldf檔裡面的東西統統有用，當然沒辦法壓縮了。所以要保持交易檔案的size就是要持續保持備份，在每次備份完了以後自動把交易檔Truncate成初始大小，這樣可以長期保持相對小的交易檔。 所以，最後我選擇了方案二。 實作流程考慮因素： SQL Server的backup model一定要一份full backup再塔配其他備份檔一起使用( SQL Server的備份model解釋在此 )，要達到控制ldf檔案大小的目的，備份可以每天只是Full Backup，也可以是Full->T-log，也可以是最複雜Full->Diff->T-log，我考慮使用那一種的因素主要有以下： 資料庫本身只是約55GB不是太大； 每天交易量不多，每分鐘約10筆交易； 使用者允許少量的data loss，一天Data loss肯定不行； 資料庫只是辦公時間才會用。 我個人認為Backup Plan越簡單越好，發生狀況的時候已經很緊張，複雜的Backup只會令事情更糟。反正今天硬碟實在是太便宜，天天備份幾次也無所謂，因此在儘量簡化備份流程的前題之下，小弟傾向 每天Full BackUp一次，每小時備份一次T-lo...
4 comments
Read more

[Windows7] 跨距磁碟區, 等量磁碟區, 鏡像磁碟區之區別

話說前兩天用來備份的USB硬碟無緣無故去領便當了. 大幸的是我一直有好好備份, 資料至少存在兩顆硬碟上, 所以備份硬碟掛了損失也不大(錢包除外). 所以昨天下班以後趕緊去買一顆seagate的2TB內置硬碟回家(感覺USB硬碟還是不太安全), 裝好以後突然想到一個問題： 現在我桌機總共有5顆硬碟, 首先是剛買回來的2TB, 1顆80G SSD, 1顆640G, 1顆320G, 1顆160G. (真多舊硬碟囧), 關於硬碟的部分Windows 7比XP多了一些選項, 應該選那個才對? 讓我自己先分析一下: 那麼零碎的硬碟應該選擇合拼方案為主 關於合拼的方案Windows7有三大選項, 分別是 跨距磁碟區 ;  等量磁碟區;  鏡像磁碟區三種, 應該怎樣選呢? 說穿了那三種其實就是軟體的RAID方案, 硬要改一些好像很簡單又不簡單的中文字 . 其實: 跨距磁碟區 = JOBD,  就是簡單把幾顆硬碟變成一顆大的邏輯硬碟,  資料的存放機制是由第一顆硬碟開始依序往後存放，即作業系統看到的是一個大硬碟（由許多小硬碟組成的）。但如果硬碟損毀，則該顆硬碟上的所有資料將無法救回。若第一顆硬碟損壞，通常無法作救援（因為大部分檔案系統將磁碟分割表(partition table)‎存在磁碟前端，即第一顆）[1] 等量磁碟區 = RAID 0 把資料分散在幾顆硬碟, 存取的速度比較快, 不過壞一顆又是全部壞掉. 鏡像磁碟區 = RAID 1 顧明思義有兩份data, 超安全, 不過由於write的時候也要write兩份, 所以速度會慢. 更詳細的解釋 這裡 [2] 魚仔大有好好的解釋說明三種功能, 小弟就再不說了. 總結: 那我要怎麼辦? 最後我選擇的是.... 什麼都不做 , 80G的SSD留給OS及程式專用, 640G的用來放照片/動畫/影片/影像檔, 320G的用來放文件還有裝一些不重要的應用程式(遊戲啦,遊戲啦,還有一些遊戲之類的), 160G的用來裝音樂還有.......你懂的. 至於2TB的那顆就是當成上面所有硬碟的mirror, 用sync工具即時備份. 為 什 麼 ? 因為JORB不是不好, 不過把那幾顆舊硬碟變一顆有很大的風險, ...
Post a Comment
Read more

[SQL SERVER] 找出LOCK方法懶人包

話說休假回公司才不到兩天SQL SERVER就出狀況 Orz 昨天同事跟我說文件系統不能存取ID, 第一件事當然想到是存放ID的資料表LOCK住了. 要查出LOCK方法其實有很多, 以下是小弟歸納的網路資源, 希望幫到大家 什麼是LOCK? 德瑞克大的解釋很詳細:  http://sharedderrick.blogspot.com/2007/12/blocked-lock-connectoin.html sp_lock: 使你對系統中發生的LOCK有深入的了解。它會從master資料庫中的syslockinfo中截取與LOCK相關的大量訊息[1]. 不過我認為由於這個功能的資訊太多, 而且資料沒有好好的做sorting, 所以在危急關頭未必有閒去慢慢看. 在sp_lock會看到spid、dbid、objid、indid、type、resource、mode和status共八個欄位[2]. spid: 連線ID. 可配塔sp_who找出用那些用戶和該連線(spid)有關連. dbid: 資料庫的唯一編號 Objid: 資料表的唯一編號, 可用 select object_id('<table name>') 找到資料表相關Objid 其他的欄位可以在 這裡 找到相關意思. sp_who2 sp_who的加強版本. sp_who主要提供 Microsoft SQL Server Database Engine 執行個體中有關目前使用者、工作階段和處理序的資訊[3]。而sp_who2比較像是sp_who的view, 把sp_who的資料整理得比較好. 小弟經常用它來找出那台PC的發出的process產生了LOCK.  然後毆飛那個user 列出最初導致一連串其它處理序被鎖住的起始源頭(Blocking locks) 很多時候LOCK住的原因是其他的LOCK引發的, 要找出這種關係可以用下面網址的SQL 列出最初導致一連串其它處理序被鎖住的起始源頭 http://www.dotblogs.com.tw/karen0416/archive/2011/11/18/58623.aspx 或者是德瑞克大寫得好好用的SQL http://sharedderrick.blogspot.co...
Post a Comment
Read more