日志分析，没怎么看懂。

guiyin.xiong · guiyin.xiong · commit 2d22adc06fa6 · 2017-03-04T21:36:17.000+08:00
diff --git a/comyn_lesson/日志分析.md b/comyn_lesson/日志分析.md
@@ -892,3 +892,99 @@ In [15]: now + datetime.timedelta(seconds=5)
 Out[15]: datetime.datetime(2017, 2, 26, 20, 38, 14, 43360)
 ```
 
+---
+--- 
+
+# 同时处理多个文件、多进程
+
+需要流式的读取文件：
+
+$ tail -f  ==> long polling机制(定时地去检查并读取文件到末尾)
+
+```python 
+import time 
+def load(path):
+    with open(path) as f:
+        while True:
+            for line in f:
+                try:
+                    yield extract(line)
+                except:
+                    pass
+
+            time.sleep(0.1)
+```
+
+
+```python 
+# 从文件1中逐行读取，并写入到文件2中；
+import sys
+import time
+
+with open(sys.argv[1]) as r:
+    with open(sys.argv[2],'w') as w:
+        for line in r:
+            w.write(line)
+            w.flush()
+        time.sleep(1)
+```
+
+
+## inotify --> inode notify 
+
+监控文件系统的变化：
+
+利用inotify实现tail -f的功能；
+
+文件系统里：
+
+    文件的创建、删除、移动、修改，都会发出inotify event。
+
+* watchdog(linux)  是inotify中实现得比较好的一种；可用于做文件同步、备份；
+* fsevent(macos)
+    
+
+```python
+# 不用再定时去查看文件，利用文件修改的event
+import sys
+import time
+import logging
+from watchdog.observers import Observer
+from watchdog.events import LoggingEventHandler
+
+if __name__ == "__main__":
+    logging.basicConfig(level=logging.INFO,format='%(asctime)s %(message)s',datefmt='%Y-%m-%d %H:%M:%S')
+    path = sys.argv[1] if len(sys.argv) > 0 else '.'
+
+    handler = LoggingEventHandler()
+    observer = Observer()
+
+    observer.schedule(handler,path,recursive=True)
+    observer.start()
+    try:
+        while True:
+            time.sleep(1)
+    except KeyboardInterrupt:
+        observer.stop()
+    observer.join()
+```
+
+比较经典的12种设计模式，不要为了设计模式而使用设计模式；
+
+标准库要看一遍；
+
+
+* datetime 
+* re 
+* argparse 
+* logging 
+* pathlib 
+* psutil 
+* watchdog 
+* difflib 
+
+
+
+文档和注释
+    建议多谢文档，少写注释；
+
