เครื่องจักรใช้แล้วรุ่น LOADED-8931

สคริปต์เผยแพร่ก็มีปัญหาโหลดช้าเหมือนกับโปรแกรมดาวน์โหลด Moments: D:\Work\machine_china>python roc_scripts\publish_wechat_english_machines.py โหลดลายเซ็นภาพที่เผยแพร่แล้ว 8931 รายการจากฐานข้อมูล โหลด exact hashes 5221 รายการและ perceptual hashes 8931 รายการสำหรับการตรวจสอบซ้ำ (dedup check) วันเสาร์ 11:12 ใช้เวลา 1 นาที 45 วินาที เพิ่มการโหลด snapshot/แบบเพิ่มทีละ (incremental) ในเครื่องคล้ายกับการเก็บ Moments ไปที่สคริปต์เผยแพร่ ตอนนี้ในการรันครั้งแรกยังดึงจากฐานข้อมูลและสร้าง:

รหัสเครื่อง: OE260705
ปีผลิต: สอบถามข้อมูล
สถานที่: จีน
ชั่วโมงการใช้งาน: สอบถามข้อมูล

สอบถามทางอีเมล

ข้อมูลจำเพาะหลัก

ปัญหาโหลดช้า	D:\Work\machine_china>python roc_scripts\publish_wechat_english_machines.py โหลดลายเซ็นภาพที่เผยแพร่แล้ว 8931 รายการจากฐานข้อมูล โหลด exact hashes 5221 รายการและ perceptual hashes 8931 รายการสำหรับการตรวจสอบซ้ำ (dedup check) วันเสาร์ 11:12 ใช้เวลา 1 นาที 45 วินาที เพิ่มการโหลด snapshot/แบบเพิ่มทีละ (incremental) ในเครื่องคล้ายกับการเก็บ Moments ไปที่สคริปต์เผยแพร่ ตอนนี้ในการรันครั้งแรกจะดึงจากฐานข้อมูลและสร้าง: resources/data/publish_image_signature_db_snapshot.json ในการเริ่มต้นครั้งต่อๆ ไป: หากฐานข้อมูลไม่เปลี่ยนแปลง: โหลดลายเซ็นภาพที่เผยแพร่แล้ว 8931 รายการจาก snapshot ในเครื่อง หากฐานข้อมูลมีการเพิ่ม/อัปเดตเล็กน้อย: โหลดลายเซ็นภาพที่เผยแพร่แล้ว 8950 รายการจาก snapshot ในเครื่องและการอัปเดตแบบเพิ่มทีละ 19 รายการจากฐานข้อมูล ใช้เฉพาะเมื่อไม่มี snapshot การเขียนและตรวจสอบ snapshot: เขียนเฉพาะดัชนีลายเซ็นในหน่วยความจำปัจจุบันไปยัง snapshot ในเครื่อง การตรวจสอบผ่าน: py_compile, python -m unittest roc_scripts.tests.test_publish_wechat_english_machines แก้ไข publish_wechat_english_machines.py +83 -2 เสาร์ 11:14 ทำไม Moments ถึงมากกว่า 13000? ความแตกต่างของขอบเขตการโหลดระหว่าง Publish และ Moments: อันนี้มากกว่า 8000? เสาร์ 11:14 เพราะขอบเขตการโหลดต่างกัน การเก็บ Moments โหลดลายเซ็นภาพทั่วโลก: published_machine + wechat_moment + local_audit นั่นคือภาพจากทุกแหล่งถูกเปรียบเทียบ ความตั้งใจในการออกแบบขอบเขตการโหลด: ดังนั้นคุณเห็นมากกว่า 13000 สคริปต์เผยแพร่โหลดเฉพาะลายเซ็นภาพเครื่องที่เผยแพร่แล้ว: published_machine ดังนั้นมากกว่า 8000 ซึ่งตั้งใจไว้: ในขั้นตอนการเก็บ Moments ยิ่งพบซ้ำเร็วเท่าไรยิ่งดี ภาพตรวจสอบและตรรกะการตัดสินเผยแพร่: ภาพตรวจสอบก็ถูกเปรียบเทียบด้วย ในขั้นตอนเผยแพร่: ตรวจสอบว่าเครื่องนี้ได้รับการเผยแพร่แล้วหรือไม่ ความแตกต่างของจำนวนปกติและการบันทึกภาพซ้ำในสคริปต์ Moments: เพราะอาจเป็นเครื่องเดียวกันที่ยังไม่เผยแพร่ จำนวนที่คุณเห็นตอนนี้สามารถเข้าใจคร่าวๆ ได้ว่า: Moments dedup ทั่วโลก: ประมาณ 13000+ รายการ; publish dedup: ประมาณ 8000+ รายการจาก published_machine ความแตกต่างนี้ปกติ เสาร์ 11:14 wechat_moments_semi_auto.py บันทึกภาพซ้ำ การเปลี่ยนชื่อโฟลเดอร์และการจัดการภาพซ้ำ: ตั้งชื่อโฟลเดอร์โดยตรงเป็น machine_260712_0737_01 7:22 ใช้เวลา 3 นาที 4 วินาที แก้ไข wechat_moments_semi_auto.py ตอนนี้: หากพบภาพซ้ำในโฟลเดอร์เดียวกัน: ลบภาพปัจจุบัน การจัดการภาพซ้ำแตกต่างตามประเภทโฟลเดอร์: บันทึกภาพถัดไปต่อไป หากซ้ำกับโฟลเดอร์ประวัติ: ยังคงหยุด moment ปัจจุบัน วัตถุประสงค์ของการตั้งชื่อโฟลเดอร์และการจัดการที่มีอยู่: หลีกเลี่ยงข้อมูลซ้ำทั้งหมด การตั้งชื่อโฟลเดอร์เปลี่ยนเป็น: machine_260712_0737_01 ถ้าไดเรกทอรีมีอยู่แล้ว หลีกเลี่ยงการเขียนทับข้อมูลเก่าและการทดสอบรัน: หลีกเลี่ยงการเขียนทับข้อมูลเก่า ผ่านการตรวจสอบไวยากรณ์และการตรวจสอบชื่อไดเรกทอรี แก้ไข wechat_moments_semi_auto.py +26 -3 7:25 D:\Work\machine_china>python roc_scripts\wechat\wechat_moments_semi_auto.py --phone ตรวจพบ config ประวัติ คำถามใช้ config ซ้ำ: ค่าเริ่มต้น y): y เปิดใช้งานโหมดยืนยันทีละขั้นตอนสำหรับการรันนี้หรือไม่? (y/n คำถามโหมดยืนยัน (ต่อ): ค่าเริ่มต้นใช้ config ที่มีอยู่): n เปิดใช้งาน debug log สำหรับการรันนี้หรือไม่? (y/n คำถาม debug log และจุดเริ่มต้น error traceback: ค่าเริ่มต้นใช้ config ที่มีอยู่): n โหลดลายเซ็นภาพ 14450 รายการจาก snapshot ในเครื่องสำหรับการตรวจสอบซ้ำทั่วโลก Traceback (most recent call last): File "D:\Work\machine_china\roc_scripts\wechat\wechat_moments_semi_auto.py" line 758, in <module> main() File "D:\Work\machine_china\roc_scripts\wechat\wechat_moments_semi_auto.py" line 689, in main cache_stats = signature_cache.refresh() File "D:\Work\machine_china\roc_scripts\wechat\wechat_moments_semi_auto.py" line 269, in _sync_path_to_database signature) File "D:\Work\machine_china\roc_scripts\wechat\wechat_moments_semi_auto.py" line 242, in _sync_path_to_database upsert_image_signature( File "D:\Work\machine_china\roc_scripts\image_signature_store.py" line 90, in upsert_image_signature DbImageSignature.objects.update_or_create( File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\django\db\models\manager.py" line 87, in self.db) File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\django\db\models\query.py" line 946, in update_or_create with transaction.atomic(using=self.db): File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\django\db\transaction.py" line 216, in __enter__ connection.set_autocommit( File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\django\db\backends\base\base.py" line 497, in set_autocommit self._set_autocommit(autocommit) File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\django\db\backends\mysql\base.py" line 289, in _set_autocommit self.connection.autocommit(autocommit) File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\pymysql\connections.py" line 447, in autocommit self._send_autocommit_mode() File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\pymysql\connections.py" line 468, in _send_autocommit_mode self._read_ok_packet() File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\pymysql\connections.py" line 453, in _read_ok_packet pkt = self._read_packet() File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\pymysql\connections.py" line 744, in _read_packet packet_header = self._read_bytes(4) File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\pymysql\connections.py" line 782, in _read_bytes data = self._rfile.read(num_bytes) File "C:\Program Files\Python 310\lib\socket.py" line 705, in readinto return self._sock.recv_into(b) KeyboardInterrupt ^C D:\Work\machine_china>7 '7' is not an internal or external command \nor a runnable program or batch file. D:\Work\machine_china> D:\Work\machine_china> D:\Work\machine_china>python roc_scripts\wechat\wechat_moments_semi_auto.py --phone ตรวจพบ config ประวัติ คำถามใช้ config ที่มีอยู่): n โหลดลายเซ็นภาพ 14679 รายการจาก snapshot ในเครื่องและการอัปเดตแบบเพิ่มทีละ 229 รายการจากฐานข้อมูล WeChat Moments download เวลาโหลดช้าเกิน 1 นาที การปรับให้เหมาะสมเสร็จสมบูรณ์ สาเหตุของความช้าคือข้อผิดพลาดในการรวมแคช ไม่ใช่เพียงเพราะข้อมูล 14k รายการ ก่อนหน้านี้เมื่อเริ่มต้น: server snapshot เขียนทับแคชเครื่องสำหรับหมายเลขโทรศัพท์ปัจจุบัน คำนวณลายเซ็นภาพที่มีอยู่ใหม่ เขียนภาพทีละภาพไปยังฐานข้อมูลเซิร์ฟเวอร์ JSON ของแต่ละหมายเลขโทรศัพท์ยังบันทึกเซิร์ฟเวอร์ fingerprints ทั้งหมดซ้ำอีก ตอนนี้เปลี่ยนแล้ว: แคชหมายเลขโทรศัพท์บันทึกเฉพาะสถานะไฟล์ในเครื่องสำหรับหมายเลขนั้น Global server fingerprints เก็บ snapshot เพียงอันเดียว ภาพที่อยู่ในฐานข้อมูลแล้วใช้ fingerprints โดยตรงไม่ต้องอัปโหลดซ้ำ Fingerprints ที่ขาดจริงจะถูกเขียนเป็นชุดไปยังฐานข้อมูลครั้งเดียว แคชเก่าจะถูกล้างอัตโนมัติหลังจากการรันนี้ การอัปเดตแบบเพิ่มทีละ 229 รายการที่คุณเห็น คือภาพ 229 ภาพที่ถูกเขียนทีละภาพไปยังฐานข้อมูลก่อนการขัดจังหวะครั้งแรก ไม่ใช่ข้อมูลผิดปกติ ใช้คำสั่งเดิมต่อ: python roc_scripts\wechat\wechat_moments_semi_auto.py --phone ครั้งนี้ควรรู้จักภาพ 229 ภาพที่มีอยู่เป็น reused จะไม่อัปโหลดอีกครั้ง ผ่านการตรวจสอบไวยากรณ์และการทดสอบ 7 รายการ แก้ไข 2 ไฟล์ +132 -38: roc_scripts/image_signature_store.py +56 -0; roc_scripts/wechat/wechat_moments_semi_auto.py +76 -38 7:51 การเปลี่ยนแปลงข้อมูลสภาพแวดล้อม +573 -1 สถานะ Git และไฟล์ต้นฉบับ 767 local master commit or push GitHub CLI not authenticated Source wechat_moments_semi_auto.py publish_wechat_english_machines.py View all

ปัญหาโหลดช้า

D:\Work\machine_china>python roc_scripts\publish_wechat_english_machines.py โหลดลายเซ็นภาพที่เผยแพร่แล้ว 8931 รายการจากฐานข้อมูล โหลด exact hashes 5221 รายการและ perceptual hashes 8931 รายการสำหรับการตรวจสอบซ้ำ (dedup check) วันเสาร์ 11:12 ใช้เวลา 1 นาที 45 วินาที เพิ่มการโหลด snapshot/แบบเพิ่มทีละ (incremental) ในเครื่องคล้ายกับการเก็บ Moments ไปที่สคริปต์เผยแพร่ ตอนนี้ในการรันครั้งแรกจะดึงจากฐานข้อมูลและสร้าง: resources/data/publish_image_signature_db_snapshot.json ในการเริ่มต้นครั้งต่อๆ ไป: หากฐานข้อมูลไม่เปลี่ยนแปลง: โหลดลายเซ็นภาพที่เผยแพร่แล้ว 8931 รายการจาก snapshot ในเครื่อง หากฐานข้อมูลมีการเพิ่ม/อัปเดตเล็กน้อย: โหลดลายเซ็นภาพที่เผยแพร่แล้ว 8950 รายการจาก snapshot ในเครื่องและการอัปเดตแบบเพิ่มทีละ 19 รายการจากฐานข้อมูล ใช้เฉพาะเมื่อไม่มี snapshot การเขียนและตรวจสอบ snapshot: เขียนเฉพาะดัชนีลายเซ็นในหน่วยความจำปัจจุบันไปยัง snapshot ในเครื่อง การตรวจสอบผ่าน: py_compile, python -m unittest roc_scripts.tests.test_publish_wechat_english_machines แก้ไข publish_wechat_english_machines.py +83 -2 เสาร์ 11:14 ทำไม Moments ถึงมากกว่า 13000? ความแตกต่างของขอบเขตการโหลดระหว่าง Publish และ Moments: อันนี้มากกว่า 8000? เสาร์ 11:14 เพราะขอบเขตการโหลดต่างกัน การเก็บ Moments โหลดลายเซ็นภาพทั่วโลก: published_machine + wechat_moment + local_audit นั่นคือภาพจากทุกแหล่งถูกเปรียบเทียบ ความตั้งใจในการออกแบบขอบเขตการโหลด: ดังนั้นคุณเห็นมากกว่า 13000 สคริปต์เผยแพร่โหลดเฉพาะลายเซ็นภาพเครื่องที่เผยแพร่แล้ว: published_machine ดังนั้นมากกว่า 8000 ซึ่งตั้งใจไว้: ในขั้นตอนการเก็บ Moments ยิ่งพบซ้ำเร็วเท่าไรยิ่งดี ภาพตรวจสอบและตรรกะการตัดสินเผยแพร่: ภาพตรวจสอบก็ถูกเปรียบเทียบด้วย ในขั้นตอนเผยแพร่: ตรวจสอบว่าเครื่องนี้ได้รับการเผยแพร่แล้วหรือไม่ ความแตกต่างของจำนวนปกติและการบันทึกภาพซ้ำในสคริปต์ Moments: เพราะอาจเป็นเครื่องเดียวกันที่ยังไม่เผยแพร่ จำนวนที่คุณเห็นตอนนี้สามารถเข้าใจคร่าวๆ ได้ว่า: Moments dedup ทั่วโลก: ประมาณ 13000+ รายการ; publish dedup: ประมาณ 8000+ รายการจาก published_machine ความแตกต่างนี้ปกติ เสาร์ 11:14 wechat_moments_semi_auto.py บันทึกภาพซ้ำ การเปลี่ยนชื่อโฟลเดอร์และการจัดการภาพซ้ำ: ตั้งชื่อโฟลเดอร์โดยตรงเป็น machine_260712_0737_01 7:22 ใช้เวลา 3 นาที 4 วินาที แก้ไข wechat_moments_semi_auto.py ตอนนี้: หากพบภาพซ้ำในโฟลเดอร์เดียวกัน: ลบภาพปัจจุบัน การจัดการภาพซ้ำแตกต่างตามประเภทโฟลเดอร์: บันทึกภาพถัดไปต่อไป หากซ้ำกับโฟลเดอร์ประวัติ: ยังคงหยุด moment ปัจจุบัน วัตถุประสงค์ของการตั้งชื่อโฟลเดอร์และการจัดการที่มีอยู่: หลีกเลี่ยงข้อมูลซ้ำทั้งหมด การตั้งชื่อโฟลเดอร์เปลี่ยนเป็น: machine_260712_0737_01 ถ้าไดเรกทอรีมีอยู่แล้ว หลีกเลี่ยงการเขียนทับข้อมูลเก่าและการทดสอบรัน: หลีกเลี่ยงการเขียนทับข้อมูลเก่า ผ่านการตรวจสอบไวยากรณ์และการตรวจสอบชื่อไดเรกทอรี แก้ไข wechat_moments_semi_auto.py +26 -3 7:25 D:\Work\machine_china>python roc_scripts\wechat\wechat_moments_semi_auto.py --phone ตรวจพบ config ประวัติ คำถามใช้ config ซ้ำ: ค่าเริ่มต้น y): y เปิดใช้งานโหมดยืนยันทีละขั้นตอนสำหรับการรันนี้หรือไม่? (y/n คำถามโหมดยืนยัน (ต่อ): ค่าเริ่มต้นใช้ config ที่มีอยู่): n เปิดใช้งาน debug log สำหรับการรันนี้หรือไม่? (y/n คำถาม debug log และจุดเริ่มต้น error traceback: ค่าเริ่มต้นใช้ config ที่มีอยู่): n โหลดลายเซ็นภาพ 14450 รายการจาก snapshot ในเครื่องสำหรับการตรวจสอบซ้ำทั่วโลก Traceback (most recent call last): File "D:\Work\machine_china\roc_scripts\wechat\wechat_moments_semi_auto.py" line 758, in <module> main() File "D:\Work\machine_china\roc_scripts\wechat\wechat_moments_semi_auto.py" line 689, in main cache_stats = signature_cache.refresh() File "D:\Work\machine_china\roc_scripts\wechat\wechat_moments_semi_auto.py" line 269, in _sync_path_to_database signature) File "D:\Work\machine_china\roc_scripts\wechat\wechat_moments_semi_auto.py" line 242, in _sync_path_to_database upsert_image_signature( File "D:\Work\machine_china\roc_scripts\image_signature_store.py" line 90, in upsert_image_signature DbImageSignature.objects.update_or_create( File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\django\db\models\manager.py" line 87, in self.db) File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\django\db\models\query.py" line 946, in update_or_create with transaction.atomic(using=self.db): File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\django\db\transaction.py" line 216, in __enter__ connection.set_autocommit( File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\django\db\backends\base\base.py" line 497, in set_autocommit self._set_autocommit(autocommit) File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\django\db\backends\mysql\base.py" line 289, in _set_autocommit self.connection.autocommit(autocommit) File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\pymysql\connections.py" line 447, in autocommit self._send_autocommit_mode() File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\pymysql\connections.py" line 468, in _send_autocommit_mode self._read_ok_packet() File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\pymysql\connections.py" line 453, in _read_ok_packet pkt = self._read_packet() File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\pymysql\connections.py" line 744, in _read_packet packet_header = self._read_bytes(4) File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\pymysql\connections.py" line 782, in _read_bytes data = self._rfile.read(num_bytes) File "C:\Program Files\Python 310\lib\socket.py" line 705, in readinto return self._sock.recv_into(b) KeyboardInterrupt ^C D:\Work\machine_china>7 '7' is not an internal or external command \nor a runnable program or batch file. D:\Work\machine_china> D:\Work\machine_china> D:\Work\machine_china>python roc_scripts\wechat\wechat_moments_semi_auto.py --phone ตรวจพบ config ประวัติ คำถามใช้ config ที่มีอยู่): n โหลดลายเซ็นภาพ 14679 รายการจาก snapshot ในเครื่องและการอัปเดตแบบเพิ่มทีละ 229 รายการจากฐานข้อมูล WeChat Moments download เวลาโหลดช้าเกิน 1 นาที การปรับให้เหมาะสมเสร็จสมบูรณ์ สาเหตุของความช้าคือข้อผิดพลาดในการรวมแคช ไม่ใช่เพียงเพราะข้อมูล 14k รายการ ก่อนหน้านี้เมื่อเริ่มต้น: server snapshot เขียนทับแคชเครื่องสำหรับหมายเลขโทรศัพท์ปัจจุบัน คำนวณลายเซ็นภาพที่มีอยู่ใหม่ เขียนภาพทีละภาพไปยังฐานข้อมูลเซิร์ฟเวอร์ JSON ของแต่ละหมายเลขโทรศัพท์ยังบันทึกเซิร์ฟเวอร์ fingerprints ทั้งหมดซ้ำอีก ตอนนี้เปลี่ยนแล้ว: แคชหมายเลขโทรศัพท์บันทึกเฉพาะสถานะไฟล์ในเครื่องสำหรับหมายเลขนั้น Global server fingerprints เก็บ snapshot เพียงอันเดียว ภาพที่อยู่ในฐานข้อมูลแล้วใช้ fingerprints โดยตรงไม่ต้องอัปโหลดซ้ำ Fingerprints ที่ขาดจริงจะถูกเขียนเป็นชุดไปยังฐานข้อมูลครั้งเดียว แคชเก่าจะถูกล้างอัตโนมัติหลังจากการรันนี้ การอัปเดตแบบเพิ่มทีละ 229 รายการที่คุณเห็น คือภาพ 229 ภาพที่ถูกเขียนทีละภาพไปยังฐานข้อมูลก่อนการขัดจังหวะครั้งแรก ไม่ใช่ข้อมูลผิดปกติ ใช้คำสั่งเดิมต่อ: python roc_scripts\wechat\wechat_moments_semi_auto.py --phone ครั้งนี้ควรรู้จักภาพ 229 ภาพที่มีอยู่เป็น reused จะไม่อัปโหลดอีกครั้ง ผ่านการตรวจสอบไวยากรณ์และการทดสอบ 7 รายการ แก้ไข 2 ไฟล์ +132 -38: roc_scripts/image_signature_store.py +56 -0; roc_scripts/wechat/wechat_moments_semi_auto.py +76 -38 7:51 การเปลี่ยนแปลงข้อมูลสภาพแวดล้อม +573 -1 สถานะ Git และไฟล์ต้นฉบับ 767 local master commit or push GitHub CLI not authenticated Source wechat_moments_semi_auto.py publish_wechat_english_machines.py View all

เครื่องจักรที่เกี่ยวข้อง