Máy công cụ LOADED-8931 đã qua sử dụng

Script xuất bản cũng có cùng vấn đề tải chậm như chương trình tải xuống Moments: D:\Work\machine_china>python roc_scripts\publish_wechat_english_machines.py Đã tải 8931 chữ ký ảnh đã xuất bản từ cơ sở dữ liệu. Đã tải 5221 hash chính xác và 8931 hash tri giác để kiểm tra trùng lặp. Thứ Bảy 11:12 Đã xử lý 1 m 45 s Đã thêm snapshot cục bộ / tải gia tăng tương tự như thu thập Moments vào script xuất bản. Bây giờ trong lần chạy đầu tiên, nó vẫn kéo từ cơ sở dữ liệu và tạo:

Mã máy: OE260705
Năm sản xuất: Liên hệ để biết
Địa điểm: Trung Quốc
Giờ hoạt động: Liên hệ để biết

Gửi yêu cầu qua email

Thông số chính

Vấn đề tải chậm	D:\Work\machine_china>python roc_scripts\publish_wechat_english_machines.py Đã tải 8931 chữ ký ảnh đã xuất bản từ cơ sở dữ liệu. Đã tải 5221 hash chính xác và 8931 hash tri giác để kiểm tra trùng lặp. Thứ Bảy 11:12 Đã xử lý 1 m 45 s Đã thêm snapshot cục bộ / tải gia tăng tương tự như thu thập Moments vào script xuất bản. Bây giờ trong lần chạy đầu tiên, nó kéo từ cơ sở dữ liệu và tạo: resources/data/publish_image_signature_db_snapshot.json. Trong các lần khởi động sau: nếu cơ sở dữ liệu không thay đổi: Đã tải 8931 chữ ký ảnh đã xuất bản từ snapshot cục bộ. Nếu cơ sở dữ liệu có vài bản ghi mới / cập nhật: Đã tải 8950 chữ ký ảnh đã xuất bản từ snapshot cục bộ và 19 cập nhật gia tăng từ cơ sở dữ liệu. Chỉ khi snapshot bị thiếu.
Ghi và xác minh snapshot	Chỉ ghi chỉ mục chữ ký hiện tại trong bộ nhớ vào snapshot cục bộ. Xác minh đã qua: py_compile, python -m unittest roc_scripts.tests.test_publish_wechat_english_machines. Đã chỉnh sửa publish_wechat_english_machines.py +83 -2. Thứ Bảy 11:14 Tại sao Moments trên 13000?
Sự khác biệt phạm vi tải giữa Publish và Moments	Cái này trên 8000? Thứ Bảy 11:14 Vì phạm vi tải khác nhau. Bộ sưu tập Moments tải chữ ký ảnh toàn cục: published_machine + wechat_moment + local_audit, tức là ảnh từ tất cả các nguồn được so sánh.
Mục đích thiết kế phạm vi tải	Vì vậy bạn thấy trên 13000. Script xuất bản chỉ tải chữ ký ảnh máy đã xuất bản: published_machine, do đó trên 8000. Điều này có chủ ý: trong giai đoạn thu thập Moments: phát hiện trùng lặp càng sớm càng tốt.
Ảnh kiểm duyệt và logic đánh giá xuất bản	Ảnh kiểm duyệt cũng được so sánh. Trong giai đoạn xuất bản: xác định xem máy này đã được xuất bản chưa.
Chênh lệch số lượng bình thường và tiết kiệm ảnh trùng lặp trong script Moments	Vì nó có thể là cùng một máy chưa được xuất bản. Số lượng bạn thấy bây giờ có thể hiểu đại khái là: Moments khử trùng lặp toàn cục: khoảng 13000+ mục; xuất bản khử trùng lặp: khoảng 8000+ mục từ published_machine. Sự chênh lệch này là bình thường. Thứ Bảy 11:14 wechat_moments_semi_auto.py lưu ảnh khử trùng lặp.
Thay đổi tên thư mục và xử lý ảnh trùng lặp	Đặt tên thư mục trực tiếp như machine_260712_0737_01. 7:22 Đã xử lý 3 m 4 s. Đã sửa đổi wechat_moments_semi_auto.py. Bây giờ: nếu tìm thấy ảnh trùng lặp trong cùng một thư mục: xóa ảnh hiện tại.
Xử lý trùng lặp khác nhau theo loại thư mục	Tiếp tục lưu ảnh tiếp theo. Nếu trùng lặp với thư mục lịch sử: vẫn dừng moment hiện tại.
Mục đích đặt tên thư mục và xử lý tồn tại	Tránh toàn bộ dữ liệu trùng lặp. Tên thư mục đã thay đổi thành: machine_260712_0737_01. Nếu thư mục đã tồn tại.
Tránh ghi đè dữ liệu cũ và chạy thử	Tránh ghi đè dữ liệu cũ. Đã qua kiểm tra cú pháp và xác thực đặt tên thư mục. Đã chỉnh sửa wechat_moments_semi_auto.py +26 -3. 7:25 D:\Work\machine_china>python roc_scripts\wechat\wechat_moments_semi_auto.py --phone Đã phát hiện cấu hình lịch sử.
Lời nhắc sử dụng lại cấu hình	Mặc định y): y Bật chế độ xác nhận từng bước cho lần chạy này? (y/n
Lời nhắc chế độ xác nhận (tiếp theo)	Mặc định sử dụng cấu hình hiện có): n Bật nhật ký gỡ lỗi cho lần chạy này? (y/n
Lời nhắc nhật ký gỡ lỗi và bắt đầu traceback lỗi	Mặc định sử dụng cấu hình hiện có): n Đã tải 14450 chữ ký ảnh từ snapshot cục bộ để kiểm tra trùng lặp toàn cục. Traceback (cuộc gọi gần đây nhất): File "D:\Work\machine_china\roc_scripts\wechat\wechat_moments_semi_auto.py"
Dòng lỗi 758	dòng 758
Khung lỗi	main() Gọi: in <module> main() File "D:\Work\machine_china\roc_scripts\wechat\wechat_moments_semi_auto.py"
Dòng lỗi 689	dòng 689
Khung lỗi	signature_cache.refresh(): in main cache_stats = signature_cache.refresh() File "D:\Work\machine_china\roc_scripts\wechat\wechat_moments_semi_auto.py"
Dòng lỗi 269	dòng 269
Khung lỗi	_sync_path_to_database: signature) File "D:\Work\machine_china\roc_scripts\wechat\wechat_moments_semi_auto.py"
Dòng lỗi 242	dòng 242
Khung lỗi	upsert_image_signature Gọi: in _sync_path_to_database upsert_image_signature( File "D:\Work\machine_china\roc_scripts\image_signature_store.py"
Dòng lỗi 90	dòng 90
Khung lỗi	update_or_create Gọi: in upsert_image_signature DbImageSignature.objects.update_or_create( File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\django\db\models\manager.py"
Dòng lỗi 87	dòng 87
Khung lỗi	kwargs Tham số: x x kwargs) File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\django\db\models\query.py"
Dòng lỗi 946	dòng 946
Khung lỗi	transaction.atomic: in update_or_create with transaction.atomic(using=self.db): File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\django\db\transaction.py"
Dòng lỗi 216	dòng 216
Khung lỗi	set_autocommit: in enter connection.set_autocommit( File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\django\db\backends\base\base.py"
Dòng lỗi 497	dòng 497
Khung lỗi	_set_autocommit: in set_autocommit self._set_autocommit(autocommit) File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\django\db\backends\mysql\base.py"
Dòng lỗi 289	dòng 289
Khung lỗi	connection.autocommit: in _set_autocommit self.connection.autocommit(autocommit) File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\pymysql\connections.py"
Dòng lỗi 447	dòng 447
Khung lỗi	_send_autocommit_mode: in autocommit self._send_autocommit_mode() File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\pymysql\connections.py"
Dòng lỗi 468	dòng 468
Khung lỗi	_read_ok_packet: in _send_autocommit_mode self._read_ok_packet() File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\pymysql\connections.py"
Dòng lỗi 453	dòng 453
Khung lỗi	_read_packet: in _read_ok_packet pkt = self._read_packet() File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\pymysql\connections.py"
Dòng lỗi 744	dòng 744
Khung lỗi	_read_bytes: in _read_packet packet_header = self._read_bytes(4) File "C:\Users\Administrator\AppData\Roaming\Python\Python 310\site-packages\pymysql\connections.py"
Dòng lỗi 782	dòng 782
Khung lỗi	socket read: in _read_bytes data = self._rfile.read(num_bytes) File "C:\Program Files\Python 310\lib\socket.py"
Dòng lỗi 705	dòng 705
Keyboardinterrupt Và lỗi lệnh	in readinto return self._sock.recv_into(b) KeyboardInterrupt ^C D:\Work\machine_china>7 '7' không phải là lệnh nội bộ hay bên ngoài
Thông báo lỗi và lần chạy tiếp theo	cũng không phải chương trình chạy được hay tệp batch. D:\Work\machine_china> D:\Work\machine_china> D:\Work\machine_china>python roc_scripts\wechat\wechat_moments_semi_auto.py --phone Đã phát hiện cấu hình lịch sử.
Đầu ra chạy với cập nhật gia tăng	Mặc định sử dụng cấu hình hiện có): n Đã tải 14679 chữ ký ảnh từ snapshot cục bộ và 229 cập nhật gia tăng từ cơ sở dữ liệu. Tải WeChat Moments
Thời gian tải chậm	vượt quá 1 phút
Hoàn thành tối ưu hóa và nguyên nhân gốc rễ	Làm thế nào để nhanh hơn? Hiển thị thêm 7:47 Đã xử lý 3 m 23 s Tối ưu hóa hoàn tất. Nguyên nhân gốc rễ của sự chậm chạp thực sự là lỗi hợp nhất bộ nhớ cache
Chi tiết tối ưu hóa	Xử lý cache và dấu vân tay: không chỉ đơn giản vì 14 k mục dữ liệu. Trước đây khi khởi động: server snapshot ghi đè cache cục bộ cho số điện thoại hiện tại. Tính toán lại các dấu vân tay ảnh hiện có. Ghi từng ảnh riêng lẻ vào cơ sở dữ liệu server. Mỗi số điện thoại JSON cũng lưu nhiều lần tất cả các dấu vân tay server. Bây giờ thay đổi: cache số điện thoại chỉ lưu trạng thái tệp cục bộ cho số đó. Các dấu vân tay server toàn cục chỉ giữ một snapshot. Ảnh đã có trong cơ sở dữ liệu trực tiếp sử dụng lại dấu vân tay
Ghi hàng loạt và dọn dẹp tự động	không tải lên lại. Các dấu vân tay thực sự bị thiếu được ghi hàng loạt vào cơ sở dữ liệu một lần. Cache cũ sẽ tự động được dọn dẹp sau lần chạy này. 229 cập nhật gia tăng bạn thấy.
Ý nghĩa của cập nhật gia tăng	là 229 ảnh đã được ghi từng cái một vào cơ sở dữ liệu trước khi bị gián đoạn lần đầu.
Lệnh tiếp tục và hành vi dự kiến	Không phải bất thường dữ liệu. Tiếp tục sử dụng lệnh gốc: python roc_scripts\wechat\wechat_moments_semi_auto.py --phone Lần này, nó sẽ nhận ra 229 ảnh hiện có như đã được sử dụng lại.
Kiểm tra đã qua và tóm tắt chỉnh sửa tệp	Sẽ không tải lên từng cái một nữa. Kiểm tra cú pháp và 7 bài kiểm tra liên quan đã qua. Đã chỉnh sửa 2 tệp +132 -38: roc_scripts/image_signature_store.py +56 -0; roc_scripts/wechat/wechat_moments_semi_auto.py +76 -38. 7:51 Thay đổi thông tin môi trường +573 -1
Trạng thái Git và tệp nguồn	767 master cục bộ commit hoặc push GitHub CLI chưa xác thực Nguồn wechat_moments_semi_auto.py publish_wechat_english_machines.py Xem tất cả