src/libswift/channel.cpp

   1 /*
   2  *  channel.cpp
   3  *  class representing a virtual connection to a peer. In addition,
   4  *  it contains generic functions for socket management (see sock_open
   5  *  class variable)
   6  *
   7  *  Created by Victor Grishchenko on 3/6/09.
   8  *  Copyright 2009-2012 TECHNISCHE UNIVERSITEIT DELFT. All rights reserved.
   9  *
  10  */
  11
  12 #include <cassert>
  13 #include "compat.h"
  14 //#include <glog/logging.h>
  15 #include "swift.h"
  16 #include "../kernel/mptp.h"
  17
  18 using namespace std;
  19 using namespace swift;
  20
  21 /*
  22  * Class variables
  23  */
  24
  25 swift::tint now_t::now = Channel::Time();
  26 tint Channel::start = now_t::now;
  27 tint Channel::epoch = now_t::now/360000000LL*360000000LL; // make logs mergeable
  28 uint64_t Channel::global_dgrams_up=0, Channel::global_dgrams_down=0,
  29          Channel::global_raw_bytes_up=0, Channel::global_raw_bytes_down=0,
  30          Channel::global_bytes_up=0, Channel::global_bytes_down=0;
  31 sckrwecb_t Channel::sock_open[] = {};
  32 int Channel::sock_count = 0;
  33 swift::tint Channel::last_tick = 0;
  34 int Channel::MAX_REORDERING = 4;
  35 bool Channel::SELF_CONN_OK = false;
  36 swift::tint Channel::TIMEOUT = TINT_SEC*60;
  37 std::vector<Channel*> Channel::channels(1);
  38 Address Channel::tracker;
  39 //tbheap Channel::send_queue;
  40 FILE* Channel::debug_file = NULL;
  41 #include "ext/simple_selector.cpp"
  42 PeerSelector* Channel::peer_selector = new SimpleSelector();
  43 tint Channel::MIN_PEX_REQUEST_INTERVAL = TINT_SEC;
  44
  45
  46 /*
  47  * Instance methods
  48  */
  49
  50 Channel::Channel    (FileTransfer* transfer, int socket, Address peer_addr) :
  51         // Arno, 2011-10-03: Reordered to avoid g++ Wall warning
  52         peer_(peer_addr), socket_(socket==INVALID_SOCKET?default_socket():socket), // FIXME
  53     transfer_(transfer), peer_channel_id_(0), own_id_mentioned_(false),
  54     data_in_(TINT_NEVER,bin_t::NONE), data_in_dbl_(bin_t::NONE),
  55     data_out_cap_(bin_t::ALL),hint_out_size_(0),
  56     // Gertjan fix 996e21e8abfc7d88db3f3f8158f2a2c4fc8a8d3f
  57     // "Changed PEX rate limiting to per channel limiting"
  58     last_pex_request_time_(0), next_pex_request_time_(0),
  59     pex_request_outstanding_(false), useless_pex_count_(0),
  60     pex_requested_(false),  // Ric: init var that wasn't initialiazed
  61     //
  62     rtt_avg_(TINT_SEC), dev_avg_(0), dip_avg_(TINT_SEC),
  63     last_send_time_(0), last_recv_time_(0), last_data_out_time_(0), last_data_in_time_(0),
  64     last_loss_time_(0), next_send_time_(0), cwnd_(1), cwnd_count1_(0), send_interval_(TINT_SEC),
  65     send_control_(PING_PONG_CONTROL), sent_since_recv_(0),
  66     lastrecvwaskeepalive_(false), lastsendwaskeepalive_(false), // Arno: nap bug fix
  67     ack_rcvd_recent_(0),
  68     ack_not_rcvd_recent_(0), owd_min_bin_(0), owd_min_bin_start_(NOW),
  69     owd_cur_bin_(0), dgrams_sent_(0), dgrams_rcvd_(0),
  70     raw_bytes_up_(0), raw_bytes_down_(0), bytes_up_(0), bytes_down_(0),
  71     scheduled4close_(false)
  72 {
  73     if (peer_==Address())
  74         peer_ = tracker;
  75     this->id_ = channels.size();
  76     channels.push_back(this);
  77     transfer_->hs_in_.push_back(bin_t(id_));
  78     for(int i=0; i<4; i++) {
  79         owd_min_bins_[i] = TINT_NEVER;
  80         owd_current_[i] = TINT_NEVER;
  81     }
  82     evsend_ptr_ = new struct event;
  83     evtimer_assign(evsend_ptr_,evbase,&Channel::LibeventSendCallback,this);
  84     evtimer_add(evsend_ptr_,tint2tv(next_send_time_));
  85
  86     // RATELIMIT
  87         transfer->mychannels_.insert(this);
  88
  89         dprintf("%s #%u init channel %s\n",tintstr(),id_,peer_.str());
  90         //fprintf(stderr,"new Channel %d %s\n", id_, peer_.str() );
  91 }
  92
  93
  94 Channel::~Channel () {
  95         dprintf("%s #%u dealloc channel\n",tintstr(),id_);
  96     channels[id_] = NULL;
  97     ClearEvents();
  98
  99     // RATELIMIT
 100     if (transfer_ != NULL)
 101         transfer_->mychannels_.erase(this);
 102 }
 103
 104
 105 void Channel::ClearEvents()
 106 {
 107     if (evsend_ptr_ != NULL) {
 108         if (evtimer_pending(evsend_ptr_,NULL))
 109                 evtimer_del(evsend_ptr_);
 110         delete evsend_ptr_;
 111         evsend_ptr_ = NULL;
 112     }
 113 }
 114
 115
 116
 117
 118 bool Channel::IsComplete() {
 119         // Check if peak hash bins are filled.
 120         if (file().peak_count() == 0)
 121                 return false;
 122
 123     for(int i=0; i<file().peak_count(); i++) {
 124         bin_t peak = file().peak(i);
 125         if (!ack_in_.is_filled(peak))
 126             return false;
 127     }
 128         return true;
 129 }
 130
 131
 132
 133 uint16_t Channel::GetMyPort() {
 134         struct sockaddr_in mysin = {};
 135         socklen_t mysinlen = sizeof(mysin);
 136         if (getsockname(socket_, (struct sockaddr *)&mysin, &mysinlen) < 0)
 137         {
 138                 print_error("error on getsockname");
 139                 return 0;
 140         }
 141         else
 142                 return ntohs(mysin.sin_port);
 143 }
 144
 145 bool Channel::IsDiffSenderOrDuplicate(Address addr, uint32_t chid)
 146 {
 147     if (peer() != addr)
 148     {
 149         // Got message from different address than I send to
 150         //
 151                 if (!own_id_mentioned_ && addr.is_private()) {
 152                         // Arno, 2012-02-27: Got HANDSHAKE reply from IANA private address,
 153                         // check for duplicate connections:
 154                         //
 155                         // When two peers A and B are behind the same firewall, they will get
 156                         // extB, resp. extA addresses from the tracker. They will both
 157                         // connect to their counterpart but because the incoming packet
 158                         // will be from the intNAT address the duplicates are not
 159                         // recognized.
 160                         //
 161                         // Solution: when the second datagram comes in (HANDSHAKE reply),
 162                         // see if you have had a first datagram from the same addr
 163                         // (HANDSHAKE). If so, close the channel if his port number is
 164                         // larger than yours (such that one channel remains).
 165                         //
 166                         recv_peer_ = addr;
 167
 168                         Channel *c = transfer().FindChannel(addr,this);
 169                         if (c != NULL) {
 170                                 // I already initiated a connection to this peer,
 171                                 // this new incoming message would establish a duplicate.
 172                                 // One must break the connection, decide using port
 173                                 // number:
 174                                 dprintf("%s #%u found duplicate channel to %s\n",
 175                                                 tintstr(),chid,addr.str());
 176
 177                                 if (addr.port() > GetMyPort()) {
 178                                         //Schedule4Close();
 179                                         dprintf("%s #%u closing duplicate channel to %s\n",
 180                                                         tintstr(),chid,addr.str());
 181                                         return true;
 182                                 }
 183                         }
 184                 }
 185                 else
 186                 {
 187                         // Received HANDSHAKE reply from other address than I sent
 188                         // HANDSHAKE to, and the address is not an IANA private
 189                         // address (=no NAT in play), so close.
 190                         //Schedule4Close();
 191                         dprintf("%s #%u invalid peer address %s!=%s\n",
 192                                         tintstr(),chid,peer().str(),addr.str());
 193                         return true;
 194                 }
 195     }
 196         return false;
 197 }
 198
 199
 200
 201
 202
 203
 204
 205 /*
 206  * Class methods
 207  */
 208 tint Channel::Time () {
 209     //HiResTimeOfDay* tod = HiResTimeOfDay::Instance();
 210     //tint ret = tod->getTimeUSec();
 211     //DLOG(INFO)<<"now is "<<ret;
 212     return now_t::now = usec_time();
 213 }
 214
 215 // SOCKMGMT
 216 evutil_socket_t Channel::Bind (Address address, sckrwecb_t callbacks) {
 217     struct sockaddr_mptp *addr = address.addr;
 218     evutil_socket_t fd;
 219     int len = sizeof(struct sockaddr_mptp) + addr->count*sizeof(struct mptp_dest), sndbuf=1<<20, rcvbuf=1<<20;
 220     #define dbnd_ensure(x) { if (!(x)) { \
 221         print_error("binding fails"); close_socket(fd); return INVALID_SOCKET; } }
 222     dbnd_ensure ( (fd = socket(AF_INET, SOCK_DGRAM, IPPROTO_MPTP)) >= 0 );
 223     dbnd_ensure( make_socket_nonblocking(fd) );  // FIXME may remove this
 224     int enable = true;
 225     dbnd_ensure ( setsockopt(fd, SOL_SOCKET, SO_SNDBUF,
 226                              (setsockoptptr_t)&sndbuf, sizeof(int)) == 0 );
 227     dbnd_ensure ( setsockopt(fd, SOL_SOCKET, SO_RCVBUF,
 228                              (setsockoptptr_t)&rcvbuf, sizeof(int)) == 0 );
 229     //setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, (setsockoptptr_t)&enable, sizeof(int));
 230     dbnd_ensure ( ::bind(fd, (sockaddr*)addr, len) == 0 );
 231
 232     callbacks.sock = fd;
 233     sock_open[sock_count++] = callbacks;
 234     return fd;
 235 }
 236
 237 Address Channel::BoundAddress(evutil_socket_t sock) {
 238
 239     struct sockaddr_in myaddr;
 240     socklen_t mylen = sizeof(myaddr);
 241     int ret = getsockname(sock,(sockaddr*)&myaddr,&mylen);
 242     if (ret >= 0) {
 243                 return Address(myaddr);
 244     }
 245         else {
 246                 return Address();
 247         }
 248 }
 249
 250
 251 Address swift::BoundAddress(evutil_socket_t sock) {
 252         return Channel::BoundAddress(sock);
 253 }
 254
 255
 256 int Channel::SendTo (evutil_socket_t sock, const Address& addr, struct evbuffer *evb) {
 257
 258     int length = evbuffer_get_length(evb);
 259         int addr_len = sizeof(struct sockaddr_mptp) + addr.addr->count * sizeof(struct mptp_dest);
 260         struct iovec iov[1];
 261         struct msghdr msg;
 262         memset(&msg, 0, sizeof(msg));
 263         memset(&iov, 0, sizeof(iov));
 264         iov[0].iov_base = evbuffer_pullup(evb, length);
 265         iov[0].iov_len = length;
 266         msg.msg_iov = iov;
 267         msg.msg_iovlen = 1;
 268         msg.msg_name = addr.addr;
 269         msg.msg_namelen = addr_len;
 270         int r = sendmsg(sock, &msg, 0);
 271     if (r<0) {
 272         print_error("can't send");
 273         evbuffer_drain(evb, length); // Arno: behaviour is to pretend the packet got lost
 274     }
 275     else
 276         evbuffer_drain(evb,r);
 277     global_dgrams_up++;
 278     global_raw_bytes_up+=length;
 279     Time();
 280     return r;
 281 }
 282
 283 int Channel::RecvFrom (evutil_socket_t sock, Address& addr, struct evbuffer **evb) {
 284         int count = addr.addr->count;
 285     socklen_t addrlen = sizeof(struct sockaddr_mptp) + count * sizeof(mptp_dest);
 286     struct evbuffer_iovec vec[count];
 287         for (int i=0; i<count; ++i) {
 288                 if (evbuffer_reserve_space(evb[i], SWIFT_MAX_RECV_DGRAM_SIZE, &vec[i], 1) < 0) {
 289                         print_error("error on evbuffer_reserve_space");
 290                         return 0;
 291                 }
 292         }
 293         struct iovec iov[count];
 294         struct msghdr msg;
 295         memset(&msg, 0, sizeof(msg));
 296         memset(&iov, 0, sizeof(iov));
 297         for (int i=0; i<count; ++i) {
 298                 iov[i].iov_base = vec[i].iov_base;
 299                 iov[i].iov_len = SWIFT_MAX_RECV_DGRAM_SIZE;
 300         }
 301         msg.msg_iov = iov;
 302         msg.msg_iovlen = count;
 303         msg.msg_name = addr.addr;
 304         msg.msg_namelen = addrlen;
 305         int length = recvmsg(sock, &msg, 0);
 306     if (length<0) {
 307         length = 0;
 308
 309         // Linux and Windows report "ICMP port unreachable" if the dest port could
 310         // not be reached:
 311         //    http://support.microsoft.com/kb/260018
 312         //    http://www.faqs.org/faqs/unix-faq/socket/
 313 #ifdef _WIN32
 314         if (WSAGetLastError() == 10054) // Sometimes errno == 2 ?!
 315 #else
 316                 if (errno == ECONNREFUSED)
 317 #endif
 318                 {
 319                 CloseChannelByAddress(addr);
 320                 }
 321         else
 322                 print_error("error on recv");
 323     }
 324         length = 0;
 325         printf("Received from %d addresses in one system call.\n", addr.addr->count);
 326         for (int i=0; i<addr.addr->count; ++i) {
 327                 struct in_addr aux;
 328                 aux.s_addr = addr.addr->dests[i].addr;
 329                 printf("Received from %s, %d bytes\n", inet_ntoa(aux), addr.addr->dests[i].bytes);
 330                 length += addr.addr->dests[i].bytes;
 331                 vec[i].iov_len = addr.addr->dests[i].bytes;
 332                 if (evbuffer_commit_space(evb[i], &vec[i], 1) < 0)  {
 333                         length = 0;
 334                         print_error("error on evbuffer_commit_space");
 335                 }
 336         }
 337     global_dgrams_down+=addr.addr->count;
 338     global_raw_bytes_down+=length;
 339     Time();
 340     return length;
 341 }
 342
 343
 344 void Channel::CloseSocket(evutil_socket_t sock) {
 345     for(int i=0; i<sock_count; i++)
 346         if (sock_open[i].sock==sock)
 347             sock_open[i] = sock_open[--sock_count];
 348     if (!close_socket(sock))
 349         print_error("on closing a socket");
 350 }
 351
 352 void Channel::Shutdown () {
 353     while (sock_count--)
 354         CloseSocket(sock_open[sock_count].sock);
 355 }
 356
 357 void     swift::SetTracker(const Address& tracker) {
 358     Channel::tracker = tracker;
 359 }
 360
 361 int Channel::DecodeID(int scrambled) {
 362     return scrambled ^ (int)start;
 363 }
 364 int Channel::EncodeID(int unscrambled) {
 365     return unscrambled ^ (int)start;
 366 }
 367
 368 /*
 369  * class Address implementation
 370  */
 371
 372 void Address::set_ipv4 (const char* ip_str) {
 373     struct hostent *h = gethostbyname(ip_str);
 374     if (h == NULL) {
 375         print_error("cannot lookup address");
 376         return;
 377     } else {
 378         addr->dests[0].addr = *(u_long *) h->h_addr_list[0];
 379     }
 380 }
 381
 382
 383 Address::Address(const char* ip_port) {
 384     clear();
 385     if (strlen(ip_port)>=1024)
 386         return;
 387     char ipp[1024];
 388     strncpy(ipp,ip_port,1024);
 389     char* semi = strchr(ipp,':');
 390     if (semi) {
 391         *semi = 0;
 392         set_ipv4(ipp);
 393         set_port(semi+1);
 394     } else {
 395         if (strchr(ipp, '.')) {
 396             set_ipv4(ipp);
 397             set_port((uint16_t)0);
 398         } else {
 399             set_ipv4((uint32_t)INADDR_ANY);
 400             set_port(ipp);
 401         }
 402     }
 403 }
 404
 405
 406 uint32_t Address::LOCALHOST = INADDR_LOOPBACK;
 407
 408
 409 /*
 410  * Utility methods 1
 411  */
 412
 413
 414 const char* swift::tintstr (tint time) {
 415     if (time==0)
 416         time = now_t::now;
 417     static char ret_str[4][32]; // wow
 418     static int i;
 419     i = (i+1) & 3;
 420     if (time==TINT_NEVER)
 421         return "NEVER";
 422     time -= Channel::epoch;
 423     assert(time>=0);
 424     int hours = time/TINT_HOUR;
 425     time %= TINT_HOUR;
 426     int mins = time/TINT_MIN;
 427     time %= TINT_MIN;
 428     int secs = time/TINT_SEC;
 429     time %= TINT_SEC;
 430     int msecs = time/TINT_MSEC;
 431     time %= TINT_MSEC;
 432     int usecs = time/TINT_uSEC;
 433     sprintf(ret_str[i],"%i_%02i_%02i_%03i_%03i",hours,mins,secs,msecs,usecs);
 434     return ret_str[i];
 435 }
 436
 437
 438 std::string swift::sock2str (struct sockaddr_in addr) {
 439     char ipch[32];
 440 #ifdef _WIN32
 441     //Vista only: InetNtop(AF_INET,&(addr.sin_addr),ipch,32);
 442     // IPv4 only:
 443     struct in_addr inaddr;
 444     memcpy(&inaddr, &(addr.sin_addr), sizeof(inaddr));
 445     strncpy(ipch, inet_ntoa(inaddr),32);
 446 #else
 447     inet_ntop(AF_INET,&(addr.sin_addr),ipch,32);
 448 #endif
 449     sprintf(ipch+strlen(ipch),":%i",ntohs(addr.sin_port));
 450     return std::string(ipch);
 451 }
 452
 453
 454 /*
 455  * Swift top-level API implementation
 456  */
 457
 458 int     swift::Listen (Address addr) {
 459     sckrwecb_t cb;
 460     cb.may_read = &Channel::LibeventReceiveCallback;
 461     cb.sock = Channel::Bind(addr,cb);
 462     // swift UDP receive
 463     event_assign(&Channel::evrecv, Channel::evbase, cb.sock, EV_READ,
 464                  cb.may_read, NULL);
 465     event_add(&Channel::evrecv, NULL);
 466     return cb.sock;
 467 }
 468
 469 void    swift::Shutdown (int sock_des) {
 470     Channel::Shutdown();
 471 }
 472
 473 int      swift::Open (const char* filename, const Sha1Hash& hash, Address tracker, bool force_check_diskvshash, bool check_netwvshash, uint32_t chunk_size) {
 474     FileTransfer* ft = new FileTransfer(filename, hash, force_check_diskvshash, check_netwvshash, chunk_size);
 475     if (ft && ft->file().file_descriptor()) {
 476
 477         /*if (FileTransfer::files.size()<fdes)  // FIXME duplication
 478             FileTransfer::files.resize(fdes);
 479         FileTransfer::files[fdes] = ft;*/
 480
 481         // initiate tracker connections
 482         // SWIFTPROC
 483         ft->SetTracker(tracker);
 484         ft->ConnectToTracker();
 485
 486         return ft->file().file_descriptor();
 487     } else {
 488         if (ft)
 489             delete ft;
 490         return -1;
 491     }
 492 }
 493
 494
 495 void    swift::Close (int fd) {
 496     if (fd<FileTransfer::files.size() && FileTransfer::files[fd])
 497         delete FileTransfer::files[fd];
 498 }
 499
 500
 501 void    swift::AddPeer (Address address, const Sha1Hash& root) {
 502     Channel::peer_selector->AddPeer(address,root);
 503 }
 504
 505
 506 uint64_t  swift::Size (int fdes) {
 507     if (FileTransfer::files.size()>fdes && FileTransfer::files[fdes])
 508         return FileTransfer::files[fdes]->file().size();
 509     else
 510         return 0;
 511 }
 512
 513
 514 bool  swift::IsComplete (int fdes) {
 515     if (FileTransfer::files.size()>fdes && FileTransfer::files[fdes])
 516         return FileTransfer::files[fdes]->file().is_complete();
 517     else
 518         return 0;
 519 }
 520
 521
 522 uint64_t  swift::Complete (int fdes) {
 523     if (FileTransfer::files.size()>fdes && FileTransfer::files[fdes])
 524         return FileTransfer::files[fdes]->file().complete();
 525     else
 526         return 0;
 527 }
 528
 529
 530 uint64_t  swift::SeqComplete (int fdes) {
 531     if (FileTransfer::files.size()>fdes && FileTransfer::files[fdes])
 532         return FileTransfer::files[fdes]->file().seq_complete();
 533     else
 534         return 0;
 535 }
 536
 537
 538 const Sha1Hash& swift::RootMerkleHash (int file) {
 539     FileTransfer* trans = FileTransfer::file(file);
 540     if (!trans)
 541         return Sha1Hash::ZERO;
 542     return trans->file().root_hash();
 543 }
 544
 545
 546 /** Returns the number of bytes in a chunk for this transmission */
 547 uint32_t          swift::ChunkSize(int fdes)
 548 {
 549     if (FileTransfer::files.size()>fdes && FileTransfer::files[fdes])
 550         return FileTransfer::files[fdes]->file().chunk_size();
 551     else
 552         return 0;
 553 }
 554
 555
 556 // CHECKPOINT
 557 void swift::Checkpoint(int transfer) {
 558         // Save transfer's binmap for zero-hashcheck restart
 559         FileTransfer *ft = FileTransfer::file(transfer);
 560         if (ft == NULL)
 561                 return;
 562
 563         std::string binmap_filename = ft->file().filename();
 564         binmap_filename.append(".mbinmap");
 565         //fprintf(stderr,"swift: checkpointing %s at %lli\n", binmap_filename.c_str(), Complete(transfer));
 566         FILE *fp = fopen(binmap_filename.c_str(),"wb");
 567         if (!fp) {
 568                 print_error("cannot open mbinmap for writing");
 569                 return;
 570         }
 571         if (ft->file().serialize(fp) < 0)
 572                 print_error("writing to mbinmap");
 573         fclose(fp);
 574 }
 575
 576
 577
 578 /*
 579  * Utility methods 2
 580  */
 581
 582 int swift::evbuffer_add_string(struct evbuffer *evb, std::string str) {
 583     return evbuffer_add(evb, str.c_str(), str.size());
 584 }
 585
 586 int swift::evbuffer_add_8(struct evbuffer *evb, uint8_t b) {
 587     return evbuffer_add(evb, &b, 1);
 588 }
 589
 590 int swift::evbuffer_add_16be(struct evbuffer *evb, uint16_t w) {
 591     uint16_t wbe = htons(w);
 592     return evbuffer_add(evb, &wbe, 2);
 593 }
 594
 595 int swift::evbuffer_add_32be(struct evbuffer *evb, uint32_t i) {
 596     uint32_t ibe = htonl(i);
 597     return evbuffer_add(evb, &ibe, 4);
 598 }
 599
 600 int swift::evbuffer_add_64be(struct evbuffer *evb, uint64_t l) {
 601     uint32_t lbe[2];
 602     lbe[0] = htonl((uint32_t)(l>>32));
 603     lbe[1] = htonl((uint32_t)(l&0xffffffff));
 604     return evbuffer_add(evb, lbe, 8);
 605 }
 606
 607 int swift::evbuffer_add_hash(struct evbuffer *evb, const Sha1Hash& hash)  {
 608     return evbuffer_add(evb, hash.bits, Sha1Hash::SIZE);
 609 }
 610
 611 uint8_t swift::evbuffer_remove_8(struct evbuffer *evb) {
 612     uint8_t b;
 613     if (evbuffer_remove(evb, &b, 1) < 1)
 614         return 0;
 615     return b;
 616 }
 617
 618 uint16_t swift::evbuffer_remove_16be(struct evbuffer *evb) {
 619     uint16_t wbe;
 620     if (evbuffer_remove(evb, &wbe, 2) < 2)
 621         return 0;
 622     return ntohs(wbe);
 623 }
 624
 625 uint32_t swift::evbuffer_remove_32be(struct evbuffer *evb) {
 626     uint32_t ibe;
 627     if (evbuffer_remove(evb, &ibe, 4) < 4)
 628         return 0;
 629     return ntohl(ibe);
 630 }
 631
 632 uint64_t swift::evbuffer_remove_64be(struct evbuffer *evb) {
 633     uint32_t lbe[2];
 634     if (evbuffer_remove(evb, lbe, 8) < 8)
 635         return 0;
 636     uint64_t l = ntohl(lbe[0]);
 637     l<<=32;
 638     l |= ntohl(lbe[1]);
 639     return l;
 640 }
 641
 642 Sha1Hash swift::evbuffer_remove_hash(struct evbuffer* evb)  {
 643     char bits[Sha1Hash::SIZE];
 644     if (evbuffer_remove(evb, bits, Sha1Hash::SIZE) < Sha1Hash::SIZE)
 645         return Sha1Hash::ZERO;
 646     return Sha1Hash(false, bits);
 647 }
 648