Re: [PATCH v2 3/3] ARM: add support for bit sliced AES using NEON instructions

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

 



On Thu, 3 Oct 2013, Ard Biesheuvel wrote:

> Bit sliced AES gives around 45% speedup on Cortex-A15 for encryption
> and around 25% for decryption. This implementation of the AES algorithm
> does not rely on any lookup tables so it is believed to be invulnerable
> to cache timing attacks.
> 
> This algorithm processes up to 8 blocks in parallel in constant time. This
> means that it is not usable by chaining modes that are strictly sequential
> in nature, such as CBC encryption. CBC decryption, however, can benefit from
> this implementation and runs about 25% faster. The other chaining modes
> implemented in this module, XTS and CTR, can execute fully in parallel in
> both directions.
> 
> The core code has been adopted from the OpenSSL project (in collaboration
> with the original author, on cc). For ease of maintenance, this version is
> identical to the upstream OpenSSL code, i.e., all modifications that were
> required to make it suitable for inclusion into the kernel have been made
> upstream. The original [called bsaes-armv7.pl] can be found here:
> 
>     http://git.openssl.org/gitweb/?p=openssl.git;a=commit;h=6f6a6130
> 
> Note to integrators:
> While this implementation is significantly faster than the existing table
> based ones (generic or ARM asm), especially in CTR mode, the effects on
> power efficiency are unclear as of yet. This code does fundamentally more
> work, by calculating values that the table based code obtains by a simple
> lookup; only by doing all of that work in a SIMD fashion, it manages to
> perform better.
> 
> Cc: Andy Polyakov <appro@xxxxxxxxxxx>
> Signed-off-by: Ard Biesheuvel <ard.biesheuvel@xxxxxxxxxx>

Acked-by: Nicolas Pitre <nico@xxxxxxxxxx>

> ---
>  arch/arm/crypto/Makefile     |    6 +-
>  arch/arm/crypto/aesbs-core.S | 2544 ++++++++++++++++++++++++++++++++++++++++++
>  arch/arm/crypto/aesbs-glue.c |  435 ++++++++
>  crypto/Kconfig               |   16 +
>  4 files changed, 2999 insertions(+), 2 deletions(-)
>  create mode 100644 arch/arm/crypto/aesbs-core.S
>  create mode 100644 arch/arm/crypto/aesbs-glue.c
> 
> diff --git a/arch/arm/crypto/Makefile b/arch/arm/crypto/Makefile
> index a2c8385..bda5848 100644
> --- a/arch/arm/crypto/Makefile
> +++ b/arch/arm/crypto/Makefile
> @@ -3,7 +3,9 @@
>  #
>  
>  obj-$(CONFIG_CRYPTO_AES_ARM) += aes-arm.o
> +obj-$(CONFIG_CRYPTO_AES_ARM_BS) += aes-arm-bs.o
>  obj-$(CONFIG_CRYPTO_SHA1_ARM) += sha1-arm.o
>  
> -aes-arm-y  := aes-armv4.o aes_glue.o
> -sha1-arm-y := sha1-armv4-large.o sha1_glue.o
> +aes-arm-y	:= aes-armv4.o aes_glue.o
> +aes-arm-bs-y	:= aesbs-core.o aesbs-glue.o
> +sha1-arm-y	:= sha1-armv4-large.o sha1_glue.o
> diff --git a/arch/arm/crypto/aesbs-core.S b/arch/arm/crypto/aesbs-core.S
> new file mode 100644
> index 0000000..64205d4
> --- /dev/null
> +++ b/arch/arm/crypto/aesbs-core.S
> @@ -0,0 +1,2544 @@
> +
> +@ ====================================================================
> +@ Written by Andy Polyakov <appro@xxxxxxxxxxx> for the OpenSSL
> +@ project. The module is, however, dual licensed under OpenSSL and
> +@ CRYPTOGAMS licenses depending on where you obtain it. For further
> +@ details see http://www.openssl.org/~appro/cryptogams/.
> +@
> +@ Specific modes and adaptation for Linux kernel by Ard Biesheuvel
> +@ <ard.biesheuvel@xxxxxxxxxx>. Permission to use under GPL terms is
> +@ granted.
> +@ ====================================================================
> +
> +@ Bit-sliced AES for ARM NEON
> +@
> +@ February 2012.
> +@
> +@ This implementation is direct adaptation of bsaes-x86_64 module for
> +@ ARM NEON. Except that this module is endian-neutral [in sense that
> +@ it can be compiled for either endianness] by courtesy of vld1.8's
> +@ neutrality. Initial version doesn't implement interface to OpenSSL,
> +@ only low-level primitives and unsupported entry points, just enough
> +@ to collect performance results, which for Cortex-A8 core are:
> +@
> +@ encrypt	19.5 cycles per byte processed with 128-bit key
> +@ decrypt	22.1 cycles per byte processed with 128-bit key
> +@ key conv.	440  cycles per 128-bit key/0.18 of 8x block
> +@
> +@ Snapdragon S4 encrypts byte in 17.6 cycles and decrypts in 19.7,
> +@ which is [much] worse than anticipated (for further details see
> +@ http://www.openssl.org/~appro/Snapdragon-S4.html).
> +@
> +@ Cortex-A15 manages in 14.2/16.1 cycles [when integer-only code
> +@ manages in 20.0 cycles].
> +@
> +@ When comparing to x86_64 results keep in mind that NEON unit is
> +@ [mostly] single-issue and thus can't [fully] benefit from
> +@ instruction-level parallelism. And when comparing to aes-armv4
> +@ results keep in mind key schedule conversion overhead (see
> +@ bsaes-x86_64.pl for further details)...
> +@
> +@						<appro@xxxxxxxxxxx>
> +
> +@ April-August 2013
> +@
> +@ Add CBC, CTR and XTS subroutines, adapt for kernel use.
> +@
> +@					<ard.biesheuvel@xxxxxxxxxx>
> +
> +#ifndef __KERNEL__
> +# include "arm_arch.h"
> +
> +# define VFP_ABI_PUSH	vstmdb	sp!,{d8-d15}
> +# define VFP_ABI_POP	vldmia	sp!,{d8-d15}
> +# define VFP_ABI_FRAME	0x40
> +#else
> +# define VFP_ABI_PUSH
> +# define VFP_ABI_POP
> +# define VFP_ABI_FRAME	0
> +# define BSAES_ASM_EXTENDED_KEY
> +# define XTS_CHAIN_TWEAK
> +# define __ARM_ARCH__ __LINUX_ARM_ARCH__
> +#endif
> +
> +#ifdef __thumb__
> +# define adrl adr
> +#endif
> +
> +#if __ARM_ARCH__>=7
> +.text
> +.syntax	unified 	@ ARMv7-capable assembler is expected to handle this
> +#ifdef __thumb2__
> +.thumb
> +#else
> +.code   32
> +#endif
> +
> +.fpu	neon
> +
> +.type	_bsaes_decrypt8,%function
> +.align	4
> +_bsaes_decrypt8:
> +	adr	r6,_bsaes_decrypt8
> +	vldmia	r4!, {q9}		@ round 0 key
> +	add	r6,r6,#.LM0ISR-_bsaes_decrypt8
> +
> +	vldmia	r6!, {q8}		@ .LM0ISR
> +	veor	q10, q0, q9	@ xor with round0 key
> +	veor	q11, q1, q9
> +	 vtbl.8	d0, {q10}, d16
> +	 vtbl.8	d1, {q10}, d17
> +	veor	q12, q2, q9
> +	 vtbl.8	d2, {q11}, d16
> +	 vtbl.8	d3, {q11}, d17
> +	veor	q13, q3, q9
> +	 vtbl.8	d4, {q12}, d16
> +	 vtbl.8	d5, {q12}, d17
> +	veor	q14, q4, q9
> +	 vtbl.8	d6, {q13}, d16
> +	 vtbl.8	d7, {q13}, d17
> +	veor	q15, q5, q9
> +	 vtbl.8	d8, {q14}, d16
> +	 vtbl.8	d9, {q14}, d17
> +	veor	q10, q6, q9
> +	 vtbl.8	d10, {q15}, d16
> +	 vtbl.8	d11, {q15}, d17
> +	veor	q11, q7, q9
> +	 vtbl.8	d12, {q10}, d16
> +	 vtbl.8	d13, {q10}, d17
> +	 vtbl.8	d14, {q11}, d16
> +	 vtbl.8	d15, {q11}, d17
> +	vmov.i8	q8,#0x55			@ compose .LBS0
> +	vmov.i8	q9,#0x33			@ compose .LBS1
> +	vshr.u64	q10, q6, #1
> +	 vshr.u64	q11, q4, #1
> +	veor		q10, q10, q7
> +	 veor		q11, q11, q5
> +	vand		q10, q10, q8
> +	 vand		q11, q11, q8
> +	veor		q7, q7, q10
> +	vshl.u64	q10, q10, #1
> +	 veor		q5, q5, q11
> +	 vshl.u64	q11, q11, #1
> +	veor		q6, q6, q10
> +	 veor		q4, q4, q11
> +	vshr.u64	q10, q2, #1
> +	 vshr.u64	q11, q0, #1
> +	veor		q10, q10, q3
> +	 veor		q11, q11, q1
> +	vand		q10, q10, q8
> +	 vand		q11, q11, q8
> +	veor		q3, q3, q10
> +	vshl.u64	q10, q10, #1
> +	 veor		q1, q1, q11
> +	 vshl.u64	q11, q11, #1
> +	veor		q2, q2, q10
> +	 veor		q0, q0, q11
> +	vmov.i8	q8,#0x0f			@ compose .LBS2
> +	vshr.u64	q10, q5, #2
> +	 vshr.u64	q11, q4, #2
> +	veor		q10, q10, q7
> +	 veor		q11, q11, q6
> +	vand		q10, q10, q9
> +	 vand		q11, q11, q9
> +	veor		q7, q7, q10
> +	vshl.u64	q10, q10, #2
> +	 veor		q6, q6, q11
> +	 vshl.u64	q11, q11, #2
> +	veor		q5, q5, q10
> +	 veor		q4, q4, q11
> +	vshr.u64	q10, q1, #2
> +	 vshr.u64	q11, q0, #2
> +	veor		q10, q10, q3
> +	 veor		q11, q11, q2
> +	vand		q10, q10, q9
> +	 vand		q11, q11, q9
> +	veor		q3, q3, q10
> +	vshl.u64	q10, q10, #2
> +	 veor		q2, q2, q11
> +	 vshl.u64	q11, q11, #2
> +	veor		q1, q1, q10
> +	 veor		q0, q0, q11
> +	vshr.u64	q10, q3, #4
> +	 vshr.u64	q11, q2, #4
> +	veor		q10, q10, q7
> +	 veor		q11, q11, q6
> +	vand		q10, q10, q8
> +	 vand		q11, q11, q8
> +	veor		q7, q7, q10
> +	vshl.u64	q10, q10, #4
> +	 veor		q6, q6, q11
> +	 vshl.u64	q11, q11, #4
> +	veor		q3, q3, q10
> +	 veor		q2, q2, q11
> +	vshr.u64	q10, q1, #4
> +	 vshr.u64	q11, q0, #4
> +	veor		q10, q10, q5
> +	 veor		q11, q11, q4
> +	vand		q10, q10, q8
> +	 vand		q11, q11, q8
> +	veor		q5, q5, q10
> +	vshl.u64	q10, q10, #4
> +	 veor		q4, q4, q11
> +	 vshl.u64	q11, q11, #4
> +	veor		q1, q1, q10
> +	 veor		q0, q0, q11
> +	sub	r5,r5,#1
> +	b	.Ldec_sbox
> +.align	4
> +.Ldec_loop:
> +	vldmia	r4!, {q8-q11}
> +	veor	q8, q8, q0
> +	veor	q9, q9, q1
> +	vtbl.8	d0, {q8}, d24
> +	vtbl.8	d1, {q8}, d25
> +	vldmia	r4!, {q8}
> +	veor	q10, q10, q2
> +	vtbl.8	d2, {q9}, d24
> +	vtbl.8	d3, {q9}, d25
> +	vldmia	r4!, {q9}
> +	veor	q11, q11, q3
> +	vtbl.8	d4, {q10}, d24
> +	vtbl.8	d5, {q10}, d25
> +	vldmia	r4!, {q10}
> +	vtbl.8	d6, {q11}, d24
> +	vtbl.8	d7, {q11}, d25
> +	vldmia	r4!, {q11}
> +	veor	q8, q8, q4
> +	veor	q9, q9, q5
> +	vtbl.8	d8, {q8}, d24
> +	vtbl.8	d9, {q8}, d25
> +	veor	q10, q10, q6
> +	vtbl.8	d10, {q9}, d24
> +	vtbl.8	d11, {q9}, d25
> +	veor	q11, q11, q7
> +	vtbl.8	d12, {q10}, d24
> +	vtbl.8	d13, {q10}, d25
> +	vtbl.8	d14, {q11}, d24
> +	vtbl.8	d15, {q11}, d25
> +.Ldec_sbox:
> +	 veor	q1, q1, q4
> +	veor	q3, q3, q4
> +
> +	veor	q4, q4, q7
> +	 veor	q1, q1, q6
> +	veor	q2, q2, q7
> +	veor	q6, q6, q4
> +
> +	veor	q0, q0, q1
> +	veor	q2, q2, q5
> +	 veor	q7, q7, q6
> +	veor	q3, q3, q0
> +	veor	q5, q5, q0
> +	veor	q1, q1, q3
> +	veor	q11, q3, q0
> +	veor	q10, q7, q4
> +	veor	q9, q1, q6
> +	veor	q13, q4, q0
> +	 vmov	q8, q10
> +	veor	q12, q5, q2
> +
> +	vorr	q10, q10, q9
> +	veor	q15, q11, q8
> +	vand	q14, q11, q12
> +	vorr	q11, q11, q12
> +	veor	q12, q12, q9
> +	vand	q8, q8, q9
> +	veor	q9, q6, q2
> +	vand	q15, q15, q12
> +	vand	q13, q13, q9
> +	veor	q9, q3, q7
> +	veor	q12, q1, q5
> +	veor	q11, q11, q13
> +	veor	q10, q10, q13
> +	vand	q13, q9, q12
> +	vorr	q9, q9, q12
> +	veor	q11, q11, q15
> +	veor	q8, q8, q13
> +	veor	q10, q10, q14
> +	veor	q9, q9, q15
> +	veor	q8, q8, q14
> +	vand	q12, q4, q6
> +	veor	q9, q9, q14
> +	vand	q13, q0, q2
> +	vand	q14, q7, q1
> +	vorr	q15, q3, q5
> +	veor	q11, q11, q12
> +	veor	q9, q9, q14
> +	veor	q8, q8, q15
> +	veor	q10, q10, q13
> +
> +	@ Inv_GF16 	0, 	1, 	2, 	3, s0, s1, s2, s3
> +
> +	@ new smaller inversion
> +
> +	vand	q14, q11, q9
> +	vmov	q12, q8
> +
> +	veor	q13, q10, q14
> +	veor	q15, q8, q14
> +	veor	q14, q8, q14	@ q14=q15
> +
> +	vbsl	q13, q9, q8
> +	vbsl	q15, q11, q10
> +	veor	q11, q11, q10
> +
> +	vbsl	q12, q13, q14
> +	vbsl	q8, q14, q13
> +
> +	vand	q14, q12, q15
> +	veor	q9, q9, q8
> +
> +	veor	q14, q14, q11
> +	veor	q12, q5, q2
> +	veor	q8, q1, q6
> +	veor 	q10, q15, q14
> +	vand	q10, q10, q5
> +	veor	q5, q5, q1
> +	vand	q11, q1, q15
> +	vand	q5, q5, q14
> +	veor	q1, q11, q10
> +	veor	q5, q5, q11
> +	veor	q15, q15, q13
> +	veor	q14, q14, q9
> +	veor	q11, q15, q14
> +	 veor 	q10, q13, q9
> +	vand	q11, q11, q12
> +	 vand	q10, q10, q2
> +	veor	q12, q12, q8
> +	 veor	q2, q2, q6
> +	vand	q8, q8, q15
> +	 vand	q6, q6, q13
> +	vand	q12, q12, q14
> +	 vand	q2, q2, q9
> +	veor	q8, q8, q12
> +	 veor	q2, q2, q6
> +	veor	q12, q12, q11
> +	 veor	q6, q6, q10
> +	veor	q5, q5, q12
> +	veor	q2, q2, q12
> +	veor	q1, q1, q8
> +	veor	q6, q6, q8
> +
> +	veor	q12, q3, q0
> +	veor	q8, q7, q4
> +	veor	q11, q15, q14
> +	 veor 	q10, q13, q9
> +	vand	q11, q11, q12
> +	 vand	q10, q10, q0
> +	veor	q12, q12, q8
> +	 veor	q0, q0, q4
> +	vand	q8, q8, q15
> +	 vand	q4, q4, q13
> +	vand	q12, q12, q14
> +	 vand	q0, q0, q9
> +	veor	q8, q8, q12
> +	 veor	q0, q0, q4
> +	veor	q12, q12, q11
> +	 veor	q4, q4, q10
> +	veor	q15, q15, q13
> +	veor	q14, q14, q9
> +	veor 	q10, q15, q14
> +	vand	q10, q10, q3
> +	veor	q3, q3, q7
> +	vand	q11, q7, q15
> +	vand	q3, q3, q14
> +	veor	q7, q11, q10
> +	veor	q3, q3, q11
> +	veor	q3, q3, q12
> +	veor	q0, q0, q12
> +	veor	q7, q7, q8
> +	veor	q4, q4, q8
> +	veor	q1, q1, q7
> +	veor	q6, q6, q5
> +
> +	veor	q4, q4, q1
> +	veor	q2, q2, q7
> +	veor	q5, q5, q7
> +	veor	q4, q4, q2
> +	 veor 	q7, q7, q0
> +	veor	q4, q4, q5
> +	 veor	q3, q3, q6
> +	 veor	q6, q6, q1
> +	veor	q3, q3, q4
> +
> +	veor	q4, q4, q0
> +	veor	q7, q7, q3
> +	subs	r5,r5,#1
> +	bcc	.Ldec_done
> +	@ multiplication by 0x05-0x00-0x04-0x00
> +	vext.8	q8, q0, q0, #8
> +	vext.8	q14, q3, q3, #8
> +	vext.8	q15, q5, q5, #8
> +	veor	q8, q8, q0
> +	vext.8	q9, q1, q1, #8
> +	veor	q14, q14, q3
> +	vext.8	q10, q6, q6, #8
> +	veor	q15, q15, q5
> +	vext.8	q11, q4, q4, #8
> +	veor	q9, q9, q1
> +	vext.8	q12, q2, q2, #8
> +	veor	q10, q10, q6
> +	vext.8	q13, q7, q7, #8
> +	veor	q11, q11, q4
> +	veor	q12, q12, q2
> +	veor	q13, q13, q7
> +
> +	 veor	q0, q0, q14
> +	 veor	q1, q1, q14
> +	 veor	q6, q6, q8
> +	 veor	q2, q2, q10
> +	 veor	q4, q4, q9
> +	 veor	q1, q1, q15
> +	 veor	q6, q6, q15
> +	 veor	q2, q2, q14
> +	 veor	q7, q7, q11
> +	 veor	q4, q4, q14
> +	 veor	q3, q3, q12
> +	 veor	q2, q2, q15
> +	 veor	q7, q7, q15
> +	 veor	q5, q5, q13
> +	vext.8	q8, q0, q0, #12	@ x0 <<< 32
> +	vext.8	q9, q1, q1, #12
> +	 veor	q0, q0, q8		@ x0 ^ (x0 <<< 32)
> +	vext.8	q10, q6, q6, #12
> +	 veor	q1, q1, q9
> +	vext.8	q11, q4, q4, #12
> +	 veor	q6, q6, q10
> +	vext.8	q12, q2, q2, #12
> +	 veor	q4, q4, q11
> +	vext.8	q13, q7, q7, #12
> +	 veor	q2, q2, q12
> +	vext.8	q14, q3, q3, #12
> +	 veor	q7, q7, q13
> +	vext.8	q15, q5, q5, #12
> +	 veor	q3, q3, q14
> +
> +	veor	q9, q9, q0
> +	 veor	q5, q5, q15
> +	 vext.8	q0, q0, q0, #8		@ (x0 ^ (x0 <<< 32)) <<< 64)
> +	veor	q10, q10, q1
> +	veor	q8, q8, q5
> +	veor	q9, q9, q5
> +	 vext.8	q1, q1, q1, #8
> +	veor	q13, q13, q2
> +	 veor	q0, q0, q8
> +	veor	q14, q14, q7
> +	 veor	q1, q1, q9
> +	 vext.8	q8, q2, q2, #8
> +	veor	q12, q12, q4
> +	 vext.8	q9, q7, q7, #8
> +	veor	q15, q15, q3
> +	 vext.8	q2, q4, q4, #8
> +	veor	q11, q11, q6
> +	 vext.8	q7, q5, q5, #8
> +	veor	q12, q12, q5
> +	 vext.8	q4, q3, q3, #8
> +	veor	q11, q11, q5
> +	 vext.8	q3, q6, q6, #8
> +	veor	q5, q9, q13
> +	veor	q11, q11, q2
> +	veor	q7, q7, q15
> +	veor	q6, q4, q14
> +	veor	q4, q8, q12
> +	veor	q2, q3, q10
> +	vmov	q3, q11
> +	 @ vmov	q5, q9
> +	vldmia	r6, {q12}		@ .LISR
> +	ite	eq				@ Thumb2 thing, sanity check in ARM
> +	addeq	r6,r6,#0x10
> +	bne	.Ldec_loop
> +	vldmia	r6, {q12}		@ .LISRM0
> +	b	.Ldec_loop
> +.align	4
> +.Ldec_done:
> +	vmov.i8	q8,#0x55			@ compose .LBS0
> +	vmov.i8	q9,#0x33			@ compose .LBS1
> +	vshr.u64	q10, q3, #1
> +	 vshr.u64	q11, q2, #1
> +	veor		q10, q10, q5
> +	 veor		q11, q11, q7
> +	vand		q10, q10, q8
> +	 vand		q11, q11, q8
> +	veor		q5, q5, q10
> +	vshl.u64	q10, q10, #1
> +	 veor		q7, q7, q11
> +	 vshl.u64	q11, q11, #1
> +	veor		q3, q3, q10
> +	 veor		q2, q2, q11
> +	vshr.u64	q10, q6, #1
> +	 vshr.u64	q11, q0, #1
> +	veor		q10, q10, q4
> +	 veor		q11, q11, q1
> +	vand		q10, q10, q8
> +	 vand		q11, q11, q8
> +	veor		q4, q4, q10
> +	vshl.u64	q10, q10, #1
> +	 veor		q1, q1, q11
> +	 vshl.u64	q11, q11, #1
> +	veor		q6, q6, q10
> +	 veor		q0, q0, q11
> +	vmov.i8	q8,#0x0f			@ compose .LBS2
> +	vshr.u64	q10, q7, #2
> +	 vshr.u64	q11, q2, #2
> +	veor		q10, q10, q5
> +	 veor		q11, q11, q3
> +	vand		q10, q10, q9
> +	 vand		q11, q11, q9
> +	veor		q5, q5, q10
> +	vshl.u64	q10, q10, #2
> +	 veor		q3, q3, q11
> +	 vshl.u64	q11, q11, #2
> +	veor		q7, q7, q10
> +	 veor		q2, q2, q11
> +	vshr.u64	q10, q1, #2
> +	 vshr.u64	q11, q0, #2
> +	veor		q10, q10, q4
> +	 veor		q11, q11, q6
> +	vand		q10, q10, q9
> +	 vand		q11, q11, q9
> +	veor		q4, q4, q10
> +	vshl.u64	q10, q10, #2
> +	 veor		q6, q6, q11
> +	 vshl.u64	q11, q11, #2
> +	veor		q1, q1, q10
> +	 veor		q0, q0, q11
> +	vshr.u64	q10, q4, #4
> +	 vshr.u64	q11, q6, #4
> +	veor		q10, q10, q5
> +	 veor		q11, q11, q3
> +	vand		q10, q10, q8
> +	 vand		q11, q11, q8
> +	veor		q5, q5, q10
> +	vshl.u64	q10, q10, #4
> +	 veor		q3, q3, q11
> +	 vshl.u64	q11, q11, #4
> +	veor		q4, q4, q10
> +	 veor		q6, q6, q11
> +	vshr.u64	q10, q1, #4
> +	 vshr.u64	q11, q0, #4
> +	veor		q10, q10, q7
> +	 veor		q11, q11, q2
> +	vand		q10, q10, q8
> +	 vand		q11, q11, q8
> +	veor		q7, q7, q10
> +	vshl.u64	q10, q10, #4
> +	 veor		q2, q2, q11
> +	 vshl.u64	q11, q11, #4
> +	veor		q1, q1, q10
> +	 veor		q0, q0, q11
> +	vldmia	r4, {q8}			@ last round key
> +	veor	q6, q6, q8
> +	veor	q4, q4, q8
> +	veor	q2, q2, q8
> +	veor	q7, q7, q8
> +	veor	q3, q3, q8
> +	veor	q5, q5, q8
> +	veor	q0, q0, q8
> +	veor	q1, q1, q8
> +	bx	lr
> +.size	_bsaes_decrypt8,.-_bsaes_decrypt8
> +
> +.type	_bsaes_const,%object
> +.align	6
> +_bsaes_const:
> +.LM0ISR:	@ InvShiftRows constants
> +	.quad	0x0a0e0206070b0f03, 0x0004080c0d010509
> +.LISR:
> +	.quad	0x0504070602010003, 0x0f0e0d0c080b0a09
> +.LISRM0:
> +	.quad	0x01040b0e0205080f, 0x0306090c00070a0d
> +.LM0SR:		@ ShiftRows constants
> +	.quad	0x0a0e02060f03070b, 0x0004080c05090d01
> +.LSR:
> +	.quad	0x0504070600030201, 0x0f0e0d0c0a09080b
> +.LSRM0:
> +	.quad	0x0304090e00050a0f, 0x01060b0c0207080d
> +.LM0:
> +	.quad	0x02060a0e03070b0f, 0x0004080c0105090d
> +.LREVM0SR:
> +	.quad	0x090d01050c000408, 0x03070b0f060a0e02
> +.asciz	"Bit-sliced AES for NEON, CRYPTOGAMS by <appro@xxxxxxxxxxx>"
> +.align	6
> +.size	_bsaes_const,.-_bsaes_const
> +
> +.type	_bsaes_encrypt8,%function
> +.align	4
> +_bsaes_encrypt8:
> +	adr	r6,_bsaes_encrypt8
> +	vldmia	r4!, {q9}		@ round 0 key
> +	sub	r6,r6,#_bsaes_encrypt8-.LM0SR
> +
> +	vldmia	r6!, {q8}		@ .LM0SR
> +_bsaes_encrypt8_alt:
> +	veor	q10, q0, q9	@ xor with round0 key
> +	veor	q11, q1, q9
> +	 vtbl.8	d0, {q10}, d16
> +	 vtbl.8	d1, {q10}, d17
> +	veor	q12, q2, q9
> +	 vtbl.8	d2, {q11}, d16
> +	 vtbl.8	d3, {q11}, d17
> +	veor	q13, q3, q9
> +	 vtbl.8	d4, {q12}, d16
> +	 vtbl.8	d5, {q12}, d17
> +	veor	q14, q4, q9
> +	 vtbl.8	d6, {q13}, d16
> +	 vtbl.8	d7, {q13}, d17
> +	veor	q15, q5, q9
> +	 vtbl.8	d8, {q14}, d16
> +	 vtbl.8	d9, {q14}, d17
> +	veor	q10, q6, q9
> +	 vtbl.8	d10, {q15}, d16
> +	 vtbl.8	d11, {q15}, d17
> +	veor	q11, q7, q9
> +	 vtbl.8	d12, {q10}, d16
> +	 vtbl.8	d13, {q10}, d17
> +	 vtbl.8	d14, {q11}, d16
> +	 vtbl.8	d15, {q11}, d17
> +_bsaes_encrypt8_bitslice:
> +	vmov.i8	q8,#0x55			@ compose .LBS0
> +	vmov.i8	q9,#0x33			@ compose .LBS1
> +	vshr.u64	q10, q6, #1
> +	 vshr.u64	q11, q4, #1
> +	veor		q10, q10, q7
> +	 veor		q11, q11, q5
> +	vand		q10, q10, q8
> +	 vand		q11, q11, q8
> +	veor		q7, q7, q10
> +	vshl.u64	q10, q10, #1
> +	 veor		q5, q5, q11
> +	 vshl.u64	q11, q11, #1
> +	veor		q6, q6, q10
> +	 veor		q4, q4, q11
> +	vshr.u64	q10, q2, #1
> +	 vshr.u64	q11, q0, #1
> +	veor		q10, q10, q3
> +	 veor		q11, q11, q1
> +	vand		q10, q10, q8
> +	 vand		q11, q11, q8
> +	veor		q3, q3, q10
> +	vshl.u64	q10, q10, #1
> +	 veor		q1, q1, q11
> +	 vshl.u64	q11, q11, #1
> +	veor		q2, q2, q10
> +	 veor		q0, q0, q11
> +	vmov.i8	q8,#0x0f			@ compose .LBS2
> +	vshr.u64	q10, q5, #2
> +	 vshr.u64	q11, q4, #2
> +	veor		q10, q10, q7
> +	 veor		q11, q11, q6
> +	vand		q10, q10, q9
> +	 vand		q11, q11, q9
> +	veor		q7, q7, q10
> +	vshl.u64	q10, q10, #2
> +	 veor		q6, q6, q11
> +	 vshl.u64	q11, q11, #2
> +	veor		q5, q5, q10
> +	 veor		q4, q4, q11
> +	vshr.u64	q10, q1, #2
> +	 vshr.u64	q11, q0, #2
> +	veor		q10, q10, q3
> +	 veor		q11, q11, q2
> +	vand		q10, q10, q9
> +	 vand		q11, q11, q9
> +	veor		q3, q3, q10
> +	vshl.u64	q10, q10, #2
> +	 veor		q2, q2, q11
> +	 vshl.u64	q11, q11, #2
> +	veor		q1, q1, q10
> +	 veor		q0, q0, q11
> +	vshr.u64	q10, q3, #4
> +	 vshr.u64	q11, q2, #4
> +	veor		q10, q10, q7
> +	 veor		q11, q11, q6
> +	vand		q10, q10, q8
> +	 vand		q11, q11, q8
> +	veor		q7, q7, q10
> +	vshl.u64	q10, q10, #4
> +	 veor		q6, q6, q11
> +	 vshl.u64	q11, q11, #4
> +	veor		q3, q3, q10
> +	 veor		q2, q2, q11
> +	vshr.u64	q10, q1, #4
> +	 vshr.u64	q11, q0, #4
> +	veor		q10, q10, q5
> +	 veor		q11, q11, q4
> +	vand		q10, q10, q8
> +	 vand		q11, q11, q8
> +	veor		q5, q5, q10
> +	vshl.u64	q10, q10, #4
> +	 veor		q4, q4, q11
> +	 vshl.u64	q11, q11, #4
> +	veor		q1, q1, q10
> +	 veor		q0, q0, q11
> +	sub	r5,r5,#1
> +	b	.Lenc_sbox
> +.align	4
> +.Lenc_loop:
> +	vldmia	r4!, {q8-q11}
> +	veor	q8, q8, q0
> +	veor	q9, q9, q1
> +	vtbl.8	d0, {q8}, d24
> +	vtbl.8	d1, {q8}, d25
> +	vldmia	r4!, {q8}
> +	veor	q10, q10, q2
> +	vtbl.8	d2, {q9}, d24
> +	vtbl.8	d3, {q9}, d25
> +	vldmia	r4!, {q9}
> +	veor	q11, q11, q3
> +	vtbl.8	d4, {q10}, d24
> +	vtbl.8	d5, {q10}, d25
> +	vldmia	r4!, {q10}
> +	vtbl.8	d6, {q11}, d24
> +	vtbl.8	d7, {q11}, d25
> +	vldmia	r4!, {q11}
> +	veor	q8, q8, q4
> +	veor	q9, q9, q5
> +	vtbl.8	d8, {q8}, d24
> +	vtbl.8	d9, {q8}, d25
> +	veor	q10, q10, q6
> +	vtbl.8	d10, {q9}, d24
> +	vtbl.8	d11, {q9}, d25
> +	veor	q11, q11, q7
> +	vtbl.8	d12, {q10}, d24
> +	vtbl.8	d13, {q10}, d25
> +	vtbl.8	d14, {q11}, d24
> +	vtbl.8	d15, {q11}, d25
> +.Lenc_sbox:
> +	veor	q2, q2, q1
> +	veor	q5, q5, q6
> +	veor	q3, q3, q0
> +	veor	q6, q6, q2
> +	veor	q5, q5, q0
> +
> +	veor	q6, q6, q3
> +	veor	q3, q3, q7
> +	veor	q7, q7, q5
> +	veor	q3, q3, q4
> +	veor	q4, q4, q5
> +
> +	veor	q2, q2, q7
> +	veor	q3, q3, q1
> +	veor	q1, q1, q5
> +	veor	q11, q7, q4
> +	veor	q10, q1, q2
> +	veor	q9, q5, q3
> +	veor	q13, q2, q4
> +	 vmov	q8, q10
> +	veor	q12, q6, q0
> +
> +	vorr	q10, q10, q9
> +	veor	q15, q11, q8
> +	vand	q14, q11, q12
> +	vorr	q11, q11, q12
> +	veor	q12, q12, q9
> +	vand	q8, q8, q9
> +	veor	q9, q3, q0
> +	vand	q15, q15, q12
> +	vand	q13, q13, q9
> +	veor	q9, q7, q1
> +	veor	q12, q5, q6
> +	veor	q11, q11, q13
> +	veor	q10, q10, q13
> +	vand	q13, q9, q12
> +	vorr	q9, q9, q12
> +	veor	q11, q11, q15
> +	veor	q8, q8, q13
> +	veor	q10, q10, q14
> +	veor	q9, q9, q15
> +	veor	q8, q8, q14
> +	vand	q12, q2, q3
> +	veor	q9, q9, q14
> +	vand	q13, q4, q0
> +	vand	q14, q1, q5
> +	vorr	q15, q7, q6
> +	veor	q11, q11, q12
> +	veor	q9, q9, q14
> +	veor	q8, q8, q15
> +	veor	q10, q10, q13
> +
> +	@ Inv_GF16 	0, 	1, 	2, 	3, s0, s1, s2, s3
> +
> +	@ new smaller inversion
> +
> +	vand	q14, q11, q9
> +	vmov	q12, q8
> +
> +	veor	q13, q10, q14
> +	veor	q15, q8, q14
> +	veor	q14, q8, q14	@ q14=q15
> +
> +	vbsl	q13, q9, q8
> +	vbsl	q15, q11, q10
> +	veor	q11, q11, q10
> +
> +	vbsl	q12, q13, q14
> +	vbsl	q8, q14, q13
> +
> +	vand	q14, q12, q15
> +	veor	q9, q9, q8
> +
> +	veor	q14, q14, q11
> +	veor	q12, q6, q0
> +	veor	q8, q5, q3
> +	veor 	q10, q15, q14
> +	vand	q10, q10, q6
> +	veor	q6, q6, q5
> +	vand	q11, q5, q15
> +	vand	q6, q6, q14
> +	veor	q5, q11, q10
> +	veor	q6, q6, q11
> +	veor	q15, q15, q13
> +	veor	q14, q14, q9
> +	veor	q11, q15, q14
> +	 veor 	q10, q13, q9
> +	vand	q11, q11, q12
> +	 vand	q10, q10, q0
> +	veor	q12, q12, q8
> +	 veor	q0, q0, q3
> +	vand	q8, q8, q15
> +	 vand	q3, q3, q13
> +	vand	q12, q12, q14
> +	 vand	q0, q0, q9
> +	veor	q8, q8, q12
> +	 veor	q0, q0, q3
> +	veor	q12, q12, q11
> +	 veor	q3, q3, q10
> +	veor	q6, q6, q12
> +	veor	q0, q0, q12
> +	veor	q5, q5, q8
> +	veor	q3, q3, q8
> +
> +	veor	q12, q7, q4
> +	veor	q8, q1, q2
> +	veor	q11, q15, q14
> +	 veor 	q10, q13, q9
> +	vand	q11, q11, q12
> +	 vand	q10, q10, q4
> +	veor	q12, q12, q8
> +	 veor	q4, q4, q2
> +	vand	q8, q8, q15
> +	 vand	q2, q2, q13
> +	vand	q12, q12, q14
> +	 vand	q4, q4, q9
> +	veor	q8, q8, q12
> +	 veor	q4, q4, q2
> +	veor	q12, q12, q11
> +	 veor	q2, q2, q10
> +	veor	q15, q15, q13
> +	veor	q14, q14, q9
> +	veor 	q10, q15, q14
> +	vand	q10, q10, q7
> +	veor	q7, q7, q1
> +	vand	q11, q1, q15
> +	vand	q7, q7, q14
> +	veor	q1, q11, q10
> +	veor	q7, q7, q11
> +	veor	q7, q7, q12
> +	veor	q4, q4, q12
> +	veor	q1, q1, q8
> +	veor	q2, q2, q8
> +	veor	q7, q7, q0
> +	veor	q1, q1, q6
> +	veor	q6, q6, q0
> +	veor	q4, q4, q7
> +	veor	q0, q0, q1
> +
> +	veor	q1, q1, q5
> +	veor	q5, q5, q2
> +	veor	q2, q2, q3
> +	veor	q3, q3, q5
> +	veor	q4, q4, q5
> +
> +	veor	q6, q6, q3
> +	subs	r5,r5,#1
> +	bcc	.Lenc_done
> +	vext.8	q8, q0, q0, #12	@ x0 <<< 32
> +	vext.8	q9, q1, q1, #12
> +	 veor	q0, q0, q8		@ x0 ^ (x0 <<< 32)
> +	vext.8	q10, q4, q4, #12
> +	 veor	q1, q1, q9
> +	vext.8	q11, q6, q6, #12
> +	 veor	q4, q4, q10
> +	vext.8	q12, q3, q3, #12
> +	 veor	q6, q6, q11
> +	vext.8	q13, q7, q7, #12
> +	 veor	q3, q3, q12
> +	vext.8	q14, q2, q2, #12
> +	 veor	q7, q7, q13
> +	vext.8	q15, q5, q5, #12
> +	 veor	q2, q2, q14
> +
> +	veor	q9, q9, q0
> +	 veor	q5, q5, q15
> +	 vext.8	q0, q0, q0, #8		@ (x0 ^ (x0 <<< 32)) <<< 64)
> +	veor	q10, q10, q1
> +	veor	q8, q8, q5
> +	veor	q9, q9, q5
> +	 vext.8	q1, q1, q1, #8
> +	veor	q13, q13, q3
> +	 veor	q0, q0, q8
> +	veor	q14, q14, q7
> +	 veor	q1, q1, q9
> +	 vext.8	q8, q3, q3, #8
> +	veor	q12, q12, q6
> +	 vext.8	q9, q7, q7, #8
> +	veor	q15, q15, q2
> +	 vext.8	q3, q6, q6, #8
> +	veor	q11, q11, q4
> +	 vext.8	q7, q5, q5, #8
> +	veor	q12, q12, q5
> +	 vext.8	q6, q2, q2, #8
> +	veor	q11, q11, q5
> +	 vext.8	q2, q4, q4, #8
> +	veor	q5, q9, q13
> +	veor	q4, q8, q12
> +	veor	q3, q3, q11
> +	veor	q7, q7, q15
> +	veor	q6, q6, q14
> +	 @ vmov	q4, q8
> +	veor	q2, q2, q10
> +	 @ vmov	q5, q9
> +	vldmia	r6, {q12}		@ .LSR
> +	ite	eq				@ Thumb2 thing, samity check in ARM
> +	addeq	r6,r6,#0x10
> +	bne	.Lenc_loop
> +	vldmia	r6, {q12}		@ .LSRM0
> +	b	.Lenc_loop
> +.align	4
> +.Lenc_done:
> +	vmov.i8	q8,#0x55			@ compose .LBS0
> +	vmov.i8	q9,#0x33			@ compose .LBS1
> +	vshr.u64	q10, q2, #1
> +	 vshr.u64	q11, q3, #1
> +	veor		q10, q10, q5
> +	 veor		q11, q11, q7
> +	vand		q10, q10, q8
> +	 vand		q11, q11, q8
> +	veor		q5, q5, q10
> +	vshl.u64	q10, q10, #1
> +	 veor		q7, q7, q11
> +	 vshl.u64	q11, q11, #1
> +	veor		q2, q2, q10
> +	 veor		q3, q3, q11
> +	vshr.u64	q10, q4, #1
> +	 vshr.u64	q11, q0, #1
> +	veor		q10, q10, q6
> +	 veor		q11, q11, q1
> +	vand		q10, q10, q8
> +	 vand		q11, q11, q8
> +	veor		q6, q6, q10
> +	vshl.u64	q10, q10, #1
> +	 veor		q1, q1, q11
> +	 vshl.u64	q11, q11, #1
> +	veor		q4, q4, q10
> +	 veor		q0, q0, q11
> +	vmov.i8	q8,#0x0f			@ compose .LBS2
> +	vshr.u64	q10, q7, #2
> +	 vshr.u64	q11, q3, #2
> +	veor		q10, q10, q5
> +	 veor		q11, q11, q2
> +	vand		q10, q10, q9
> +	 vand		q11, q11, q9
> +	veor		q5, q5, q10
> +	vshl.u64	q10, q10, #2
> +	 veor		q2, q2, q11
> +	 vshl.u64	q11, q11, #2
> +	veor		q7, q7, q10
> +	 veor		q3, q3, q11
> +	vshr.u64	q10, q1, #2
> +	 vshr.u64	q11, q0, #2
> +	veor		q10, q10, q6
> +	 veor		q11, q11, q4
> +	vand		q10, q10, q9
> +	 vand		q11, q11, q9
> +	veor		q6, q6, q10
> +	vshl.u64	q10, q10, #2
> +	 veor		q4, q4, q11
> +	 vshl.u64	q11, q11, #2
> +	veor		q1, q1, q10
> +	 veor		q0, q0, q11
> +	vshr.u64	q10, q6, #4
> +	 vshr.u64	q11, q4, #4
> +	veor		q10, q10, q5
> +	 veor		q11, q11, q2
> +	vand		q10, q10, q8
> +	 vand		q11, q11, q8
> +	veor		q5, q5, q10
> +	vshl.u64	q10, q10, #4
> +	 veor		q2, q2, q11
> +	 vshl.u64	q11, q11, #4
> +	veor		q6, q6, q10
> +	 veor		q4, q4, q11
> +	vshr.u64	q10, q1, #4
> +	 vshr.u64	q11, q0, #4
> +	veor		q10, q10, q7
> +	 veor		q11, q11, q3
> +	vand		q10, q10, q8
> +	 vand		q11, q11, q8
> +	veor		q7, q7, q10
> +	vshl.u64	q10, q10, #4
> +	 veor		q3, q3, q11
> +	 vshl.u64	q11, q11, #4
> +	veor		q1, q1, q10
> +	 veor		q0, q0, q11
> +	vldmia	r4, {q8}			@ last round key
> +	veor	q4, q4, q8
> +	veor	q6, q6, q8
> +	veor	q3, q3, q8
> +	veor	q7, q7, q8
> +	veor	q2, q2, q8
> +	veor	q5, q5, q8
> +	veor	q0, q0, q8
> +	veor	q1, q1, q8
> +	bx	lr
> +.size	_bsaes_encrypt8,.-_bsaes_encrypt8
> +.type	_bsaes_key_convert,%function
> +.align	4
> +_bsaes_key_convert:
> +	adr	r6,_bsaes_key_convert
> +	vld1.8	{q7},  [r4]!		@ load round 0 key
> +	sub	r6,r6,#_bsaes_key_convert-.LM0
> +	vld1.8	{q15}, [r4]!		@ load round 1 key
> +
> +	vmov.i8	q8,  #0x01			@ bit masks
> +	vmov.i8	q9,  #0x02
> +	vmov.i8	q10, #0x04
> +	vmov.i8	q11, #0x08
> +	vmov.i8	q12, #0x10
> +	vmov.i8	q13, #0x20
> +	vldmia	r6, {q14}		@ .LM0
> +
> +#ifdef __ARMEL__
> +	vrev32.8	q7,  q7
> +	vrev32.8	q15, q15
> +#endif
> +	sub	r5,r5,#1
> +	vstmia	r12!, {q7}		@ save round 0 key
> +	b	.Lkey_loop
> +
> +.align	4
> +.Lkey_loop:
> +	vtbl.8	d14,{q15},d28
> +	vtbl.8	d15,{q15},d29
> +	vmov.i8	q6,  #0x40
> +	vmov.i8	q15, #0x80
> +
> +	vtst.8	q0, q7, q8
> +	vtst.8	q1, q7, q9
> +	vtst.8	q2, q7, q10
> +	vtst.8	q3, q7, q11
> +	vtst.8	q4, q7, q12
> +	vtst.8	q5, q7, q13
> +	vtst.8	q6, q7, q6
> +	vtst.8	q7, q7, q15
> +	vld1.8	{q15}, [r4]!		@ load next round key
> +	vmvn	q0, q0		@ "pnot"
> +	vmvn	q1, q1
> +	vmvn	q5, q5
> +	vmvn	q6, q6
> +#ifdef __ARMEL__
> +	vrev32.8	q15, q15
> +#endif
> +	subs	r5,r5,#1
> +	vstmia	r12!,{q0-q7}		@ write bit-sliced round key
> +	bne	.Lkey_loop
> +
> +	vmov.i8	q7,#0x63			@ compose .L63
> +	@ don't save last round key
> +	bx	lr
> +.size	_bsaes_key_convert,.-_bsaes_key_convert
> +.extern AES_cbc_encrypt
> +.extern AES_decrypt
> +
> +.global	bsaes_cbc_encrypt
> +.type	bsaes_cbc_encrypt,%function
> +.align	5
> +bsaes_cbc_encrypt:
> +#ifndef	__KERNEL__
> +	cmp	r2, #128
> +#ifndef	__thumb__
> +	blo	AES_cbc_encrypt
> +#else
> +	bhs	1f
> +	b	AES_cbc_encrypt
> +1:
> +#endif
> +#endif
> +
> +	@ it is up to the caller to make sure we are called with enc == 0
> +
> +	mov	ip, sp
> +	stmdb	sp!, {r4-r10, lr}
> +	VFP_ABI_PUSH
> +	ldr	r8, [ip]			@ IV is 1st arg on the stack
> +	mov	r2, r2, lsr#4		@ len in 16 byte blocks
> +	sub	sp, #0x10			@ scratch space to carry over the IV
> +	mov	r9, sp				@ save sp
> +
> +	ldr	r10, [r3, #240]		@ get # of rounds
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	@ allocate the key schedule on the stack
> +	sub	r12, sp, r10, lsl#7		@ 128 bytes per inner round key
> +	add	r12, #96			@ sifze of bit-slices key schedule
> +
> +	@ populate the key schedule
> +	mov	r4, r3			@ pass key
> +	mov	r5, r10			@ pass # of rounds
> +	mov	sp, r12				@ sp is sp
> +	bl	_bsaes_key_convert
> +	vldmia	sp, {q6}
> +	vstmia	r12,  {q15}		@ save last round key
> +	veor	q7, q7, q6	@ fix up round 0 key
> +	vstmia	sp, {q7}
> +#else
> +	ldr	r12, [r3, #244]
> +	eors	r12, #1
> +	beq	0f
> +
> +	@ populate the key schedule
> +	str	r12, [r3, #244]
> +	mov	r4, r3			@ pass key
> +	mov	r5, r10			@ pass # of rounds
> +	add	r12, r3, #248			@ pass key schedule
> +	bl	_bsaes_key_convert
> +	add	r4, r3, #248
> +	vldmia	r4, {q6}
> +	vstmia	r12, {q15}			@ save last round key
> +	veor	q7, q7, q6	@ fix up round 0 key
> +	vstmia	r4, {q7}
> +
> +.align	2
> +0:
> +#endif
> +
> +	vld1.8	{q15}, [r8]		@ load IV
> +	b	.Lcbc_dec_loop
> +
> +.align	4
> +.Lcbc_dec_loop:
> +	subs	r2, r2, #0x8
> +	bmi	.Lcbc_dec_loop_finish
> +
> +	vld1.8	{q0-q1}, [r0]!	@ load input
> +	vld1.8	{q2-q3}, [r0]!
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	mov	r4, sp			@ pass the key
> +#else
> +	add	r4, r3, #248
> +#endif
> +	vld1.8	{q4-q5}, [r0]!
> +	mov	r5, r10
> +	vld1.8	{q6-q7}, [r0]
> +	sub	r0, r0, #0x60
> +	vstmia	r9, {q15}			@ put aside IV
> +
> +	bl	_bsaes_decrypt8
> +
> +	vldmia	r9, {q14}			@ reload IV
> +	vld1.8	{q8-q9}, [r0]!	@ reload input
> +	veor	q0, q0, q14	@ ^= IV
> +	vld1.8	{q10-q11}, [r0]!
> +	veor	q1, q1, q8
> +	veor	q6, q6, q9
> +	vld1.8	{q12-q13}, [r0]!
> +	veor	q4, q4, q10
> +	veor	q2, q2, q11
> +	vld1.8	{q14-q15}, [r0]!
> +	veor	q7, q7, q12
> +	vst1.8	{q0-q1}, [r1]!	@ write output
> +	veor	q3, q3, q13
> +	vst1.8	{q6}, [r1]!
> +	veor	q5, q5, q14
> +	vst1.8	{q4}, [r1]!
> +	vst1.8	{q2}, [r1]!
> +	vst1.8	{q7}, [r1]!
> +	vst1.8	{q3}, [r1]!
> +	vst1.8	{q5}, [r1]!
> +
> +	b	.Lcbc_dec_loop
> +
> +.Lcbc_dec_loop_finish:
> +	adds	r2, r2, #8
> +	beq	.Lcbc_dec_done
> +
> +	vld1.8	{q0}, [r0]!		@ load input
> +	cmp	r2, #2
> +	blo	.Lcbc_dec_one
> +	vld1.8	{q1}, [r0]!
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	mov	r4, sp			@ pass the key
> +#else
> +	add	r4, r3, #248
> +#endif
> +	mov	r5, r10
> +	vstmia	r9, {q15}			@ put aside IV
> +	beq	.Lcbc_dec_two
> +	vld1.8	{q2}, [r0]!
> +	cmp	r2, #4
> +	blo	.Lcbc_dec_three
> +	vld1.8	{q3}, [r0]!
> +	beq	.Lcbc_dec_four
> +	vld1.8	{q4}, [r0]!
> +	cmp	r2, #6
> +	blo	.Lcbc_dec_five
> +	vld1.8	{q5}, [r0]!
> +	beq	.Lcbc_dec_six
> +	vld1.8	{q6}, [r0]!
> +	sub	r0, r0, #0x70
> +
> +	bl	_bsaes_decrypt8
> +
> +	vldmia	r9, {q14}			@ reload IV
> +	vld1.8	{q8-q9}, [r0]!	@ reload input
> +	veor	q0, q0, q14	@ ^= IV
> +	vld1.8	{q10-q11}, [r0]!
> +	veor	q1, q1, q8
> +	veor	q6, q6, q9
> +	vld1.8	{q12-q13}, [r0]!
> +	veor	q4, q4, q10
> +	veor	q2, q2, q11
> +	vld1.8	{q15}, [r0]!
> +	veor	q7, q7, q12
> +	vst1.8	{q0-q1}, [r1]!	@ write output
> +	veor	q3, q3, q13
> +	vst1.8	{q6}, [r1]!
> +	vst1.8	{q4}, [r1]!
> +	vst1.8	{q2}, [r1]!
> +	vst1.8	{q7}, [r1]!
> +	vst1.8	{q3}, [r1]!
> +	b	.Lcbc_dec_done
> +.align	4
> +.Lcbc_dec_six:
> +	sub	r0, r0, #0x60
> +	bl	_bsaes_decrypt8
> +	vldmia	r9,{q14}			@ reload IV
> +	vld1.8	{q8-q9}, [r0]!	@ reload input
> +	veor	q0, q0, q14	@ ^= IV
> +	vld1.8	{q10-q11}, [r0]!
> +	veor	q1, q1, q8
> +	veor	q6, q6, q9
> +	vld1.8	{q12}, [r0]!
> +	veor	q4, q4, q10
> +	veor	q2, q2, q11
> +	vld1.8	{q15}, [r0]!
> +	veor	q7, q7, q12
> +	vst1.8	{q0-q1}, [r1]!	@ write output
> +	vst1.8	{q6}, [r1]!
> +	vst1.8	{q4}, [r1]!
> +	vst1.8	{q2}, [r1]!
> +	vst1.8	{q7}, [r1]!
> +	b	.Lcbc_dec_done
> +.align	4
> +.Lcbc_dec_five:
> +	sub	r0, r0, #0x50
> +	bl	_bsaes_decrypt8
> +	vldmia	r9, {q14}			@ reload IV
> +	vld1.8	{q8-q9}, [r0]!	@ reload input
> +	veor	q0, q0, q14	@ ^= IV
> +	vld1.8	{q10-q11}, [r0]!
> +	veor	q1, q1, q8
> +	veor	q6, q6, q9
> +	vld1.8	{q15}, [r0]!
> +	veor	q4, q4, q10
> +	vst1.8	{q0-q1}, [r1]!	@ write output
> +	veor	q2, q2, q11
> +	vst1.8	{q6}, [r1]!
> +	vst1.8	{q4}, [r1]!
> +	vst1.8	{q2}, [r1]!
> +	b	.Lcbc_dec_done
> +.align	4
> +.Lcbc_dec_four:
> +	sub	r0, r0, #0x40
> +	bl	_bsaes_decrypt8
> +	vldmia	r9, {q14}			@ reload IV
> +	vld1.8	{q8-q9}, [r0]!	@ reload input
> +	veor	q0, q0, q14	@ ^= IV
> +	vld1.8	{q10}, [r0]!
> +	veor	q1, q1, q8
> +	veor	q6, q6, q9
> +	vld1.8	{q15}, [r0]!
> +	veor	q4, q4, q10
> +	vst1.8	{q0-q1}, [r1]!	@ write output
> +	vst1.8	{q6}, [r1]!
> +	vst1.8	{q4}, [r1]!
> +	b	.Lcbc_dec_done
> +.align	4
> +.Lcbc_dec_three:
> +	sub	r0, r0, #0x30
> +	bl	_bsaes_decrypt8
> +	vldmia	r9, {q14}			@ reload IV
> +	vld1.8	{q8-q9}, [r0]!	@ reload input
> +	veor	q0, q0, q14	@ ^= IV
> +	vld1.8	{q15}, [r0]!
> +	veor	q1, q1, q8
> +	veor	q6, q6, q9
> +	vst1.8	{q0-q1}, [r1]!	@ write output
> +	vst1.8	{q6}, [r1]!
> +	b	.Lcbc_dec_done
> +.align	4
> +.Lcbc_dec_two:
> +	sub	r0, r0, #0x20
> +	bl	_bsaes_decrypt8
> +	vldmia	r9, {q14}			@ reload IV
> +	vld1.8	{q8}, [r0]!		@ reload input
> +	veor	q0, q0, q14	@ ^= IV
> +	vld1.8	{q15}, [r0]!		@ reload input
> +	veor	q1, q1, q8
> +	vst1.8	{q0-q1}, [r1]!	@ write output
> +	b	.Lcbc_dec_done
> +.align	4
> +.Lcbc_dec_one:
> +	sub	r0, r0, #0x10
> +	mov	r10, r1			@ save original out pointer
> +	mov	r1, r9			@ use the iv scratch space as out buffer
> +	mov	r2, r3
> +	vmov	q4,q15		@ just in case ensure that IV
> +	vmov	q5,q0			@ and input are preserved
> +	bl	AES_decrypt
> +	vld1.8	{q0}, [r9,:64]		@ load result
> +	veor	q0, q0, q4	@ ^= IV
> +	vmov	q15, q5		@ q5 holds input
> +	vst1.8	{q0}, [r10]		@ write output
> +
> +.Lcbc_dec_done:
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	vmov.i32	q0, #0
> +	vmov.i32	q1, #0
> +.Lcbc_dec_bzero:				@ wipe key schedule [if any]
> +	vstmia		sp!, {q0-q1}
> +	cmp		sp, r9
> +	bne		.Lcbc_dec_bzero
> +#endif
> +
> +	mov	sp, r9
> +	add	sp, #0x10			@ add sp,r9,#0x10 is no good for thumb
> +	vst1.8	{q15}, [r8]		@ return IV
> +	VFP_ABI_POP
> +	ldmia	sp!, {r4-r10, pc}
> +.size	bsaes_cbc_encrypt,.-bsaes_cbc_encrypt
> +.extern	AES_encrypt
> +.global	bsaes_ctr32_encrypt_blocks
> +.type	bsaes_ctr32_encrypt_blocks,%function
> +.align	5
> +bsaes_ctr32_encrypt_blocks:
> +	cmp	r2, #8			@ use plain AES for
> +	blo	.Lctr_enc_short			@ small sizes
> +
> +	mov	ip, sp
> +	stmdb	sp!, {r4-r10, lr}
> +	VFP_ABI_PUSH
> +	ldr	r8, [ip]			@ ctr is 1st arg on the stack
> +	sub	sp, sp, #0x10			@ scratch space to carry over the ctr
> +	mov	r9, sp				@ save sp
> +
> +	ldr	r10, [r3, #240]		@ get # of rounds
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	@ allocate the key schedule on the stack
> +	sub	r12, sp, r10, lsl#7		@ 128 bytes per inner round key
> +	add	r12, #96			@ size of bit-sliced key schedule
> +
> +	@ populate the key schedule
> +	mov	r4, r3			@ pass key
> +	mov	r5, r10			@ pass # of rounds
> +	mov	sp, r12				@ sp is sp
> +	bl	_bsaes_key_convert
> +	veor	q7,q7,q15	@ fix up last round key
> +	vstmia	r12, {q7}			@ save last round key
> +
> +	vld1.8	{q0}, [r8]		@ load counter
> +	add	r8, r6, #.LREVM0SR-.LM0	@ borrow r8
> +	vldmia	sp, {q4}		@ load round0 key
> +#else
> +	ldr	r12, [r3, #244]
> +	eors	r12, #1
> +	beq	0f
> +
> +	@ populate the key schedule
> +	str	r12, [r3, #244]
> +	mov	r4, r3			@ pass key
> +	mov	r5, r10			@ pass # of rounds
> +	add	r12, r3, #248			@ pass key schedule
> +	bl	_bsaes_key_convert
> +	veor	q7,q7,q15	@ fix up last round key
> +	vstmia	r12, {q7}			@ save last round key
> +
> +.align	2
> +0:	add	r12, r3, #248
> +	vld1.8	{q0}, [r8]		@ load counter
> +	adrl	r8, .LREVM0SR			@ borrow r8
> +	vldmia	r12, {q4}			@ load round0 key
> +	sub	sp, #0x10			@ place for adjusted round0 key
> +#endif
> +
> +	vmov.i32	q8,#1		@ compose 1<<96
> +	veor		q9,q9,q9
> +	vrev32.8	q0,q0
> +	vext.8		q8,q9,q8,#4
> +	vrev32.8	q4,q4
> +	vadd.u32	q9,q8,q8	@ compose 2<<96
> +	vstmia	sp, {q4}		@ save adjusted round0 key
> +	b	.Lctr_enc_loop
> +
> +.align	4
> +.Lctr_enc_loop:
> +	vadd.u32	q10, q8, q9	@ compose 3<<96
> +	vadd.u32	q1, q0, q8	@ +1
> +	vadd.u32	q2, q0, q9	@ +2
> +	vadd.u32	q3, q0, q10	@ +3
> +	vadd.u32	q4, q1, q10
> +	vadd.u32	q5, q2, q10
> +	vadd.u32	q6, q3, q10
> +	vadd.u32	q7, q4, q10
> +	vadd.u32	q10, q5, q10	@ next counter
> +
> +	@ Borrow prologue from _bsaes_encrypt8 to use the opportunity
> +	@ to flip byte order in 32-bit counter
> +
> +	vldmia		sp, {q9}		@ load round0 key
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	add		r4, sp, #0x10		@ pass next round key
> +#else
> +	add		r4, r3, #264
> +#endif
> +	vldmia		r8, {q8}			@ .LREVM0SR
> +	mov		r5, r10			@ pass rounds
> +	vstmia		r9, {q10}			@ save next counter
> +	sub		r6, r8, #.LREVM0SR-.LSR	@ pass constants
> +
> +	bl		_bsaes_encrypt8_alt
> +
> +	subs		r2, r2, #8
> +	blo		.Lctr_enc_loop_done
> +
> +	vld1.8		{q8-q9}, [r0]!	@ load input
> +	vld1.8		{q10-q11}, [r0]!
> +	veor		q0, q8
> +	veor		q1, q9
> +	vld1.8		{q12-q13}, [r0]!
> +	veor		q4, q10
> +	veor		q6, q11
> +	vld1.8		{q14-q15}, [r0]!
> +	veor		q3, q12
> +	vst1.8		{q0-q1}, [r1]!	@ write output
> +	veor		q7, q13
> +	veor		q2, q14
> +	vst1.8		{q4}, [r1]!
> +	veor		q5, q15
> +	vst1.8		{q6}, [r1]!
> +	vmov.i32	q8, #1			@ compose 1<<96
> +	vst1.8		{q3}, [r1]!
> +	veor		q9, q9, q9
> +	vst1.8		{q7}, [r1]!
> +	vext.8		q8, q9, q8, #4
> +	vst1.8		{q2}, [r1]!
> +	vadd.u32	q9,q8,q8		@ compose 2<<96
> +	vst1.8		{q5}, [r1]!
> +	vldmia		r9, {q0}			@ load counter
> +
> +	bne		.Lctr_enc_loop
> +	b		.Lctr_enc_done
> +
> +.align	4
> +.Lctr_enc_loop_done:
> +	add		r2, r2, #8
> +	vld1.8		{q8}, [r0]!	@ load input
> +	veor		q0, q8
> +	vst1.8		{q0}, [r1]!	@ write output
> +	cmp		r2, #2
> +	blo		.Lctr_enc_done
> +	vld1.8		{q9}, [r0]!
> +	veor		q1, q9
> +	vst1.8		{q1}, [r1]!
> +	beq		.Lctr_enc_done
> +	vld1.8		{q10}, [r0]!
> +	veor		q4, q10
> +	vst1.8		{q4}, [r1]!
> +	cmp		r2, #4
> +	blo		.Lctr_enc_done
> +	vld1.8		{q11}, [r0]!
> +	veor		q6, q11
> +	vst1.8		{q6}, [r1]!
> +	beq		.Lctr_enc_done
> +	vld1.8		{q12}, [r0]!
> +	veor		q3, q12
> +	vst1.8		{q3}, [r1]!
> +	cmp		r2, #6
> +	blo		.Lctr_enc_done
> +	vld1.8		{q13}, [r0]!
> +	veor		q7, q13
> +	vst1.8		{q7}, [r1]!
> +	beq		.Lctr_enc_done
> +	vld1.8		{q14}, [r0]
> +	veor		q2, q14
> +	vst1.8		{q2}, [r1]!
> +
> +.Lctr_enc_done:
> +	vmov.i32	q0, #0
> +	vmov.i32	q1, #0
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +.Lctr_enc_bzero:			@ wipe key schedule [if any]
> +	vstmia		sp!, {q0-q1}
> +	cmp		sp, r9
> +	bne		.Lctr_enc_bzero
> +#else
> +	vstmia		sp, {q0-q1}
> +#endif
> +
> +	mov	sp, r9
> +	add	sp, #0x10		@ add sp,r9,#0x10 is no good for thumb
> +	VFP_ABI_POP
> +	ldmia	sp!, {r4-r10, pc}	@ return
> +
> +.align	4
> +.Lctr_enc_short:
> +	ldr	ip, [sp]		@ ctr pointer is passed on stack
> +	stmdb	sp!, {r4-r8, lr}
> +
> +	mov	r4, r0		@ copy arguments
> +	mov	r5, r1
> +	mov	r6, r2
> +	mov	r7, r3
> +	ldr	r8, [ip, #12]		@ load counter LSW
> +	vld1.8	{q1}, [ip]		@ load whole counter value
> +#ifdef __ARMEL__
> +	rev	r8, r8
> +#endif
> +	sub	sp, sp, #0x10
> +	vst1.8	{q1}, [sp,:64]	@ copy counter value
> +	sub	sp, sp, #0x10
> +
> +.Lctr_enc_short_loop:
> +	add	r0, sp, #0x10		@ input counter value
> +	mov	r1, sp			@ output on the stack
> +	mov	r2, r7			@ key
> +
> +	bl	AES_encrypt
> +
> +	vld1.8	{q0}, [r4]!	@ load input
> +	vld1.8	{q1}, [sp,:64]	@ load encrypted counter
> +	add	r8, r8, #1
> +#ifdef __ARMEL__
> +	rev	r0, r8
> +	str	r0, [sp, #0x1c]		@ next counter value
> +#else
> +	str	r8, [sp, #0x1c]		@ next counter value
> +#endif
> +	veor	q0,q0,q1
> +	vst1.8	{q0}, [r5]!	@ store output
> +	subs	r6, r6, #1
> +	bne	.Lctr_enc_short_loop
> +
> +	vmov.i32	q0, #0
> +	vmov.i32	q1, #0
> +	vstmia		sp!, {q0-q1}
> +
> +	ldmia	sp!, {r4-r8, pc}
> +.size	bsaes_ctr32_encrypt_blocks,.-bsaes_ctr32_encrypt_blocks
> +.globl	bsaes_xts_encrypt
> +.type	bsaes_xts_encrypt,%function
> +.align	4
> +bsaes_xts_encrypt:
> +	mov	ip, sp
> +	stmdb	sp!, {r4-r10, lr}		@ 0x20
> +	VFP_ABI_PUSH
> +	mov	r6, sp				@ future r3
> +
> +	mov	r7, r0
> +	mov	r8, r1
> +	mov	r9, r2
> +	mov	r10, r3
> +
> +	sub	r0, sp, #0x10			@ 0x10
> +	bic	r0, #0xf			@ align at 16 bytes
> +	mov	sp, r0
> +
> +#ifdef	XTS_CHAIN_TWEAK
> +	ldr	r0, [ip]			@ pointer to input tweak
> +#else
> +	@ generate initial tweak
> +	ldr	r0, [ip, #4]			@ iv[]
> +	mov	r1, sp
> +	ldr	r2, [ip, #0]			@ key2
> +	bl	AES_encrypt
> +	mov	r0,sp				@ pointer to initial tweak
> +#endif
> +
> +	ldr	r1, [r10, #240]		@ get # of rounds
> +	mov	r3, r6
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	@ allocate the key schedule on the stack
> +	sub	r12, sp, r1, lsl#7		@ 128 bytes per inner round key
> +	@ add	r12, #96			@ size of bit-sliced key schedule
> +	sub	r12, #48			@ place for tweak[9]
> +
> +	@ populate the key schedule
> +	mov	r4, r10			@ pass key
> +	mov	r5, r1			@ pass # of rounds
> +	mov	sp, r12
> +	add	r12, #0x90			@ pass key schedule
> +	bl	_bsaes_key_convert
> +	veor	q7, q7, q15	@ fix up last round key
> +	vstmia	r12, {q7}			@ save last round key
> +#else
> +	ldr	r12, [r10, #244]
> +	eors	r12, #1
> +	beq	0f
> +
> +	str	r12, [r10, #244]
> +	mov	r4, r10			@ pass key
> +	mov	r5, r1			@ pass # of rounds
> +	add	r12, r10, #248			@ pass key schedule
> +	bl	_bsaes_key_convert
> +	veor	q7, q7, q15	@ fix up last round key
> +	vstmia	r12, {q7}
> +
> +.align	2
> +0:	sub	sp, #0x90			@ place for tweak[9]
> +#endif
> +
> +	vld1.8	{q8}, [r0]			@ initial tweak
> +	adr	r2, .Lxts_magic
> +
> +	subs	r9, #0x80
> +	blo	.Lxts_enc_short
> +	b	.Lxts_enc_loop
> +
> +.align	4
> +.Lxts_enc_loop:
> +	vldmia		r2, {q5}	@ load XTS magic
> +	vshr.s64	q6, q8, #63
> +	mov		r0, sp
> +	vand		q6, q6, q5
> +	vadd.u64	q9, q8, q8
> +	vst1.64		{q8}, [r0,:128]!
> +	vswp		d13,d12
> +	vshr.s64	q7, q9, #63
> +	veor		q9, q9, q6
> +	vand		q7, q7, q5
> +	vadd.u64	q10, q9, q9
> +	vst1.64		{q9}, [r0,:128]!
> +	vswp		d15,d14
> +	vshr.s64	q6, q10, #63
> +	veor		q10, q10, q7
> +	vand		q6, q6, q5
> +	vld1.8		{q0}, [r7]!
> +	vadd.u64	q11, q10, q10
> +	vst1.64		{q10}, [r0,:128]!
> +	vswp		d13,d12
> +	vshr.s64	q7, q11, #63
> +	veor		q11, q11, q6
> +	vand		q7, q7, q5
> +	vld1.8		{q1}, [r7]!
> +	veor		q0, q0, q8
> +	vadd.u64	q12, q11, q11
> +	vst1.64		{q11}, [r0,:128]!
> +	vswp		d15,d14
> +	vshr.s64	q6, q12, #63
> +	veor		q12, q12, q7
> +	vand		q6, q6, q5
> +	vld1.8		{q2}, [r7]!
> +	veor		q1, q1, q9
> +	vadd.u64	q13, q12, q12
> +	vst1.64		{q12}, [r0,:128]!
> +	vswp		d13,d12
> +	vshr.s64	q7, q13, #63
> +	veor		q13, q13, q6
> +	vand		q7, q7, q5
> +	vld1.8		{q3}, [r7]!
> +	veor		q2, q2, q10
> +	vadd.u64	q14, q13, q13
> +	vst1.64		{q13}, [r0,:128]!
> +	vswp		d15,d14
> +	vshr.s64	q6, q14, #63
> +	veor		q14, q14, q7
> +	vand		q6, q6, q5
> +	vld1.8		{q4}, [r7]!
> +	veor		q3, q3, q11
> +	vadd.u64	q15, q14, q14
> +	vst1.64		{q14}, [r0,:128]!
> +	vswp		d13,d12
> +	vshr.s64	q7, q15, #63
> +	veor		q15, q15, q6
> +	vand		q7, q7, q5
> +	vld1.8		{q5}, [r7]!
> +	veor		q4, q4, q12
> +	vadd.u64	q8, q15, q15
> +	vst1.64		{q15}, [r0,:128]!
> +	vswp		d15,d14
> +	veor		q8, q8, q7
> +	vst1.64		{q8}, [r0,:128]		@ next round tweak
> +
> +	vld1.8		{q6-q7}, [r7]!
> +	veor		q5, q5, q13
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	add		r4, sp, #0x90			@ pass key schedule
> +#else
> +	add		r4, r10, #248			@ pass key schedule
> +#endif
> +	veor		q6, q6, q14
> +	mov		r5, r1			@ pass rounds
> +	veor		q7, q7, q15
> +	mov		r0, sp
> +
> +	bl		_bsaes_encrypt8
> +
> +	vld1.64		{q8-q9}, [r0,:128]!
> +	vld1.64		{q10-q11}, [r0,:128]!
> +	veor		q0, q0, q8
> +	vld1.64		{q12-q13}, [r0,:128]!
> +	veor		q1, q1, q9
> +	veor		q8, q4, q10
> +	vst1.8		{q0-q1}, [r8]!
> +	veor		q9, q6, q11
> +	vld1.64		{q14-q15}, [r0,:128]!
> +	veor		q10, q3, q12
> +	vst1.8		{q8-q9}, [r8]!
> +	veor		q11, q7, q13
> +	veor		q12, q2, q14
> +	vst1.8		{q10-q11}, [r8]!
> +	veor		q13, q5, q15
> +	vst1.8		{q12-q13}, [r8]!
> +
> +	vld1.64		{q8}, [r0,:128]		@ next round tweak
> +
> +	subs		r9, #0x80
> +	bpl		.Lxts_enc_loop
> +
> +.Lxts_enc_short:
> +	adds		r9, #0x70
> +	bmi		.Lxts_enc_done
> +
> +	vldmia		r2, {q5}	@ load XTS magic
> +	vshr.s64	q7, q8, #63
> +	mov		r0, sp
> +	vand		q7, q7, q5
> +	vadd.u64	q9, q8, q8
> +	vst1.64		{q8}, [r0,:128]!
> +	vswp		d15,d14
> +	vshr.s64	q6, q9, #63
> +	veor		q9, q9, q7
> +	vand		q6, q6, q5
> +	vadd.u64	q10, q9, q9
> +	vst1.64		{q9}, [r0,:128]!
> +	vswp		d13,d12
> +	vshr.s64	q7, q10, #63
> +	veor		q10, q10, q6
> +	vand		q7, q7, q5
> +	vld1.8		{q0}, [r7]!
> +	subs		r9, #0x10
> +	bmi		.Lxts_enc_1
> +	vadd.u64	q11, q10, q10
> +	vst1.64		{q10}, [r0,:128]!
> +	vswp		d15,d14
> +	vshr.s64	q6, q11, #63
> +	veor		q11, q11, q7
> +	vand		q6, q6, q5
> +	vld1.8		{q1}, [r7]!
> +	subs		r9, #0x10
> +	bmi		.Lxts_enc_2
> +	veor		q0, q0, q8
> +	vadd.u64	q12, q11, q11
> +	vst1.64		{q11}, [r0,:128]!
> +	vswp		d13,d12
> +	vshr.s64	q7, q12, #63
> +	veor		q12, q12, q6
> +	vand		q7, q7, q5
> +	vld1.8		{q2}, [r7]!
> +	subs		r9, #0x10
> +	bmi		.Lxts_enc_3
> +	veor		q1, q1, q9
> +	vadd.u64	q13, q12, q12
> +	vst1.64		{q12}, [r0,:128]!
> +	vswp		d15,d14
> +	vshr.s64	q6, q13, #63
> +	veor		q13, q13, q7
> +	vand		q6, q6, q5
> +	vld1.8		{q3}, [r7]!
> +	subs		r9, #0x10
> +	bmi		.Lxts_enc_4
> +	veor		q2, q2, q10
> +	vadd.u64	q14, q13, q13
> +	vst1.64		{q13}, [r0,:128]!
> +	vswp		d13,d12
> +	vshr.s64	q7, q14, #63
> +	veor		q14, q14, q6
> +	vand		q7, q7, q5
> +	vld1.8		{q4}, [r7]!
> +	subs		r9, #0x10
> +	bmi		.Lxts_enc_5
> +	veor		q3, q3, q11
> +	vadd.u64	q15, q14, q14
> +	vst1.64		{q14}, [r0,:128]!
> +	vswp		d15,d14
> +	vshr.s64	q6, q15, #63
> +	veor		q15, q15, q7
> +	vand		q6, q6, q5
> +	vld1.8		{q5}, [r7]!
> +	subs		r9, #0x10
> +	bmi		.Lxts_enc_6
> +	veor		q4, q4, q12
> +	sub		r9, #0x10
> +	vst1.64		{q15}, [r0,:128]		@ next round tweak
> +
> +	vld1.8		{q6}, [r7]!
> +	veor		q5, q5, q13
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	add		r4, sp, #0x90			@ pass key schedule
> +#else
> +	add		r4, r10, #248			@ pass key schedule
> +#endif
> +	veor		q6, q6, q14
> +	mov		r5, r1			@ pass rounds
> +	mov		r0, sp
> +
> +	bl		_bsaes_encrypt8
> +
> +	vld1.64		{q8-q9}, [r0,:128]!
> +	vld1.64		{q10-q11}, [r0,:128]!
> +	veor		q0, q0, q8
> +	vld1.64		{q12-q13}, [r0,:128]!
> +	veor		q1, q1, q9
> +	veor		q8, q4, q10
> +	vst1.8		{q0-q1}, [r8]!
> +	veor		q9, q6, q11
> +	vld1.64		{q14}, [r0,:128]!
> +	veor		q10, q3, q12
> +	vst1.8		{q8-q9}, [r8]!
> +	veor		q11, q7, q13
> +	veor		q12, q2, q14
> +	vst1.8		{q10-q11}, [r8]!
> +	vst1.8		{q12}, [r8]!
> +
> +	vld1.64		{q8}, [r0,:128]		@ next round tweak
> +	b		.Lxts_enc_done
> +.align	4
> +.Lxts_enc_6:
> +	vst1.64		{q14}, [r0,:128]		@ next round tweak
> +
> +	veor		q4, q4, q12
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	add		r4, sp, #0x90			@ pass key schedule
> +#else
> +	add		r4, r10, #248			@ pass key schedule
> +#endif
> +	veor		q5, q5, q13
> +	mov		r5, r1			@ pass rounds
> +	mov		r0, sp
> +
> +	bl		_bsaes_encrypt8
> +
> +	vld1.64		{q8-q9}, [r0,:128]!
> +	vld1.64		{q10-q11}, [r0,:128]!
> +	veor		q0, q0, q8
> +	vld1.64		{q12-q13}, [r0,:128]!
> +	veor		q1, q1, q9
> +	veor		q8, q4, q10
> +	vst1.8		{q0-q1}, [r8]!
> +	veor		q9, q6, q11
> +	veor		q10, q3, q12
> +	vst1.8		{q8-q9}, [r8]!
> +	veor		q11, q7, q13
> +	vst1.8		{q10-q11}, [r8]!
> +
> +	vld1.64		{q8}, [r0,:128]		@ next round tweak
> +	b		.Lxts_enc_done
> +
> +@ put this in range for both ARM and Thumb mode adr instructions
> +.align	5
> +.Lxts_magic:
> +	.quad	1, 0x87
> +
> +.align	5
> +.Lxts_enc_5:
> +	vst1.64		{q13}, [r0,:128]		@ next round tweak
> +
> +	veor		q3, q3, q11
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	add		r4, sp, #0x90			@ pass key schedule
> +#else
> +	add		r4, r10, #248			@ pass key schedule
> +#endif
> +	veor		q4, q4, q12
> +	mov		r5, r1			@ pass rounds
> +	mov		r0, sp
> +
> +	bl		_bsaes_encrypt8
> +
> +	vld1.64		{q8-q9}, [r0,:128]!
> +	vld1.64		{q10-q11}, [r0,:128]!
> +	veor		q0, q0, q8
> +	vld1.64		{q12}, [r0,:128]!
> +	veor		q1, q1, q9
> +	veor		q8, q4, q10
> +	vst1.8		{q0-q1}, [r8]!
> +	veor		q9, q6, q11
> +	veor		q10, q3, q12
> +	vst1.8		{q8-q9}, [r8]!
> +	vst1.8		{q10}, [r8]!
> +
> +	vld1.64		{q8}, [r0,:128]		@ next round tweak
> +	b		.Lxts_enc_done
> +.align	4
> +.Lxts_enc_4:
> +	vst1.64		{q12}, [r0,:128]		@ next round tweak
> +
> +	veor		q2, q2, q10
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	add		r4, sp, #0x90			@ pass key schedule
> +#else
> +	add		r4, r10, #248			@ pass key schedule
> +#endif
> +	veor		q3, q3, q11
> +	mov		r5, r1			@ pass rounds
> +	mov		r0, sp
> +
> +	bl		_bsaes_encrypt8
> +
> +	vld1.64		{q8-q9}, [r0,:128]!
> +	vld1.64		{q10-q11}, [r0,:128]!
> +	veor		q0, q0, q8
> +	veor		q1, q1, q9
> +	veor		q8, q4, q10
> +	vst1.8		{q0-q1}, [r8]!
> +	veor		q9, q6, q11
> +	vst1.8		{q8-q9}, [r8]!
> +
> +	vld1.64		{q8}, [r0,:128]		@ next round tweak
> +	b		.Lxts_enc_done
> +.align	4
> +.Lxts_enc_3:
> +	vst1.64		{q11}, [r0,:128]		@ next round tweak
> +
> +	veor		q1, q1, q9
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	add		r4, sp, #0x90			@ pass key schedule
> +#else
> +	add		r4, r10, #248			@ pass key schedule
> +#endif
> +	veor		q2, q2, q10
> +	mov		r5, r1			@ pass rounds
> +	mov		r0, sp
> +
> +	bl		_bsaes_encrypt8
> +
> +	vld1.64		{q8-q9}, [r0,:128]!
> +	vld1.64		{q10}, [r0,:128]!
> +	veor		q0, q0, q8
> +	veor		q1, q1, q9
> +	veor		q8, q4, q10
> +	vst1.8		{q0-q1}, [r8]!
> +	vst1.8		{q8}, [r8]!
> +
> +	vld1.64		{q8}, [r0,:128]		@ next round tweak
> +	b		.Lxts_enc_done
> +.align	4
> +.Lxts_enc_2:
> +	vst1.64		{q10}, [r0,:128]		@ next round tweak
> +
> +	veor		q0, q0, q8
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	add		r4, sp, #0x90			@ pass key schedule
> +#else
> +	add		r4, r10, #248			@ pass key schedule
> +#endif
> +	veor		q1, q1, q9
> +	mov		r5, r1			@ pass rounds
> +	mov		r0, sp
> +
> +	bl		_bsaes_encrypt8
> +
> +	vld1.64		{q8-q9}, [r0,:128]!
> +	veor		q0, q0, q8
> +	veor		q1, q1, q9
> +	vst1.8		{q0-q1}, [r8]!
> +
> +	vld1.64		{q8}, [r0,:128]		@ next round tweak
> +	b		.Lxts_enc_done
> +.align	4
> +.Lxts_enc_1:
> +	mov		r0, sp
> +	veor		q0, q8
> +	mov		r1, sp
> +	vst1.8		{q0}, [sp,:128]
> +	mov		r2, r10
> +	mov		r4, r3				@ preserve fp
> +
> +	bl		AES_encrypt
> +
> +	vld1.8		{q0}, [sp,:128]
> +	veor		q0, q0, q8
> +	vst1.8		{q0}, [r8]!
> +	mov		r3, r4
> +
> +	vmov		q8, q9		@ next round tweak
> +
> +.Lxts_enc_done:
> +#ifndef	XTS_CHAIN_TWEAK
> +	adds		r9, #0x10
> +	beq		.Lxts_enc_ret
> +	sub		r6, r8, #0x10
> +
> +.Lxts_enc_steal:
> +	ldrb		r0, [r7], #1
> +	ldrb		r1, [r8, #-0x10]
> +	strb		r0, [r8, #-0x10]
> +	strb		r1, [r8], #1
> +
> +	subs		r9, #1
> +	bhi		.Lxts_enc_steal
> +
> +	vld1.8		{q0}, [r6]
> +	mov		r0, sp
> +	veor		q0, q0, q8
> +	mov		r1, sp
> +	vst1.8		{q0}, [sp,:128]
> +	mov		r2, r10
> +	mov		r4, r3			@ preserve fp
> +
> +	bl		AES_encrypt
> +
> +	vld1.8		{q0}, [sp,:128]
> +	veor		q0, q0, q8
> +	vst1.8		{q0}, [r6]
> +	mov		r3, r4
> +#endif
> +
> +.Lxts_enc_ret:
> +	bic		r0, r3, #0xf
> +	vmov.i32	q0, #0
> +	vmov.i32	q1, #0
> +#ifdef	XTS_CHAIN_TWEAK
> +	ldr		r1, [r3, #0x20+VFP_ABI_FRAME]	@ chain tweak
> +#endif
> +.Lxts_enc_bzero:				@ wipe key schedule [if any]
> +	vstmia		sp!, {q0-q1}
> +	cmp		sp, r0
> +	bne		.Lxts_enc_bzero
> +
> +	mov		sp, r3
> +#ifdef	XTS_CHAIN_TWEAK
> +	vst1.8		{q8}, [r1]
> +#endif
> +	VFP_ABI_POP
> +	ldmia		sp!, {r4-r10, pc}	@ return
> +
> +.size	bsaes_xts_encrypt,.-bsaes_xts_encrypt
> +
> +.globl	bsaes_xts_decrypt
> +.type	bsaes_xts_decrypt,%function
> +.align	4
> +bsaes_xts_decrypt:
> +	mov	ip, sp
> +	stmdb	sp!, {r4-r10, lr}		@ 0x20
> +	VFP_ABI_PUSH
> +	mov	r6, sp				@ future r3
> +
> +	mov	r7, r0
> +	mov	r8, r1
> +	mov	r9, r2
> +	mov	r10, r3
> +
> +	sub	r0, sp, #0x10			@ 0x10
> +	bic	r0, #0xf			@ align at 16 bytes
> +	mov	sp, r0
> +
> +#ifdef	XTS_CHAIN_TWEAK
> +	ldr	r0, [ip]			@ pointer to input tweak
> +#else
> +	@ generate initial tweak
> +	ldr	r0, [ip, #4]			@ iv[]
> +	mov	r1, sp
> +	ldr	r2, [ip, #0]			@ key2
> +	bl	AES_encrypt
> +	mov	r0, sp				@ pointer to initial tweak
> +#endif
> +
> +	ldr	r1, [r10, #240]		@ get # of rounds
> +	mov	r3, r6
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	@ allocate the key schedule on the stack
> +	sub	r12, sp, r1, lsl#7		@ 128 bytes per inner round key
> +	@ add	r12, #96			@ size of bit-sliced key schedule
> +	sub	r12, #48			@ place for tweak[9]
> +
> +	@ populate the key schedule
> +	mov	r4, r10			@ pass key
> +	mov	r5, r1			@ pass # of rounds
> +	mov	sp, r12
> +	add	r12, #0x90			@ pass key schedule
> +	bl	_bsaes_key_convert
> +	add	r4, sp, #0x90
> +	vldmia	r4, {q6}
> +	vstmia	r12,  {q15}		@ save last round key
> +	veor	q7, q7, q6	@ fix up round 0 key
> +	vstmia	r4, {q7}
> +#else
> +	ldr	r12, [r10, #244]
> +	eors	r12, #1
> +	beq	0f
> +
> +	str	r12, [r10, #244]
> +	mov	r4, r10			@ pass key
> +	mov	r5, r1			@ pass # of rounds
> +	add	r12, r10, #248			@ pass key schedule
> +	bl	_bsaes_key_convert
> +	add	r4, r10, #248
> +	vldmia	r4, {q6}
> +	vstmia	r12,  {q15}		@ save last round key
> +	veor	q7, q7, q6	@ fix up round 0 key
> +	vstmia	r4, {q7}
> +
> +.align	2
> +0:	sub	sp, #0x90			@ place for tweak[9]
> +#endif
> +	vld1.8	{q8}, [r0]			@ initial tweak
> +	adr	r2, .Lxts_magic
> +
> +	tst	r9, #0xf			@ if not multiple of 16
> +	it	ne				@ Thumb2 thing, sanity check in ARM
> +	subne	r9, #0x10			@ subtract another 16 bytes
> +	subs	r9, #0x80
> +
> +	blo	.Lxts_dec_short
> +	b	.Lxts_dec_loop
> +
> +.align	4
> +.Lxts_dec_loop:
> +	vldmia		r2, {q5}	@ load XTS magic
> +	vshr.s64	q6, q8, #63
> +	mov		r0, sp
> +	vand		q6, q6, q5
> +	vadd.u64	q9, q8, q8
> +	vst1.64		{q8}, [r0,:128]!
> +	vswp		d13,d12
> +	vshr.s64	q7, q9, #63
> +	veor		q9, q9, q6
> +	vand		q7, q7, q5
> +	vadd.u64	q10, q9, q9
> +	vst1.64		{q9}, [r0,:128]!
> +	vswp		d15,d14
> +	vshr.s64	q6, q10, #63
> +	veor		q10, q10, q7
> +	vand		q6, q6, q5
> +	vld1.8		{q0}, [r7]!
> +	vadd.u64	q11, q10, q10
> +	vst1.64		{q10}, [r0,:128]!
> +	vswp		d13,d12
> +	vshr.s64	q7, q11, #63
> +	veor		q11, q11, q6
> +	vand		q7, q7, q5
> +	vld1.8		{q1}, [r7]!
> +	veor		q0, q0, q8
> +	vadd.u64	q12, q11, q11
> +	vst1.64		{q11}, [r0,:128]!
> +	vswp		d15,d14
> +	vshr.s64	q6, q12, #63
> +	veor		q12, q12, q7
> +	vand		q6, q6, q5
> +	vld1.8		{q2}, [r7]!
> +	veor		q1, q1, q9
> +	vadd.u64	q13, q12, q12
> +	vst1.64		{q12}, [r0,:128]!
> +	vswp		d13,d12
> +	vshr.s64	q7, q13, #63
> +	veor		q13, q13, q6
> +	vand		q7, q7, q5
> +	vld1.8		{q3}, [r7]!
> +	veor		q2, q2, q10
> +	vadd.u64	q14, q13, q13
> +	vst1.64		{q13}, [r0,:128]!
> +	vswp		d15,d14
> +	vshr.s64	q6, q14, #63
> +	veor		q14, q14, q7
> +	vand		q6, q6, q5
> +	vld1.8		{q4}, [r7]!
> +	veor		q3, q3, q11
> +	vadd.u64	q15, q14, q14
> +	vst1.64		{q14}, [r0,:128]!
> +	vswp		d13,d12
> +	vshr.s64	q7, q15, #63
> +	veor		q15, q15, q6
> +	vand		q7, q7, q5
> +	vld1.8		{q5}, [r7]!
> +	veor		q4, q4, q12
> +	vadd.u64	q8, q15, q15
> +	vst1.64		{q15}, [r0,:128]!
> +	vswp		d15,d14
> +	veor		q8, q8, q7
> +	vst1.64		{q8}, [r0,:128]		@ next round tweak
> +
> +	vld1.8		{q6-q7}, [r7]!
> +	veor		q5, q5, q13
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	add		r4, sp, #0x90			@ pass key schedule
> +#else
> +	add		r4, r10, #248			@ pass key schedule
> +#endif
> +	veor		q6, q6, q14
> +	mov		r5, r1			@ pass rounds
> +	veor		q7, q7, q15
> +	mov		r0, sp
> +
> +	bl		_bsaes_decrypt8
> +
> +	vld1.64		{q8-q9}, [r0,:128]!
> +	vld1.64		{q10-q11}, [r0,:128]!
> +	veor		q0, q0, q8
> +	vld1.64		{q12-q13}, [r0,:128]!
> +	veor		q1, q1, q9
> +	veor		q8, q6, q10
> +	vst1.8		{q0-q1}, [r8]!
> +	veor		q9, q4, q11
> +	vld1.64		{q14-q15}, [r0,:128]!
> +	veor		q10, q2, q12
> +	vst1.8		{q8-q9}, [r8]!
> +	veor		q11, q7, q13
> +	veor		q12, q3, q14
> +	vst1.8		{q10-q11}, [r8]!
> +	veor		q13, q5, q15
> +	vst1.8		{q12-q13}, [r8]!
> +
> +	vld1.64		{q8}, [r0,:128]		@ next round tweak
> +
> +	subs		r9, #0x80
> +	bpl		.Lxts_dec_loop
> +
> +.Lxts_dec_short:
> +	adds		r9, #0x70
> +	bmi		.Lxts_dec_done
> +
> +	vldmia		r2, {q5}	@ load XTS magic
> +	vshr.s64	q7, q8, #63
> +	mov		r0, sp
> +	vand		q7, q7, q5
> +	vadd.u64	q9, q8, q8
> +	vst1.64		{q8}, [r0,:128]!
> +	vswp		d15,d14
> +	vshr.s64	q6, q9, #63
> +	veor		q9, q9, q7
> +	vand		q6, q6, q5
> +	vadd.u64	q10, q9, q9
> +	vst1.64		{q9}, [r0,:128]!
> +	vswp		d13,d12
> +	vshr.s64	q7, q10, #63
> +	veor		q10, q10, q6
> +	vand		q7, q7, q5
> +	vld1.8		{q0}, [r7]!
> +	subs		r9, #0x10
> +	bmi		.Lxts_dec_1
> +	vadd.u64	q11, q10, q10
> +	vst1.64		{q10}, [r0,:128]!
> +	vswp		d15,d14
> +	vshr.s64	q6, q11, #63
> +	veor		q11, q11, q7
> +	vand		q6, q6, q5
> +	vld1.8		{q1}, [r7]!
> +	subs		r9, #0x10
> +	bmi		.Lxts_dec_2
> +	veor		q0, q0, q8
> +	vadd.u64	q12, q11, q11
> +	vst1.64		{q11}, [r0,:128]!
> +	vswp		d13,d12
> +	vshr.s64	q7, q12, #63
> +	veor		q12, q12, q6
> +	vand		q7, q7, q5
> +	vld1.8		{q2}, [r7]!
> +	subs		r9, #0x10
> +	bmi		.Lxts_dec_3
> +	veor		q1, q1, q9
> +	vadd.u64	q13, q12, q12
> +	vst1.64		{q12}, [r0,:128]!
> +	vswp		d15,d14
> +	vshr.s64	q6, q13, #63
> +	veor		q13, q13, q7
> +	vand		q6, q6, q5
> +	vld1.8		{q3}, [r7]!
> +	subs		r9, #0x10
> +	bmi		.Lxts_dec_4
> +	veor		q2, q2, q10
> +	vadd.u64	q14, q13, q13
> +	vst1.64		{q13}, [r0,:128]!
> +	vswp		d13,d12
> +	vshr.s64	q7, q14, #63
> +	veor		q14, q14, q6
> +	vand		q7, q7, q5
> +	vld1.8		{q4}, [r7]!
> +	subs		r9, #0x10
> +	bmi		.Lxts_dec_5
> +	veor		q3, q3, q11
> +	vadd.u64	q15, q14, q14
> +	vst1.64		{q14}, [r0,:128]!
> +	vswp		d15,d14
> +	vshr.s64	q6, q15, #63
> +	veor		q15, q15, q7
> +	vand		q6, q6, q5
> +	vld1.8		{q5}, [r7]!
> +	subs		r9, #0x10
> +	bmi		.Lxts_dec_6
> +	veor		q4, q4, q12
> +	sub		r9, #0x10
> +	vst1.64		{q15}, [r0,:128]		@ next round tweak
> +
> +	vld1.8		{q6}, [r7]!
> +	veor		q5, q5, q13
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	add		r4, sp, #0x90			@ pass key schedule
> +#else
> +	add		r4, r10, #248			@ pass key schedule
> +#endif
> +	veor		q6, q6, q14
> +	mov		r5, r1			@ pass rounds
> +	mov		r0, sp
> +
> +	bl		_bsaes_decrypt8
> +
> +	vld1.64		{q8-q9}, [r0,:128]!
> +	vld1.64		{q10-q11}, [r0,:128]!
> +	veor		q0, q0, q8
> +	vld1.64		{q12-q13}, [r0,:128]!
> +	veor		q1, q1, q9
> +	veor		q8, q6, q10
> +	vst1.8		{q0-q1}, [r8]!
> +	veor		q9, q4, q11
> +	vld1.64		{q14}, [r0,:128]!
> +	veor		q10, q2, q12
> +	vst1.8		{q8-q9}, [r8]!
> +	veor		q11, q7, q13
> +	veor		q12, q3, q14
> +	vst1.8		{q10-q11}, [r8]!
> +	vst1.8		{q12}, [r8]!
> +
> +	vld1.64		{q8}, [r0,:128]		@ next round tweak
> +	b		.Lxts_dec_done
> +.align	4
> +.Lxts_dec_6:
> +	vst1.64		{q14}, [r0,:128]		@ next round tweak
> +
> +	veor		q4, q4, q12
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	add		r4, sp, #0x90			@ pass key schedule
> +#else
> +	add		r4, r10, #248			@ pass key schedule
> +#endif
> +	veor		q5, q5, q13
> +	mov		r5, r1			@ pass rounds
> +	mov		r0, sp
> +
> +	bl		_bsaes_decrypt8
> +
> +	vld1.64		{q8-q9}, [r0,:128]!
> +	vld1.64		{q10-q11}, [r0,:128]!
> +	veor		q0, q0, q8
> +	vld1.64		{q12-q13}, [r0,:128]!
> +	veor		q1, q1, q9
> +	veor		q8, q6, q10
> +	vst1.8		{q0-q1}, [r8]!
> +	veor		q9, q4, q11
> +	veor		q10, q2, q12
> +	vst1.8		{q8-q9}, [r8]!
> +	veor		q11, q7, q13
> +	vst1.8		{q10-q11}, [r8]!
> +
> +	vld1.64		{q8}, [r0,:128]		@ next round tweak
> +	b		.Lxts_dec_done
> +.align	4
> +.Lxts_dec_5:
> +	vst1.64		{q13}, [r0,:128]		@ next round tweak
> +
> +	veor		q3, q3, q11
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	add		r4, sp, #0x90			@ pass key schedule
> +#else
> +	add		r4, r10, #248			@ pass key schedule
> +#endif
> +	veor		q4, q4, q12
> +	mov		r5, r1			@ pass rounds
> +	mov		r0, sp
> +
> +	bl		_bsaes_decrypt8
> +
> +	vld1.64		{q8-q9}, [r0,:128]!
> +	vld1.64		{q10-q11}, [r0,:128]!
> +	veor		q0, q0, q8
> +	vld1.64		{q12}, [r0,:128]!
> +	veor		q1, q1, q9
> +	veor		q8, q6, q10
> +	vst1.8		{q0-q1}, [r8]!
> +	veor		q9, q4, q11
> +	veor		q10, q2, q12
> +	vst1.8		{q8-q9}, [r8]!
> +	vst1.8		{q10}, [r8]!
> +
> +	vld1.64		{q8}, [r0,:128]		@ next round tweak
> +	b		.Lxts_dec_done
> +.align	4
> +.Lxts_dec_4:
> +	vst1.64		{q12}, [r0,:128]		@ next round tweak
> +
> +	veor		q2, q2, q10
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	add		r4, sp, #0x90			@ pass key schedule
> +#else
> +	add		r4, r10, #248			@ pass key schedule
> +#endif
> +	veor		q3, q3, q11
> +	mov		r5, r1			@ pass rounds
> +	mov		r0, sp
> +
> +	bl		_bsaes_decrypt8
> +
> +	vld1.64		{q8-q9}, [r0,:128]!
> +	vld1.64		{q10-q11}, [r0,:128]!
> +	veor		q0, q0, q8
> +	veor		q1, q1, q9
> +	veor		q8, q6, q10
> +	vst1.8		{q0-q1}, [r8]!
> +	veor		q9, q4, q11
> +	vst1.8		{q8-q9}, [r8]!
> +
> +	vld1.64		{q8}, [r0,:128]		@ next round tweak
> +	b		.Lxts_dec_done
> +.align	4
> +.Lxts_dec_3:
> +	vst1.64		{q11}, [r0,:128]		@ next round tweak
> +
> +	veor		q1, q1, q9
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	add		r4, sp, #0x90			@ pass key schedule
> +#else
> +	add		r4, r10, #248			@ pass key schedule
> +#endif
> +	veor		q2, q2, q10
> +	mov		r5, r1			@ pass rounds
> +	mov		r0, sp
> +
> +	bl		_bsaes_decrypt8
> +
> +	vld1.64		{q8-q9}, [r0,:128]!
> +	vld1.64		{q10}, [r0,:128]!
> +	veor		q0, q0, q8
> +	veor		q1, q1, q9
> +	veor		q8, q6, q10
> +	vst1.8		{q0-q1}, [r8]!
> +	vst1.8		{q8}, [r8]!
> +
> +	vld1.64		{q8}, [r0,:128]		@ next round tweak
> +	b		.Lxts_dec_done
> +.align	4
> +.Lxts_dec_2:
> +	vst1.64		{q10}, [r0,:128]		@ next round tweak
> +
> +	veor		q0, q0, q8
> +#ifndef	BSAES_ASM_EXTENDED_KEY
> +	add		r4, sp, #0x90			@ pass key schedule
> +#else
> +	add		r4, r10, #248			@ pass key schedule
> +#endif
> +	veor		q1, q1, q9
> +	mov		r5, r1			@ pass rounds
> +	mov		r0, sp
> +
> +	bl		_bsaes_decrypt8
> +
> +	vld1.64		{q8-q9}, [r0,:128]!
> +	veor		q0, q0, q8
> +	veor		q1, q1, q9
> +	vst1.8		{q0-q1}, [r8]!
> +
> +	vld1.64		{q8}, [r0,:128]		@ next round tweak
> +	b		.Lxts_dec_done
> +.align	4
> +.Lxts_dec_1:
> +	mov		r0, sp
> +	veor		q0, q8
> +	mov		r1, sp
> +	vst1.8		{q0}, [sp,:128]
> +	mov		r2, r10
> +	mov		r4, r3				@ preserve fp
> +	mov		r5, r2			@ preserve magic
> +
> +	bl		AES_decrypt
> +
> +	vld1.8		{q0}, [sp,:128]
> +	veor		q0, q0, q8
> +	vst1.8		{q0}, [r8]!
> +	mov		r3, r4
> +	mov		r2, r5
> +
> +	vmov		q8, q9		@ next round tweak
> +
> +.Lxts_dec_done:
> +#ifndef	XTS_CHAIN_TWEAK
> +	adds		r9, #0x10
> +	beq		.Lxts_dec_ret
> +
> +	@ calculate one round of extra tweak for the stolen ciphertext
> +	vldmia		r2, {q5}
> +	vshr.s64	q6, q8, #63
> +	vand		q6, q6, q5
> +	vadd.u64	q9, q8, q8
> +	vswp		d13,d12
> +	veor		q9, q9, q6
> +
> +	@ perform the final decryption with the last tweak value
> +	vld1.8		{q0}, [r7]!
> +	mov		r0, sp
> +	veor		q0, q0, q9
> +	mov		r1, sp
> +	vst1.8		{q0}, [sp,:128]
> +	mov		r2, r10
> +	mov		r4, r3			@ preserve fp
> +
> +	bl		AES_decrypt
> +
> +	vld1.8		{q0}, [sp,:128]
> +	veor		q0, q0, q9
> +	vst1.8		{q0}, [r8]
> +
> +	mov		r6, r8
> +.Lxts_dec_steal:
> +	ldrb		r1, [r8]
> +	ldrb		r0, [r7], #1
> +	strb		r1, [r8, #0x10]
> +	strb		r0, [r8], #1
> +
> +	subs		r9, #1
> +	bhi		.Lxts_dec_steal
> +
> +	vld1.8		{q0}, [r6]
> +	mov		r0, sp
> +	veor		q0, q8
> +	mov		r1, sp
> +	vst1.8		{q0}, [sp,:128]
> +	mov		r2, r10
> +
> +	bl		AES_decrypt
> +
> +	vld1.8		{q0}, [sp,:128]
> +	veor		q0, q0, q8
> +	vst1.8		{q0}, [r6]
> +	mov		r3, r4
> +#endif
> +
> +.Lxts_dec_ret:
> +	bic		r0, r3, #0xf
> +	vmov.i32	q0, #0
> +	vmov.i32	q1, #0
> +#ifdef	XTS_CHAIN_TWEAK
> +	ldr		r1, [r3, #0x20+VFP_ABI_FRAME]	@ chain tweak
> +#endif
> +.Lxts_dec_bzero:				@ wipe key schedule [if any]
> +	vstmia		sp!, {q0-q1}
> +	cmp		sp, r0
> +	bne		.Lxts_dec_bzero
> +
> +	mov		sp, r3
> +#ifdef	XTS_CHAIN_TWEAK
> +	vst1.8		{q8}, [r1]
> +#endif
> +	VFP_ABI_POP
> +	ldmia		sp!, {r4-r10, pc}	@ return
> +
> +.size	bsaes_xts_decrypt,.-bsaes_xts_decrypt
> +#endif
> diff --git a/arch/arm/crypto/aesbs-glue.c b/arch/arm/crypto/aesbs-glue.c
> new file mode 100644
> index 0000000..e809443
> --- /dev/null
> +++ b/arch/arm/crypto/aesbs-glue.c
> @@ -0,0 +1,435 @@
> +/*
> + * linux/arch/arm/crypto/aesbs-glue.c - glue code for NEON bit sliced AES
> + *
> + * Copyright (C) 2013 Linaro Ltd <ard.biesheuvel@xxxxxxxxxx>
> + *
> + * This program is free software; you can redistribute it and/or modify
> + * it under the terms of the GNU General Public License version 2 as
> + * published by the Free Software Foundation.
> + */
> +
> +#include <asm/neon.h>
> +#include <crypto/aes.h>
> +#include <crypto/ablk_helper.h>
> +#include <crypto/algapi.h>
> +#include <linux/module.h>
> +
> +#include "aes_glue.h"
> +
> +#define BIT_SLICED_KEY_MAXSIZE	(128 * (AES_MAXNR - 1) + 2 * AES_BLOCK_SIZE)
> +
> +struct BS_KEY {
> +	struct AES_KEY	rk;
> +	int		converted;
> +	u8 __aligned(8)	bs[BIT_SLICED_KEY_MAXSIZE];
> +} __aligned(8);
> +
> +asmlinkage void bsaes_enc_key_convert(u8 out[], struct AES_KEY const *in);
> +asmlinkage void bsaes_dec_key_convert(u8 out[], struct AES_KEY const *in);
> +
> +asmlinkage void bsaes_cbc_encrypt(u8 const in[], u8 out[], u32 bytes,
> +				  struct BS_KEY *key, u8 iv[]);
> +
> +asmlinkage void bsaes_ctr32_encrypt_blocks(u8 const in[], u8 out[], u32 blocks,
> +					   struct BS_KEY *key, u8 const iv[]);
> +
> +asmlinkage void bsaes_xts_encrypt(u8 const in[], u8 out[], u32 bytes,
> +				  struct BS_KEY *key, u8 tweak[]);
> +
> +asmlinkage void bsaes_xts_decrypt(u8 const in[], u8 out[], u32 bytes,
> +				  struct BS_KEY *key, u8 tweak[]);
> +
> +struct aesbs_cbc_ctx {
> +	struct AES_KEY	enc;
> +	struct BS_KEY	dec;
> +};
> +
> +struct aesbs_ctr_ctx {
> +	struct BS_KEY	enc;
> +};
> +
> +struct aesbs_xts_ctx {
> +	struct BS_KEY	enc;
> +	struct BS_KEY	dec;
> +	struct AES_KEY	twkey;
> +};
> +
> +static int aesbs_cbc_set_key(struct crypto_tfm *tfm, const u8 *in_key,
> +			     unsigned int key_len)
> +{
> +	struct aesbs_cbc_ctx *ctx = crypto_tfm_ctx(tfm);
> +	int bits = key_len * 8;
> +
> +	if (private_AES_set_encrypt_key(in_key, bits, &ctx->enc)) {
> +		tfm->crt_flags |= CRYPTO_TFM_RES_BAD_KEY_LEN;
> +		return -EINVAL;
> +	}
> +	ctx->dec.rk = ctx->enc;
> +	private_AES_set_decrypt_key(in_key, bits, &ctx->dec.rk);
> +	ctx->dec.converted = 0;
> +	return 0;
> +}
> +
> +static int aesbs_ctr_set_key(struct crypto_tfm *tfm, const u8 *in_key,
> +			     unsigned int key_len)
> +{
> +	struct aesbs_ctr_ctx *ctx = crypto_tfm_ctx(tfm);
> +	int bits = key_len * 8;
> +
> +	if (private_AES_set_encrypt_key(in_key, bits, &ctx->enc.rk)) {
> +		tfm->crt_flags |= CRYPTO_TFM_RES_BAD_KEY_LEN;
> +		return -EINVAL;
> +	}
> +	ctx->enc.converted = 0;
> +	return 0;
> +}
> +
> +static int aesbs_xts_set_key(struct crypto_tfm *tfm, const u8 *in_key,
> +			     unsigned int key_len)
> +{
> +	struct aesbs_xts_ctx *ctx = crypto_tfm_ctx(tfm);
> +	int bits = key_len * 4;
> +
> +	if (private_AES_set_encrypt_key(in_key, bits, &ctx->enc.rk)) {
> +		tfm->crt_flags |= CRYPTO_TFM_RES_BAD_KEY_LEN;
> +		return -EINVAL;
> +	}
> +	ctx->dec.rk = ctx->enc.rk;
> +	private_AES_set_decrypt_key(in_key, bits, &ctx->dec.rk);
> +	private_AES_set_encrypt_key(in_key + key_len / 2, bits, &ctx->twkey);
> +	ctx->enc.converted = ctx->dec.converted = 0;
> +	return 0;
> +}
> +
> +static int aesbs_cbc_encrypt(struct blkcipher_desc *desc,
> +			     struct scatterlist *dst,
> +			     struct scatterlist *src, unsigned int nbytes)
> +{
> +	struct aesbs_cbc_ctx *ctx = crypto_blkcipher_ctx(desc->tfm);
> +	struct blkcipher_walk walk;
> +	int err;
> +
> +	blkcipher_walk_init(&walk, dst, src, nbytes);
> +	err = blkcipher_walk_virt(desc, &walk);
> +
> +	while (walk.nbytes) {
> +		u32 blocks = walk.nbytes / AES_BLOCK_SIZE;
> +		u8 *src = walk.src.virt.addr;
> +
> +		if (walk.dst.virt.addr == walk.src.virt.addr) {
> +			u8 *iv = walk.iv;
> +
> +			do {
> +				crypto_xor(src, iv, AES_BLOCK_SIZE);
> +				AES_encrypt(src, src, &ctx->enc);
> +				iv = src;
> +				src += AES_BLOCK_SIZE;
> +			} while (--blocks);
> +			memcpy(walk.iv, iv, AES_BLOCK_SIZE);
> +		} else {
> +			u8 *dst = walk.dst.virt.addr;
> +
> +			do {
> +				crypto_xor(walk.iv, src, AES_BLOCK_SIZE);
> +				AES_encrypt(walk.iv, dst, &ctx->enc);
> +				memcpy(walk.iv, dst, AES_BLOCK_SIZE);
> +				src += AES_BLOCK_SIZE;
> +				dst += AES_BLOCK_SIZE;
> +			} while (--blocks);
> +		}
> +		err = blkcipher_walk_done(desc, &walk, 0);
> +	}
> +	return err;
> +}
> +
> +static int aesbs_cbc_decrypt(struct blkcipher_desc *desc,
> +			     struct scatterlist *dst,
> +			     struct scatterlist *src, unsigned int nbytes)
> +{
> +	struct aesbs_cbc_ctx *ctx = crypto_blkcipher_ctx(desc->tfm);
> +	struct blkcipher_walk walk;
> +	int err;
> +
> +	blkcipher_walk_init(&walk, dst, src, nbytes);
> +	err = blkcipher_walk_virt_block(desc, &walk, 8 * AES_BLOCK_SIZE);
> +
> +	while ((walk.nbytes / AES_BLOCK_SIZE) >= 8) {
> +		kernel_neon_begin();
> +		bsaes_cbc_encrypt(walk.src.virt.addr, walk.dst.virt.addr,
> +				  walk.nbytes, &ctx->dec, walk.iv);
> +		kernel_neon_end();
> +		err = blkcipher_walk_done(desc, &walk, 0);
> +	}
> +	while (walk.nbytes) {
> +		u32 blocks = walk.nbytes / AES_BLOCK_SIZE;
> +		u8 *dst = walk.dst.virt.addr;
> +		u8 *src = walk.src.virt.addr;
> +		u8 *iv = walk.iv;
> +
> +		do {
> +			u8 bk[2][AES_BLOCK_SIZE];
> +
> +			if (walk.dst.virt.addr == walk.src.virt.addr)
> +				memcpy(bk[blocks & 1], src, AES_BLOCK_SIZE);
> +
> +			AES_decrypt(src, dst, &ctx->dec.rk);
> +			crypto_xor(dst, iv, AES_BLOCK_SIZE);
> +
> +			if (walk.dst.virt.addr == walk.src.virt.addr)
> +				iv = bk[blocks & 1];
> +			else
> +				iv = src;
> +
> +			dst += AES_BLOCK_SIZE;
> +			src += AES_BLOCK_SIZE;
> +		} while (--blocks);
> +		err = blkcipher_walk_done(desc, &walk, 0);
> +	}
> +	return err;
> +}
> +
> +static void inc_be128_ctr(__be32 ctr[], u32 addend)
> +{
> +	int i;
> +
> +	for (i = 3; i >= 0; i--, addend = 1) {
> +		u32 n = be32_to_cpu(ctr[i]) + addend;
> +
> +		ctr[i] = cpu_to_be32(n);
> +		if (n >= addend)
> +			break;
> +	}
> +}
> +
> +static int aesbs_ctr_encrypt(struct blkcipher_desc *desc,
> +			     struct scatterlist *dst, struct scatterlist *src,
> +			     unsigned int nbytes)
> +{
> +	struct aesbs_ctr_ctx *ctx = crypto_blkcipher_ctx(desc->tfm);
> +	struct blkcipher_walk walk;
> +	u32 blocks;
> +	int err;
> +
> +	blkcipher_walk_init(&walk, dst, src, nbytes);
> +	err = blkcipher_walk_virt_block(desc, &walk, 8 * AES_BLOCK_SIZE);
> +
> +	while ((blocks = walk.nbytes / AES_BLOCK_SIZE)) {
> +		u32 tail = walk.nbytes % AES_BLOCK_SIZE;
> +		__be32 *ctr = (__be32 *)walk.iv;
> +		u32 headroom = UINT_MAX - be32_to_cpu(ctr[3]);
> +
> +		/* avoid 32 bit counter overflow in the NEON code */
> +		if (unlikely(headroom < blocks)) {
> +			blocks = headroom + 1;
> +			tail = walk.nbytes - blocks * AES_BLOCK_SIZE;
> +		}
> +		kernel_neon_begin();
> +		bsaes_ctr32_encrypt_blocks(walk.src.virt.addr,
> +					   walk.dst.virt.addr, blocks,
> +					   &ctx->enc, walk.iv);
> +		kernel_neon_end();
> +		inc_be128_ctr(ctr, blocks);
> +
> +		nbytes -= blocks * AES_BLOCK_SIZE;
> +		if (nbytes && nbytes == tail && nbytes <= AES_BLOCK_SIZE)
> +			break;
> +
> +		err = blkcipher_walk_done(desc, &walk, tail);
> +	}
> +	if (walk.nbytes) {
> +		u8 *tdst = walk.dst.virt.addr + blocks * AES_BLOCK_SIZE;
> +		u8 *tsrc = walk.src.virt.addr + blocks * AES_BLOCK_SIZE;
> +		u8 ks[AES_BLOCK_SIZE];
> +
> +		AES_encrypt(walk.iv, ks, &ctx->enc.rk);
> +		if (tdst != tsrc)
> +			memcpy(tdst, tsrc, nbytes);
> +		crypto_xor(tdst, ks, nbytes);
> +		err = blkcipher_walk_done(desc, &walk, 0);
> +	}
> +	return err;
> +}
> +
> +static int aesbs_xts_encrypt(struct blkcipher_desc *desc,
> +			     struct scatterlist *dst,
> +			     struct scatterlist *src, unsigned int nbytes)
> +{
> +	struct aesbs_xts_ctx *ctx = crypto_blkcipher_ctx(desc->tfm);
> +	struct blkcipher_walk walk;
> +	int err;
> +
> +	blkcipher_walk_init(&walk, dst, src, nbytes);
> +	err = blkcipher_walk_virt_block(desc, &walk, 8 * AES_BLOCK_SIZE);
> +
> +	/* generate the initial tweak */
> +	AES_encrypt(walk.iv, walk.iv, &ctx->twkey);
> +
> +	while (walk.nbytes) {
> +		kernel_neon_begin();
> +		bsaes_xts_encrypt(walk.src.virt.addr, walk.dst.virt.addr,
> +				  walk.nbytes, &ctx->enc, walk.iv);
> +		kernel_neon_end();
> +		err = blkcipher_walk_done(desc, &walk, 0);
> +	}
> +	return err;
> +}
> +
> +static int aesbs_xts_decrypt(struct blkcipher_desc *desc,
> +			     struct scatterlist *dst,
> +			     struct scatterlist *src, unsigned int nbytes)
> +{
> +	struct aesbs_xts_ctx *ctx = crypto_blkcipher_ctx(desc->tfm);
> +	struct blkcipher_walk walk;
> +	int err;
> +
> +	blkcipher_walk_init(&walk, dst, src, nbytes);
> +	err = blkcipher_walk_virt_block(desc, &walk, 8 * AES_BLOCK_SIZE);
> +
> +	/* generate the initial tweak */
> +	AES_encrypt(walk.iv, walk.iv, &ctx->twkey);
> +
> +	while (walk.nbytes) {
> +		kernel_neon_begin();
> +		bsaes_xts_decrypt(walk.src.virt.addr, walk.dst.virt.addr,
> +				  walk.nbytes, &ctx->dec, walk.iv);
> +		kernel_neon_end();
> +		err = blkcipher_walk_done(desc, &walk, 0);
> +	}
> +	return err;
> +}
> +
> +static struct crypto_alg aesbs_algs[] = { {
> +	.cra_name		= "__cbc-aes-neonbs",
> +	.cra_driver_name	= "__driver-cbc-aes-neonbs",
> +	.cra_priority		= 0,
> +	.cra_flags		= CRYPTO_ALG_TYPE_BLKCIPHER,
> +	.cra_blocksize		= AES_BLOCK_SIZE,
> +	.cra_ctxsize		= sizeof(struct aesbs_cbc_ctx),
> +	.cra_alignmask		= 7,
> +	.cra_type		= &crypto_blkcipher_type,
> +	.cra_module		= THIS_MODULE,
> +	.cra_blkcipher = {
> +		.min_keysize	= AES_MIN_KEY_SIZE,
> +		.max_keysize	= AES_MAX_KEY_SIZE,
> +		.ivsize		= AES_BLOCK_SIZE,
> +		.setkey		= aesbs_cbc_set_key,
> +		.encrypt	= aesbs_cbc_encrypt,
> +		.decrypt	= aesbs_cbc_decrypt,
> +	},
> +}, {
> +	.cra_name		= "__ctr-aes-neonbs",
> +	.cra_driver_name	= "__driver-ctr-aes-neonbs",
> +	.cra_priority		= 0,
> +	.cra_flags		= CRYPTO_ALG_TYPE_BLKCIPHER,
> +	.cra_blocksize		= 1,
> +	.cra_ctxsize		= sizeof(struct aesbs_ctr_ctx),
> +	.cra_alignmask		= 7,
> +	.cra_type		= &crypto_blkcipher_type,
> +	.cra_module		= THIS_MODULE,
> +	.cra_blkcipher = {
> +		.min_keysize	= AES_MIN_KEY_SIZE,
> +		.max_keysize	= AES_MAX_KEY_SIZE,
> +		.ivsize		= AES_BLOCK_SIZE,
> +		.setkey		= aesbs_ctr_set_key,
> +		.encrypt	= aesbs_ctr_encrypt,
> +		.decrypt	= aesbs_ctr_encrypt,
> +	},
> +}, {
> +	.cra_name		= "__xts-aes-neonbs",
> +	.cra_driver_name	= "__driver-xts-aes-neonbs",
> +	.cra_priority		= 0,
> +	.cra_flags		= CRYPTO_ALG_TYPE_BLKCIPHER,
> +	.cra_blocksize		= AES_BLOCK_SIZE,
> +	.cra_ctxsize		= sizeof(struct aesbs_xts_ctx),
> +	.cra_alignmask		= 7,
> +	.cra_type		= &crypto_blkcipher_type,
> +	.cra_module		= THIS_MODULE,
> +	.cra_blkcipher = {
> +		.min_keysize	= 2 * AES_MIN_KEY_SIZE,
> +		.max_keysize	= 2 * AES_MAX_KEY_SIZE,
> +		.ivsize		= AES_BLOCK_SIZE,
> +		.setkey		= aesbs_xts_set_key,
> +		.encrypt	= aesbs_xts_encrypt,
> +		.decrypt	= aesbs_xts_decrypt,
> +	},
> +}, {
> +	.cra_name		= "cbc(aes)",
> +	.cra_driver_name	= "cbc-aes-neonbs",
> +	.cra_priority		= 300,
> +	.cra_flags		= CRYPTO_ALG_TYPE_ABLKCIPHER|CRYPTO_ALG_ASYNC,
> +	.cra_blocksize		= AES_BLOCK_SIZE,
> +	.cra_ctxsize		= sizeof(struct async_helper_ctx),
> +	.cra_alignmask		= 7,
> +	.cra_type		= &crypto_ablkcipher_type,
> +	.cra_module		= THIS_MODULE,
> +	.cra_init		= ablk_init,
> +	.cra_exit		= ablk_exit,
> +	.cra_ablkcipher = {
> +		.min_keysize	= AES_MIN_KEY_SIZE,
> +		.max_keysize	= AES_MAX_KEY_SIZE,
> +		.ivsize		= AES_BLOCK_SIZE,
> +		.setkey		= ablk_set_key,
> +		.encrypt	= __ablk_encrypt,
> +		.decrypt	= ablk_decrypt,
> +	}
> +}, {
> +	.cra_name		= "ctr(aes)",
> +	.cra_driver_name	= "ctr-aes-neonbs",
> +	.cra_priority		= 300,
> +	.cra_flags		= CRYPTO_ALG_TYPE_ABLKCIPHER|CRYPTO_ALG_ASYNC,
> +	.cra_blocksize		= 1,
> +	.cra_ctxsize		= sizeof(struct async_helper_ctx),
> +	.cra_alignmask		= 7,
> +	.cra_type		= &crypto_ablkcipher_type,
> +	.cra_module		= THIS_MODULE,
> +	.cra_init		= ablk_init,
> +	.cra_exit		= ablk_exit,
> +	.cra_ablkcipher = {
> +		.min_keysize	= AES_MIN_KEY_SIZE,
> +		.max_keysize	= AES_MAX_KEY_SIZE,
> +		.ivsize		= AES_BLOCK_SIZE,
> +		.setkey		= ablk_set_key,
> +		.encrypt	= ablk_encrypt,
> +		.decrypt	= ablk_decrypt,
> +	}
> +}, {
> +	.cra_name		= "xts(aes)",
> +	.cra_driver_name	= "xts-aes-neonbs",
> +	.cra_priority		= 300,
> +	.cra_flags		= CRYPTO_ALG_TYPE_ABLKCIPHER|CRYPTO_ALG_ASYNC,
> +	.cra_blocksize		= AES_BLOCK_SIZE,
> +	.cra_ctxsize		= sizeof(struct async_helper_ctx),
> +	.cra_alignmask		= 7,
> +	.cra_type		= &crypto_ablkcipher_type,
> +	.cra_module		= THIS_MODULE,
> +	.cra_init		= ablk_init,
> +	.cra_exit		= ablk_exit,
> +	.cra_ablkcipher = {
> +		.min_keysize	= 2 * AES_MIN_KEY_SIZE,
> +		.max_keysize	= 2 * AES_MAX_KEY_SIZE,
> +		.ivsize		= AES_BLOCK_SIZE,
> +		.setkey		= ablk_set_key,
> +		.encrypt	= ablk_encrypt,
> +		.decrypt	= ablk_decrypt,
> +	}
> +} };
> +
> +static int __init aesbs_mod_init(void)
> +{
> +	if (!cpu_has_neon())
> +		return -ENODEV;
> +
> +	return crypto_register_algs(aesbs_algs, ARRAY_SIZE(aesbs_algs));
> +}
> +
> +static void __exit aesbs_mod_exit(void)
> +{
> +	crypto_unregister_algs(aesbs_algs, ARRAY_SIZE(aesbs_algs));
> +}
> +
> +module_init(aesbs_mod_init);
> +module_exit(aesbs_mod_exit);
> +
> +MODULE_DESCRIPTION("Bit sliced AES in CBC/CTR/XTS modes using NEON");
> +MODULE_AUTHOR("Ard Biesheuvel <ard.biesheuvel@xxxxxxxxxx>");
> +MODULE_LICENSE("GPL");
> diff --git a/crypto/Kconfig b/crypto/Kconfig
> index 8179ae6..4d6e656 100644
> --- a/crypto/Kconfig
> +++ b/crypto/Kconfig
> @@ -780,6 +780,22 @@ config CRYPTO_AES_ARM
>  
>  	  See <http://csrc.nist.gov/encryption/aes/> for more information.
>  
> +config CRYPTO_AES_ARM_BS
> +	tristate "Bit sliced AES using NEON instructions"
> +	depends on ARM && KERNEL_MODE_NEON
> +	select CRYPTO_ALGAPI
> +	select CRYPTO_AES_ARM
> +	select CRYPTO_ABLK_HELPER
> +	help
> +	  Use a faster and more secure NEON based implementation of AES in CBC,
> +	  CTR and XTS modes
> +
> +	  Bit sliced AES gives around 45% speedup on Cortex-A15 for CTR mode
> +	  and for XTS mode encryption, CBC and XTS mode decryption speedup is
> +	  around 25%. (CBC encryption speed is not affected by this driver.)
> +	  This implementation does not rely on any lookup tables so it is
> +	  believed to be invulnerable to cache timing attacks.
> +
>  config CRYPTO_ANUBIS
>  	tristate "Anubis cipher algorithm"
>  	select CRYPTO_ALGAPI
> -- 
> 1.8.1.2
> 
--
To unsubscribe from this list: send the line "unsubscribe linux-crypto" in
the body of a message to majordomo@xxxxxxxxxxxxxxx
More majordomo info at  http://vger.kernel.org/majordomo-info.html




[Index of Archives]     [Kernel]     [Gnu Classpath]     [Gnu Crypto]     [DM Crypt]     [Netfilter]     [Bugtraq]

  Powered by Linux