Merge pull request #15637 from poettering/cryptsetup-literal

a number of cryptsetup fixes and additions

man: document the newly acquired cryptsetup features

cryptsetup: fix minor indentation issue

cryptsetup: optionally, see if empty password works for unlocking the file system

This adds a new switch try-empty-password. If set and none of PKCS#11 or
key files work, it is attempted to unlock the volume with an empty
password, before the user is asked for a password.

Usecase: an installer generates an OS image on one system, which is the
booted up for the first time in a possibly different system. The image
is encrypted using a random volume key, but an empty password. A tool
that runs on first boot then queries the user for a password to set or
enrols the volume in the TPM, removing the empty password. (Of course, in
such a scenario it is important to never reuse the installer image on
multiple systems as they all will have the same volume key, but that's a
different question.)

cryptsetup: fix minor memory leak

cryptsetup: also check for /dev/hwrng as random device node

cryptsetup: make sure to return EAGAIN on wrong tcrypt password too

Only then we'll try again to ask the user for a password.

Fixes: #12152

cryptsetup: automatically load luks keys off disk

Let's make loading of keys a bit more automatic and define a common
place where key files can be placed. Specifically, whenever a volume of
name "foo" is attempted, search for a key file in
/etc/cryptsetup-keys.d/foo.key and /run/cryptsetup-keys.d/foo.key,
unless a key file is declared explicitly.

With this scheme we have a simple discovery in place that should make it
more straightfoward wher to place keys, and requires no explicit
configuration to be used.

cryptsetup: split out key loading from pkcs11 code and teach search path logic

Let's do some rearrangements, so that we can later on use this to
automatically search for a key file.

cryptsetup: optionally remove key file after use

This is useful when the key file is acquired dynamically in some form
and should be erased after use.

Note that this code tries to be robust, and removes the key file both on
success and on failure.

cryptsetup: catch up with debian crypttab options a bit

Support some aliases Debian added, and drop some options that Debian
dropped from our list of unsupported options.

fs-util: teach unlinkat_deallocate() a simple scheme for overwriting for erasing

With that it becomes useful for deleting password files and such.

Merge pull request #15845 from poettering/btrfs-encrypted-fix

make path_is_encrypted() test pass on btrfs inside container

Merge pull request #15843 from poettering/busctl-duplicate-tweaks

busctl: improve log messages on duplicate members or interfaces

Merge pull request #15848 from keszybz/small-doc-tweaks

A few tweaks to docs

NEWS: retroactively document Family=

Requested in https://github.com/systemd/systemd/issues/13233#issuecomment-630800112.

journalctl,elsewhere: make sure --file=foo fails with sane error msg if foo is not readable

It annoyed me for quite a while that running "journalctl --file=…" on a
file that is not readable failed with a "File not found" error instead
of a permission error. Let's fix that.

We make this work by using the GLOB_NOCHECK flag for glob() which means
that files are not accessible will be returned in the array as they are
instead of being filtered away. This then means that our later attemps
to open the files will fail cleanly with a good error message.

Merge pull request #15836 from poettering/makefs-lock

lock whole block device file running makefs

repart: don't insist on coming up on partition label ourselves

If the user specified a label, use that.

Fixes: #15841

btrfs-util: tweak error code a bit

test-fs-util: don't fail on btrfs file systems in containers

Fixes: #15821

Merge pull request #15842 from evverx/cifuzz

cifuzz: protect forks from CIFuzz

allow removal of initrd services

Merge pull request #15794 from poettering/pam-sudo-fixes-part2

pam_systemd/pam_systemd_home: fix caching

Merge pull request #15166 from ssahani/networkctl-ipvlan

networkctl: Add support to display ipvlan

homed: use right config section in example config

We really should get this right, otherwise it's a pretty useless vendor
default example configuration file.

Follow-up for: c76dd733afe04b36cdac16322a07201c5793f2df

busctl: improve error messages on duplicate members/interfaces

Prompted by: #15833

busctl: use structured initialization

TODO: drop some external items

Those are either implemented or obsolete.

TODO: drop some networkd items

DUID/IAID — #2818, #2890, #3156,
Scope – #6449,
bond options — #10542,
option 119: sd_network_get_domains/sd_network_get_search_domains,
/proc/cmdline parsing – 426c1d385212e11cb,
wait states — #14536.

Merge pull request #15810 from poettering/override-first-boot

core: allow overriding needs-update/first-boot/system clock via kernel cmdline

dhcp6: slightly improve log message

Let's clarify that we proceed anyway.

Prompted-by: #15830

README: add a CIFuzz badge

Just a follow-up to https://github.com/systemd/systemd/pull/15760

cifuzz: protect forks from CIFuzz

CIFuzz isn't compatible with forks: https://github.com/google/oss-fuzz/issues/3731

journal: fix dropping first record during upload to remote journal

Merge pull request #15838 from poettering/hostnamed-instant-part2

more hostnamed fixes, split out of #15624

man: fix dir name in sysctl.d(5)

Pointed out by Коренберг Марк in
https://github.com/systemd/systemd/commit/e0f424790d3dbde136a29a7fa4c2777c2e3fd695#commitcomment-39259499.

hostnamed: call our destructor _destroy(), not _clear()

hostnamed: don't cache system UUID

There's no point in caching this. Let's always get this directly from
sysfs, so that we can never get out-of-date data here (after all this is
going to be cheap, and people might overmount it or so)

hostnamed: don't cache uname() data

Let's not cache the uname(), it's very cheap to get it, and just means
we might get out of sync with what is current. After all, the data might
change IRL, due to setarch and stuff.

cryptsetup-generator: use systemd-makefs for implementation of "swap" and "tmp" options

This way we can take benefit of the correct block device locking we just
added.

I was thinking whether to instead pull in a regular
systemd-makefs@.service instance, but I couldn't come up with a reason
to, and thus opted for just doing the minimal patch and just replacing
the simply mkfs calls.

Fixes: #10179
Replaces: #13162

makefs: normalize logging a bit

makefs: lock device while we operate

Let's implement our own specs, i.e.

https://systemd.io/BLOCK_DEVICE_LOCKING/

This should address issues like this: #13162

update TODO

core: allow overriding the system hostname with systemd.hostname= on the kernel command line

main: add a kernel command line option for setting the system clock early during boot

condition: introduce systemd.condition-first-boot= kernel command line switch

Much like systemd.condition-needs-update= this new switch allows
overriding of a unit file condition, but this time its
ConditionFirstBoot=.

Usecase is also primarily debugging, but could be useful for other
schemes too.

condition: debug log if F_OK check on /run/systemd/first-boot fails unexpectedly

condition: reverse if check to lower indentation level

No change in behaviour. Let's just prefer early exit over deeper
indentation.

condition: allow overriding of ConditionNeedsUpdate= on the kernel command line

This should be useful for addressing #15724.

proc-cmdline: add some explanatory comments

condition: when reading /etc/ modification timestamp, let's actualy compare it as-is

Previously, we'd only compare the nsec component of it, which sounds
needlessly fragile. Let's instead compare the timestamp as it is.

condition: downgrade a few log messages to debug

Condition checks shouldn't log loudly, since they run all the time.
Let's make things debuggable, by keeping the messages in LOG_DEBUG in,
but don't make more noise than necessary.

condition: add debug log messages on unexpected errors

condition: check if path is absolute first

We should do this check first since it is done on the string itself
without any conditioning of system state otherwise. It is a weird to do
this test only if /etc is read-only.

networkctl: Add support to display ipvlan

```
build/networkctl status myipvlan1                                                                                                                                                        ─╯
● 26: myipvlan1
             Link File: /usr/lib/systemd/network/99-default.link
          Network File: n/a
                  Type: ether
                 State: off (unmanaged)
                Driver: ipvlan
            HW Address: 4e:c5:88:28:c1:c0
                   MTU: 1500 (min: 68, max: 65535)
                 QDisc: noop
                  Mode: L2 (bridge)
  Queue Length (Tx/Rx): 1/1

```

blockdev: add helper for locking whole block device

dissect: use log_debug_errno() where appropriate

makefs: log about OOM condition

blockdev: propagate one more unexpected error

update TODO

Merge pull request #15804 from poettering/hostnamed-instant-part1

four likely safe commits split out of #15624

Merge pull request #15494 from ssahani/dhcpv6-request-options

DHCPv6: Allow to add arbitrary request option

Merge pull request #15165 from ssahani/bonding

network: Move common functions of bonding to bond-util

meson: initialize time-epoch to reproducible builds compatible value

Debian Policy encourages to preserve timestamps whenever possible in the
tarballs, thus stable release updates of systemd usually do not bump NEWS file
timestamp. And thus time-epoch remains the same for the lifetime of a release.

It would be better, if each new stable release rebuild of systemd would bump
the time epoch a bit. But at the same time remain
reproducible. SOURCE_DATE_EPOCH is an environmnet variable defined for this
purpose. Thus if available, prefer that, instead of the NEWS file modification
time.

For example, on Debian/Ubuntu under the reproducible builds the
SOURCE_DATE_EPOCH is set to the timestamp from the packaging metadata, thus it
is incremented on every new stable release update, whilst preserving
reproducible builds capability.

Reference: https://reproducible-builds.org/docs/timestamps/

dhcpv6 tests: Update since we allow arbitrary options to be set

network: DHCPv6 - Add support set arbitary request options

sd-dhcp6: Allow to add arbitary request option

networkctl: Use bond util common functions

network: Introduce bond util

networkctl: VXLan - display more properties

network: Introduce ipvlan util

Move ipvlan common to shared

pstore: introduce tmpfiles.d/systemd-pstore.conf

The systemd pstore service archives the contents of /sys/fs/pstore
upon boot so that there is room for a subsequent dump.  The issue is
that while the service is present, the kernel still needs to be
configured to write data into the pstore. The kernel has two
parameters, crash_kexec_post_notifiers and printk.always_kmsg_dump,
that control writes into pstore.

The crash_kexec_post_notifiers parameter enables the kernel to write
dmesg (including stack trace) into pstore upon a panic, and
printk.always_kmsg_dump parameter enables the kernel to write dmesg
upon a shutdown (shutdown, reboot, halt).

As it stands today, these parameters are not managed/manipulated by
the systemd pstore service, and are solely reliant upon the user [to
have the foresight] to set them on the kernel command line at boot, or
post boot via sysfs. Furthermore, the user would need to set these
parameters in a persistent fashion so that that they are enabled on
subsequent reboots.

This patch introduces the setting of these two kernel parameters via
the systemd tmpfiles technique.

Increase size of /run to 20%

For low memory machines (256MB), 10% of RAM for /run may not be enough for
re-exec of PID1 because 16MB of free space is required and /run may already
contain something.

docs: policy for systemd-security subscriptions

Replaces #14325.

Merge pull request #15817 from poettering/more-conditions

Add ConditionEnvironment= and ConditionIsEncrypted=

udev: get rid of "Could not set flow control of" message on "lo" interface

When setting flow control attributes of an interface we first acquire
the current settings and then add in the new settings before applying
them again. This only works on interfaces that implement the ethtool
ioctls. on others we'll see an ugly "Could not set flow control of"
message, simply because we issue the SIOCETHTOOL ioctl once, for getting
the data. In particular we'll get it for the "lo" interface all the
time, which sucks hard. Let's get rid of it.

shared: fix integer overflow in calendarspec

Fixes: oss-fuzz#22208

```
test/fuzz/fuzz-calendarspec/oss-fuzz-22208... ../src/shared/calendarspec.c:666:48: runtime error: signed integer overflow: 2147000000 + 1000000 cannot be represented in type 'int'
    #0 0x7f0b9f6cc56a in prepend_component ../src/shared/calendarspec.c:666
    #1 0x7f0b9f6cd03a in parse_chain ../src/shared/calendarspec.c:718
    #2 0x7f0b9f6cea1c in parse_calendar_time ../src/shared/calendarspec.c:845
    #3 0x7f0b9f6d1397 in calendar_spec_from_string ../src/shared/calendarspec.c:1084
    #4 0x401570 in LLVMFuzzerTestOneInput ../src/fuzz/fuzz-calendarspec.c:17
    #5 0x401ae0 in main ../src/fuzz/fuzz-main.c:39
    #6 0x7f0b9e31b1a2 in __libc_start_main (/lib64/libc.so.6+0x271a2)
    #7 0x40122d in _start (/home/fsumsal/repos/systemd/build/fuzz-calendarspec+0x40122d)

SUMMARY: UndefinedBehaviorSanitizer: undefined-behavior ../src/shared/calendarspec.c:666:48 in
```

update TODO

man: document the two new condition types

condition: add ConditionEnvironment=

Prompted by the discussions in #15180.

This is a bit more complex than I hoped, since for PID 1 we need to pass
in the synethetic environment block in we generate on demand.

limit-util: quieten a very common debug message that is misleading

condition: return (Condition*) NULL from condition_free()

Follow our usual coding style.

condition: introduce generic function type for condition_to_string()-like functions

Let's add a typedef for a function type we use at multiple places.

condition: add ConditionPathIsEncrypted=

It's easy to add, and should be pretty useful, in particular as in
AssertPathIsEncrypted= as it can be used for checking that
some path is encrypted before some service is invoked that might want to
place secure material there.

network: Add support to group links.

Link groups are similar to port ranges found in managed switches.
You can add network interfaces to a numbered group and perform operations
on all the interfaces from that group at once.

Merge pull request #15792 from poettering/repart-allocate

repart: add --size= and --empty=create options for growing/creating disk images from scratch

Merge pull request #15265 from fbuihuu/mount-fixes

Mount fixes

Merge pull request #15052 from jaankit/journal-send

journal-send: Fix the limitation of LINE_MAX

Merge pull request #15812 from poettering/deprecate-stdout-syslog

Get rid of StandardOutput=syslog

hwdb: fix microphone shortcut on HP EliteBook 840 G1

Fixes: #15774

core: automatically update StandardOuput=syslog to =journal (and similar for StandardError=)

Let's go one step further and upgrade implicitly. Usually =syslog
assignments are historic artifacts only. Let's upgrade the lines
automatically, and politely suggest people update their unit
files/configuration (and drop the lines altogether, without
replacement).

Fixes: #15807

man: drop some left-over mentions of StandardOutput=syslog

We dropped them from the StandardOuput= documentation long ago, but
elswhere some references where lurking.

update TODO

man: document new --empty=create and --size= switches to repart

test: update tests to use new repart features

repart: add support for create/growing loopback files

This adds --empty=create and --size= for creating loopback files from
scratch of a specified size, or growing loopback files to the specified
size when they already exist.

This is useful when operating on disk image files, as a manual
invocation of fallocate(1) becomes unnecessary.

repart: suppress complaints about lack of BLKRRPART when operating on regular file

repart: explain when we exit early and don't do a thing

sd-netlink: remove unused RTNL_WQUEUE_MAX define

While investigating why some of my netlink calls would timeout I
stumbled upon the definition of the max write queue length. Finding this
constant made me believe we still had a write queue in the code - which
isn't true. The netlink write queue code was removed in #189.